Бюджетът за обхождане е количеството ресурси, които Google е готов да инвестира във вашия уебсайт. Може да се каже, че бюджетът за сканиране е равен на броя сканирани страници за един ден, въпреки че в действителност това не е така. Някои страници изискват повече ресурси от други, така че броят на сканираните страници може да варира дори ако бюджетът остане същият.
Когато Google определя бюджет за обхождане на сайт, той обикновено взема предвид четири неща: популярност на сайта, честота на опресняване, брой страници и способността на вашия сайт или сървър да се справят с обхождането.
Въпреки че това е сложен алгоритъм, има начини да помогнете на търсачката да управлява обхождането на вашия уебсайт.
Защо бюджетът за обхождане е важен?
Вашият бюджет за обхождане определя колко бързо страниците ви се показват при търсене. Основният проблем е, че може да има несъответствие между бюджета за обхождане на вашия уебсайт и честотата на опресняване.
Ако това се случи, ще изпитате забавяне между времето, когато създавате или обновявате страница, и времето, в което тя се показва между търсенията.
Една възможна причина да имате недостатъчен бюджет за обхождане е, че Google не смята вашия уебсайт за достатъчно важен. Така че или Google смята вашите страници за спам, или предлагате много лошо потребителско изживяване, или вероятно и двете. Ако е така, няма много какво да направите, освен да публикувате по-добро съдържание и да чакате репутацията ви да расте.
Друга възможна причина да не получавате достатъчно бюджет за обхождане е, че вашият уебсайт има капани за паяци. Има някои технически проблеми, при които роботът може да заседне в цикъл, неспособен да намери вашите страници или да бъде обезсърчен да обхожда. Ако е така, има някои неща, които можете да направите, за да подобрите сканирането и ще ги обсъдим по-късно.
Трябва ли да се тревожите за бюджета си за сканиране?
Бюджетът за обхождане може да се превърне в проблем, ако управлявате голям или среден по размер уебсайт с висока честота на опресняване (веднъж на ден до веднъж седмично). В този случай проблем с бюджета за обхождане може да повлияе на индексирането и класирането. Това може да е проблем и при стартиране на нов уебсайт или редизайн на стар, въпреки че този тип забавяне на обхождането в крайна сметка ще се разреши от само себе си. Независимо от размера на уебсайта, най-добре е да проверите за проблеми с обхождането.
Ако управлявате голям уебсайт, направете го сега, ако управлявате по-малък уебсайт, поставете го в задачите.
Как да оптимизираме бюджета за сканиране?
Има някои действия, които трябва (или не трябва) да правите, за да насърчите търсещите паяци да преглеждат страниците на вашия уебсайт и да го правят по-често.
Ето списък с действия за максимизиране на обхождането:
1. Изпратете карта на сайта в Search Console
Картата на сайта е файл във формат xml, който съдържа всички страници, които искате да бъдат обходени и индексирани при търсенето. Без карта на сайта Google ще трябва да открива страници чрез вътрешни връзки, ще отнеме повече време, за да разбере обхвата и да реши кои трябва да бъдат индексирани и кои не. С карта на сайта в xml формат Google знае точно колко голям е уебсайтът ви и кои страници трябва да бъдат индексирани. Има и възможност да предложите какъв е приоритетът на всяка страница и колко често се актуализира.
С цялата тази информация Google може да създаде най-подходящия шаблон за обхождане за вашия уебсайт.
Забележка: Важно е да запомните, че Google третира картата на сайта като предложение, а не задължение – можете свободно да я игнорирате и да изберете различен шаблон за обхождане.
Има много начини за създаване на карта на сайта. Ако използвате CMS платформа, като Shopify, вашата карта на сайта може да бъде автоматично генерирана и вече налична. Други платформи или CMS имат плъгини, които предлагат тази функция. Картата на сайта отговаря на много специфичен протокол.
2. Разрешаване на конфликти при сканиране
Често срещан проблем е, че Google смята, че дадена страница трябва да бъде обходена, но всъщност не може да бъде достъпна.
В този случай може да се е случило едно от двете неща:
Опция 1
Страницата не трябва да се обхожда и е изпратена до Google по погрешка. В този случай трябва да отмените изпращането на страницата, като я премахнете от вашата карта на сайта или като премахнете връзките от вътрешната мрежа на сайта, които сочат към нея.
Вариант 2
Страницата трябва да бъде обходена, но достъпът е отказан.
В този случай трябва да проверите какво блокира достъпа му (robots.txt, 4xx, 5xx, грешка при пренасочване). Така или иначе, тези смесени сигнали принуждават Google да влезе в задънена улица и ненужно губи бюджета ви за обхождане. Най-добрият начин да намерите и коригирате тези проблеми е да проверите отчета за обхвата в Google Search Console.
3. Забранете страниците, които не трябва да се обхождат
Друг тип конфликт при обхождане е, когато дадена страница е била обходена и индексирана по погрешка. Това води до загуба на вашия бюджет за сканиране, но по-важното е, че може да бъде и проблем със сигурността. Ако не сте блокирали обхождането в тези секции, някои от вашите лични страници са индексирани и обществено достъпни. За да ги намерите, можете да се консултирате с Google Search Console в отчета за покритието.
Най-честият проблем с тези страници е, че те могат да бъдат блокирани от файла robots.txt. Освен това Google счита инструкциите на robots.txt за съвет и може да реши да покаже тези секции отново при търсене. За да коригирате тези проблеми, проверете списъка с тези страници и решете какво искате да индексирате.
Използвайте мета маркера noindex, за да блокирате напълно робота и след това премахнете страницата от търсенето чрез Индекс> Премахвания> Нова заявка.
Ако е така, премахнете директивата disallow в robots.txt, в противен случай паякът не може да прочете мета noindex. Друг вариант е да се доверите на професионалистите ни в SEOMAX, които не за първи път се сблъскват с подобни проблеми и разрешаването им е част от задълженията им.
4. Скрийте несъществените ресурси
Можете да спестите много бюджет за обхождане, като попречите на Google да игнорира несъществени ресурси като .gif, .pdf, видео и файлове с изображения, които могат да заемат много ресурси. По-специално PDF файловете са истински проблем поради няколко причини. Google може да чете и показва съдържанието на този формат между serp, така че потребителят може да изтегли файловете, без да влиза в сайта; в този случай няма да можете да проследите кликването или да прочетете данните с Google Analytics. Освен това, ако вашият сайт има много PDF файлове, по време на обхождането сървърът може буквално да се срине поради прекомерната консумация на ресурси, наложена от самия Google.
5. Избягвайте дълги вериги за пренасочване
Ако има неразумно голям брой последователни пренасочвания 301 и 302, търсачките ще спрат да ги следват и целевата страница може да не бъде обходена. Освен това всеки пренасочен URL е загуба на “единици” от бюджета за обхождане. Уверете се, че използвате пренасочвания не повече от два пъти подред и само когато е абсолютно необходимо (но кога?).
6. Управлявайте динамични URL адреси
Популярните системи за управление на съдържание генерират много динамични URL адреси, които водят до една и съща страница. По подразбиране ботовете на търсачките ще третират тези URL адреси като различни страници, в резултат на което може да пропилеете бюджети за обхождане и да генерирате дублирани проблеми със съдържанието.
7. Отстраняване на проблеми с дублирано съдържание
Наличието на дублирано съдържание означава показване на две или повече страници, които са до голяма степен сходни. Може да се случи по различни причини. Динамичните URL адреси са една от тези причини, но също и A / B тестване, www / non www версии, http / https версии, разпространение на съдържание и някои спецификации на CMS платформа. Проблемът с дублираното съдържание е, че ненужно губите двойно бюджета си за обхождане. Заглавията и особено мета описанията са добър индикатор за страници с еднакво съдържание. Ако намерите страници, които всъщност са подобни, решете коя ще бъде основната и коя ще бъде дубликат.
8. Оптимизирайте структурата на сайта
Въпреки че вътрешните връзки нямат пряка връзка с бюджета ви за обхождане, Google казва, че страниците, свързани директно от началната ви страница, може да се считат за по-важни и да се обхождат по-често. Като цяло поддържането на важни области от вашия сайт в рамките на три клика на дълбочина от всяка страница е добър съвет. Включете най-важните страници и категории в менюто или долния колонтитул на вашия сайт.
За по-големи сайтове, като блогове и сайтове за електронна търговия, секциите със свързани публикации/продукти и представени публикации/продукти могат да бъдат от голяма полза както за потребителите, така и за търсачките.
Заявка за индексиране
В случай, че току-що сте публикували или актуализирали нещо и очаквате Google да го покаже, използвайте функцията за индексиране на Google Search Console. Както можете да видите, SEO не е само “ценно съдържание” и “доверени връзки”.
Правенето на SEO не е само осигуряване на видимост, често това също означава отказ от него за страхотни резултати. Смятаме, че бюджетът за обхождане е толкова важен, че това е първият технически ход, който прилагаме към SEO плановете, които предлагаме.
Ако искате да знаете какво Google вижда за вашия сайт, намерете вашия доверен екип при специалистите в SEOMAX.
