Crawl budget – co to jest i jak wpływa na SEO?
Boty Google i innych wyszukiwarek, aby dostarczać użytkownikom adekwatnych i aktualnych odpowiedzi na ich zapytania, nieustannie crawlują, skanują i indeksują strony internetowe. Mówiąc prościej: przeglądają internet, wyszukują nowe podstrony i rejestrują zmiany na już istniejących, a wszystkie te dane rejestrują w gigantycznym indeksie, z którego następnie korzystają przy prezentacji wyników wyszukiwania.
Termin „crawl budget” oznacza częstotliwość odwiedzin botów w danej witrynie i czas, który na niej spędzają, a zatem także liczbę podstron, jaką zaindeksują w ramach jednorazowej sesji. Składają się na to następujące czynniki:
- Crawl rate limit – limit współczynnika indeksacji, czyli ograniczenie dla zapytań wysyłanych przez roboty Google podczas działań w witrynie, tak by jej nadmiernie nie obciążać. Można go zmienić ręcznie w Google Search Console (choć niekoniecznie zwiększy to crawl budget.
- Crawl health — kondycja crawla, czyli to, jak szybko jest w stanie „pracować”. Zależy to przede wszystkim od prędkości ładowania strony oraz czasu odpowiedzi serwera.
- Crawl demand — częstotliwość indeksacji, czyli to, jak często Googleboty odwiedzają stronę. Crawl demand zwiększa się wraz z popularnością witryny oraz częstotliwością aktualizacji treści na niej zamieszczonych.
Crawl budget ma kluczowe znaczenie dla pozycjonowania, ponieważ w rankingu wyszukiwarki brane pod uwagę są wyłącznie strony znajdujące się w indeksie. Niewielki crawl budget może oznaczać problemy z indeksacją i obniżać skuteczność realizowanej strategii SEO.
Optymalizacja budżetu indeksowania
Przydzielony przez algorytmy wyszukiwarek crawl budget jest różny dla różnych stron internetowych. Wielkość budżetu indeksowania zależy od wielu czynników, takich jak sprawność techniczna serwisu, autorytet domeny, aktualność treści, liczba odwiedzających itd. Aby poprawić szybkość indeksowania na swojej stronie, warto optymalizować ją pod kątem crawl budgetu. Działania, które można podjąć w tym celu, to m.in.:
- wdrożenie i regularne aktualizowanie pliku sitemap.xml,
- wyłączenie niektórych podstron z indeksowania w pliku robots.txt lub za pomocą meta tagów,
- weryfikacja poprawności działania nawigacji fasetowej,
- usunięcie pozornych błędów 404,
- unikanie thin contentu i duplikacji treści.
Pamiętaj także o regularnym aktualizowaniu treści na stronie i wykonywaniu analizy technicznej witryny.
Crawl budget – najczęściej zadawane pytania
Jak sprawdzić, jaki jest crawl budget Twojej strony?
Jeśli chcesz wiedzieć, jaki jest Twój budżet na indeksowanie, możesz to sprawdzić w Google Search Console – darmowym narzędziu dostępnym dla wszystkich właścicieli stron internetowych). W zakładce Statystyki indeksowania znajdziesz informacje o łącznej liczbie żądań robota indeksującego (im jest ich więcej, tym lepiej), łącznego rozmiaru plików do pobrania oraz średniego czasu reakcji (ms), który powinien być jak najkrótszy.
Czy noindex oszczędza budżet indeksowania?
Według Johna Muellera z Google zastosowanie meta tagu noindex nie ma bezpośredniego wpływu na crawl budget, ponieważ boty i tak muszą wejść na daną podstronę, aby odczytać tę dyrektywę. Wciąż jednak warto stosować tag noindex do zarządzania budżetem indeksowania, ponieważ z czasem algorytm nauczy się priorytetyzować inne podstrony, które są dla Ciebie istotniejsze.
