Crawl budget – co to jest i jak wpływa na SEO?
Boty Google i innych wyszukiwarek, aby dostarczać użytkownikom adekwatnych i aktualnych odpowiedzi na ich zapytania, nieustannie crawlują, skanują i indeksują strony internetowe. Mówiąc prościej: przeglądają internet, wyszukują nowe podstrony i rejestrują zmiany na już istniejących, a wszystkie te dane rejestrują w gigantycznym indeksie, z którego następnie korzystają przy prezentacji wyników wyszukiwania.
Termin „crawl budget” oznacza częstotliwość odwiedzin botów w danej witrynie i czas, który na niej spędzają, a zatem także liczbę podstron, jaką zaindeksują w ramach jednorazowej sesji. Składają się na to następujące czynniki:
- Crawl rate limit – limit współczynnika indeksacji, czyli ograniczenie dla zapytań wysyłanych przez roboty Google podczas działań w witrynie, tak by jej nadmiernie nie obciążać. Można go zmienić ręcznie w Google Search Console (choć niekoniecznie zwiększy to crawl budget.
- Crawl health — kondycja crawla, czyli to, jak szybko jest w stanie „pracować”. Zależy to przede wszystkim od prędkości ładowania strony oraz czasu odpowiedzi serwera.
- Crawl demand — częstotliwość indeksacji, czyli to, jak często Googleboty odwiedzają stronę. Crawl demand zwiększa się wraz z popularnością witryny oraz częstotliwością aktualizacji treści na niej zamieszczonych.
Crawl budget ma kluczowe znaczenie dla pozycjonowania, ponieważ w rankingu wyszukiwarki brane pod uwagę są wyłącznie strony znajdujące się w indeksie. Niewielki crawl budget może oznaczać problemy z indeksacją i obniżać skuteczność realizowanej strategii SEO.
Optymalizacja budżetu indeksowania
Przydzielony przez algorytmy wyszukiwarek crawl budget jest różny dla różnych stron internetowych. Wielkość budżetu indeksowania zależy od wielu czynników, takich jak sprawność techniczna serwisu, autorytet domeny, aktualność treści, liczba odwiedzających itd. Aby poprawić szybkość indeksowania na swojej stronie, warto optymalizować ją pod kątem crawl budgetu. Działania, które można podjąć w tym celu, to m.in.:
- wdrożenie i regularne aktualizowanie pliku sitemap.xml,
- wyłączenie niektórych podstron z indeksowania w pliku robots.txt lub za pomocą meta tagów,
- weryfikacja poprawności działania nawigacji fasetowej,
- usunięcie pozornych błędów 404,
- unikanie thin contentu i duplikacji treści.
Pamiętaj także o regularnym aktualizowaniu treści na stronie i wykonywaniu analizy technicznej witryny.
