Jak wygląda struktura tagu meta robots
Jeśli roboty indeksujące (crawlery) mają dostęp do konkretnej strony, to możesz w pewnym zakresie dawać im rozkazy/dyrektywy/instrukcje. Tag meta robots, który Ci w tym pomoże, powinien zostać umieszczony na danej stronie w sekcji head. Jego struktura może wyglądać następująco:
<meta name=”robots” content=”noindex”>
W tym przykładzie informujesz crawlery (wartość atrybutu name=”robots” przekazuje, że zasada ta ma dotyczyć wszystkich crawlerów), że nie powinny indeksować tej konkretnej strony (noindex).
Jakich innych dyrektyw można użyć w robots meta tag
Za pomocą tagu meta robots możesz przekazywać wiele różnych dyrektyw. Aktualna i szeroko opisana ich lista znajduje się na stronie Google. Do najważniejszych dyrektyw należą:
- noindex;
- nofollow;
- noarchive.
Jeśli nie zastosujesz żadnej z wyżej wymienionych dyrektyw w meta robots, crawlery przyjmują, że ich wartości są przeciwne. (Domyślne wartości to index, follow, archive i jeśli właśnie takich dyrektyw chcesz użyć, to nie trzeba ich umieszczać na każdej stronie).
Meta robots pozwala na kombinacje dyrektyw i atrybutów
Modyfikacja atrybutu name
W przykładzie, który podałem w tym wpisie (<meta name=”robots” content=”noindex”>) masz do czynienia z atrybutem name=”robots”, innymi słowy rozkazujesz wszystkim crawlerom odwiedzającym stronę. Warto jednak wiedzieć, że możesz zawęzić swoją dyrektywę do konkretnego bota, np, googlebota. Na przykład w taki sposób:
<meta name=”googlebot” content=”noindex”>
Tworzenie kombinacji zasad dla botów za pomocą meta robots
To jak możesz tworzyć kombinacje zasad dla botów najlepiej pokazać na przykładzie.Wystarczy, że użyjesz przecinka między dyrektywami.
<meta name=”robots” content=”noindex, nofollow”>
Powyższa komenda (noindex) w meta robots instruuje crawlery, żeby nie przechowywały tej strony w żaden sposób w swoim indeksie, a nofollow wskazuje na to, że linki prowadzące z tej strony nie mają przekazywać żadnej “mocy” stronom, do których prowadzą.
Meta robots – najczęściej zadawane pytania
Czym jest noarchive?
Dyrektywa noarchive użyta w tagu HTML meta robots należy do respektowanych przez crawlery Google i instruuje je, aby nie przechowywały wersji strony w pamięci cache. Bez zastosowania noarchive w meta robots, Google może pokazać w SERP starą wersję Twojej strony.
Jaka jest najważniejsza różnica między robots.txt a meta robots?
Tak samo robots.txt jak i meta robots pozwolą Ci dawać dyrektywy crawlerom. Plik robots.txt pozwala jednak na zarządzanie dostępem do wielu podstron w jednym miejscu. Meta robots pozwala natomiast przekazywać wytyczne robotom indeksującym pod konkretnym adresem URL.
