Jak ułatwić robotom Google dotarcie do Twoich podstron, czyli wszystko, co trzeba wiedzieć o sitemapie

Poprawna indeksacja witryny = treści lepiej widoczne dla użytkowników Google. Czym jest sitemap.xml?

Rolą każdego właściciela strony internetowej jest odpowiednie zoptymalizowanie swojej strony pod kątem SEO. Aby zwiększyć jej widoczność w organicznych wynikach wyszukiwania, konieczne jest stworzenie pliku w formacie XML z listą wszystkich adresów URL witryny, które mają znaleźć się w indeksie. W ten sposób powstaje plik sitemap.xml, zwany mapą witryny, informujący roboty Google o strukturze strony i jej zawartości. Jeśli chcesz, żeby konkretne podstrony były indeksowane, musisz umieścić je w tym pliku. Przy pomocy sitemapy możesz także wykluczyć strony o niższej wartości merytorycznej lub zduplikowanej treści. Jeżeli masz problem z określeniem, które treści są mało wartościowe lub nieaktualne, możesz skorzystać z usług contentowych, aby nasi specjaliści zrobili to za Ciebie.

Przygotowanie sitemapy i zaimplementowanie jej do Google Search Console może przynieść ogromne korzyści dla Twojej strony, bez względu na to, jakiej ona jest wielkości. Absolutnie niezbędna jest jednak w przypadku większych witryn, z dużą liczbą podstron i treści. W ich przypadku zresztą konieczne bywa stworzenie więcej niż jednej mapy witryny, jeśli plik sitemap.xml jest większy niż 50 MB lub zawiera więcej niż 50 tys. adresów URL.

Dostęp do Twojej sitemapy może mieć każdy użytkownik internetu, tak samo Ty jesteś w stanie podejrzeć mapę strony konkurencji. Przydaje się to podczas przeprowadzania analizy SEO konkurencji. W ten sposób możesz sprawdzić, jak duża jest strona Twojego konkurenta czy też ile ma wpisów na blogu.

Ta sama struktura dla różnych systemów – co powinna zawierać poprawnie stworzona mapa strony?

Z założenia mapa witryny powinna zawierać listę URL podstron, które chcesz, żeby znalazły się w indeksie i wyświetlały w wynikach wyszukiwania. Dla większych stron możesz stworzyć więcej niż jedną sitemapę, a adresy URL pogrupować np. w zależności od rodzaju treści pod konkretnym URL. W każdym z tych przypadków ważne jest, aby sitemapa była czytelna dla robotów indeksujących. Aby to osiągnąć, zwróć uwagę, czy w Twoim pliku sitemap.xml znajdują się poniższe tagi:

• <urlset> – czyli najważniejsza część, która rozpoczyna i kończy plik sitemap.xml, a wewnątrz zawiera tagi <url>;
• <url> – oznaczenie konkretnego URL;
• <loc> – określa lokalizację danego URL wraz z protokołem http lub https.

Wyżej wymienione tagi są obowiązkowe, aby mapa strony była poprawnie skonfigurowana i pełniła swoją funkcję. Dodatkowo możesz zweryfikować, czy Twoja sitemapa zawiera inne, równie użyteczne tagi, które mają za zadanie ułatwić robotom Google poprawne odczytanie strony:

• <lastmod> – określa datę ostatniej modyfikacji lub aktualizacji danej podstrony. W ten sposób możesz poinformować Google, że treść została zaktualizowana i chcesz, by robot indeksujący odwiedził ją ponownie;
• <xhtml:link> – tag używany w przypadku stron z różnymi wersjami językowymi, aby wskazać tożsamą treść w innym języku.

W niektórych sitemapach, zwłaszcza jeśli powstały już jakiś czas temu, możesz spotkać się także z tagami, które nie są już używane. Jednym z nich jest <priority> – jego celem było nadanie podstronie priorytetu w zakresie 0,1–1, aby wskazać robotom indeksującym, które strony są bardziej istotne, a które mniej. Obecnie jest on bezużyteczny, a Google sam ocenia priorytet strony. Drugi tag ignorowany przez Google to <changefreq>, określający częstotliwość zmian treści na danej stronie. Informował on, jak często roboty Google powinny odwiedzać witrynę, aby na bieżąco aktualizować przecrawlowane informacje co do jej zawartości.

Poprawnie stworzona mapa strony powinna zawierać przede wszystkim wartościowe URL, które chcesz, żeby zostały zaindeksowane. Zwróć uwagę na to, aby zostały uwzględnione w niej jedynie adresy kanoniczne oraz pełne adresy z www i https. Przed opublikowaniem sitemapy sprawdź, czy nie zawiera ona podstron z błędem 404, blokowanych przez plik robots.txt, oznaczonych tagiem noindex lub zabezpieczonych hasłem.

Samodzielnie czy automatycznie – jak poprawnie stworzyć i wdrożyć mapę witryny?

Istnieją dwa sposoby na stworzenie sitemapy URL: ręczny i automatyczny. Pierwsza metoda jest dość niepraktyczna i o wiele bardziej czasochłonna, przez co nadaje się jedynie do stron z małą liczbą adresów URL albo tych, które są rzadko aktualizowane. Przy tworzeniu takiego pliku musisz pamiętać o dodaniu wszystkich niezbędnych elementów oraz odpowiedniego nadania tagów.

Druga opcja to zautomatyzowanie tego procesu. Możesz wygenerować mapę strony za pomocą generatora pliku sitemap.xml, np. xml-sitemaps. Jest to narzędzie, do którego wystarczy, że wkleisz adres URL domeny, a otrzymasz plik sitemap gotowy do pobrania i dodania go do Google Search Console. Istnieje wiele darmowych narzędzi służących do generowania mapy strony, mają one jednak ograniczenia co do liczby URL (zazwyczaj jest to 500). W przypadku większych stron konieczne jest wykupienie abonamentu.

Innym sposobem na automatyczne stworzenie mapy strony jest wykorzystanie crawlerów SEO, np. Screaming Frog, których zadaniem jest przeskanowanie całej domeny i zebranie wszystkich adresów URL się na niej znajdujących. Posiadając taką listę, bez problemu wygenerujesz plik sitemap. Sposób ten może się jednak okazać najcięższy do wykonania – nie tyle z powodu trudności w obsłudze tego typu narzędzi, ile dlatego, że musisz wykupić do nich licencję.

Jak wygenerować mapę witryny dla CMS WordPress?

Najprostszą i najefektywniejszą metodą generowania mapy strony jest wykorzystanie darmowych wtyczek dostępnych w Twoim CMS, służących do przeprowadzenia audytu SEO. W przypadku WordPressa może to być np. Yoast SEO czy Rank Math. Proces zbierania danych jest całkowicie automatyczny. Korzystając z takiego rozwiązania, jesteś w stanie decydować, które strony mają się w niej pojawić, a które chcesz z niej wykluczyć. Ogromną zaletą sitemapy WordPress wygenerowanej w ten sposób jest jej przejrzystość.

Jak zrobić to krok po kroku, korzystając z Yoast SEO? Przede wszystkim sprawdź w ustawieniach wtyczki, czy masz włączoną funkcję generowania mapy strony XML.

W tym miejscu możesz także podejrzeć, jak wygląda gotowa mapa Twojej strony. Jeżeli chcesz wykluczyć któryś z adresów, przejdź do edycji konkretnej podstrony i znajdź ustawienia zaawansowane Yoast SEO, a następnie wyszukaj polecenie Zezwolić wyszukiwarkom na wyświetlanie tych treści w wynikach wyszukiwania? i z rozwijanej listy wybierz Nie.

Jak ręcznie zgłosić mapę witryny do Google Search Console krok po kroku

Kiedy masz już gotową mapę swojej strony, kolejnym krokiem jest poinformowanie robotów Google o jej istnieniu. Zrobisz to w Google Search Console. Wystarczy, że wejdziesz na konto, na którym masz dostęp do swojej strony. W bocznym menu odszukaj zakładkę Mapy witryn, następnie podaj adres URL utworzonej sitemapy i kliknij Prześlij.

W tym miejscu będziesz mieć dostęp do wszystkich przesłanych przez Ciebie sitemap i najważniejszych informacji na ich temat, takich jak nazwa sitemapy, typ, data przesłania, data ostatniego odczytu, stan, wykryte strony i wykryte filmy. Po kliknięciu w konkretną mapę strony internetowej możesz zobaczyć szczegóły dotyczące indeksacji – liczbę stron zaindeksowanych i niezaindeksowanych wraz z informacją, dlaczego wystąpił problem.

Czas na sitemap checker – sprawdź, czy stworzona przez Ciebie mapa witryny jest widziana przez roboty Google

Do zweryfikowania, czy mapa strony została poprawnie wdrożona i na pewno jest widziana przez roboty Google, możesz wykorzystać dostępne narzędzia online, ale najlepszym rozwiązaniem będzie przeprowadzenie takiej analizy bezpośrednio w Google Search Console. Wystarczy, że w bocznym pasku po lewej stronie odnajdziesz zakładkę Indeksowanie, a w niej Mapy witryn. Jeżeli mapa strony została dodana poprawnie, to stan sitemapy wskaże Sukces.

W przypadku, kiedy wystąpił jakiś problem, wyświetl Ci się informacja Nie udało się pobrać lub liczba występujących błędów.

Pamiętaj o tym, aby regularnie sprawdzać, czy roboty Google nie napotkały przeszkód podczas indeksowania Twojej strony. Zrobisz to w dokładnie w tym miejscu. Po kliknięciu w konkretną sitemapę wybierz opcję Zobacz indeksowanie stron. Jeśli któryś z adresów URL nie został zaindeksowany, możesz sprawdzić tego powód wraz z wyszczególnieniem konkretnych URL, w przypadku których wystąpił problem.

Sitemapa w połączeniu z plikiem robots.txt – Święty Graal w zarządzaniu crawl budgetem

Przy okazji pisania o Google sitemap bardzo ważne jest też wspomnienie o robots.txt. Jest to plik tekstowy zawierający instrukcje dla botów crawlujących, które elementy strony mogą odczytać, a do których nie mają dostępu. Jego głównym zadaniem jest uniknięcie przeciążenia przez zbyt dużą liczbę zapytań do Twojej strony.

Poprawnie wdrożony plik robots.txt w połączeniu z dobrze zbudowaną mapą strony pozwala na podjęcie działań, które mają na celu optymalizację crawl budgetu na Twojej stronie. Wykluczając elementy ładujące się zbyt długo lub strony wskazujące błędy, możesz zwiększyć szanse na to, że Googlebot w następnej kolejności odwiedzi nową lub świeżo zaktualizowaną wartościową podstronę, a ta następnie zostanie zaindeksowana. Warto wykluczać podstrony, które nie mają żadnej wartości dla użytkownika, np. stronę logowania. Co jakiś czas dobrze jest też przeprowadzić samodzielny audyt SEO z uwzględnieniem pliku robots.txt i sitemap.xml, aby sprawdzić, czy Twoja strona jest odpowiednio odczytywana przez roboty indeksujące. Jeśli jednak nawet po przeczytaniu tego artykułu wciąż sprawia Ci to trudność lub napotykasz nietypowe problemy – skorzystaj z pomocy specjalistów SEO.

FAQ – dowiedz się więcej na temat mapy strony internetowej