User agent

User agent - krótki tekst (String), którego zadaniem jest opisanie najważniejszych parametrów agenta (przeglądarki/programu/aplikacji użytkownika) zapytaniom HTTP kierowanym do serwera internetowego.

Ostatnia aktualizacja: 27-09-2024
Spis treści

Co składa się na user agent string?

User agent string zawiera z reguły kilka podstawowych parametrów opisujących przeglądarkę oraz urządzenie. Przeglądając user agent string można odczytać:

  • system operacyjny używany przez urządzenie wysyłające zapytanie;
  • typ urządzenia i kilka szczegółów na jego temat;
  • nazwę i wersję przeglądarki/programu używającego protokołu HTTP.

Warto jednak pamiętać o tym, że user agent nie zawsze musi zawierać informacje prawdziwe – mogą to być informacje umyślnie spreparowane w żądaniu HTTP. Informacje mogą być też dalekie od prawdy, gdy użytkownik korzysta z niestandardowej wersji przeglądarki.

 

Jak kontrolować dostęp user agent do Twojej strony za pomocą robots.txt

Mając dostęp do pliku robots.txt, w odpowiedniej linii definiujesz bota, którego mają dotyczyć instrukcje/dyrektywy (np. disallow, blokująca dostęp), które wydasz w liniach po tej linii następujących. Warto tutaj pamiętać o tym, że każda grupa user-agent/disallow powinna zostać oddzielona od siebie pustą linią, jednak w taki sposób, aby w grupie (w ramach jednej grupy) nie znajdowały się puste linie. Więcej na temat obsługi robots.txt przeczytasz w tym artykule.

 

Przykładowe komendy, które możesz wydawać user agent w pliku robots.txt

Wydając komendy w pliku robots.txt warto być ostrożnym, proste błędy mogą tutaj spowodować daleko idące konsekwencje. Jeśli masz jednak pewność tego co robisz, to poniżej przedstawiam podstawowe komendy:

Komenda/dyrektywa: Działanie komendy:
Disallow Za pomocą tej komendy możesz wskazać strony które nie powinny być skanowane przez boty (nie ma limitu ilości disallow w robots.txt).
Allow (wspierana przez Google) Działa w sposób przeciwny do Disallow. Używana, gdy na przykład blokujesz cały katalog za pomocą disallow poza jakimś podkatalogiem.
Crawl Delay (wspierana przez Google, Bing) Stosowana, gdy chcesz np. zredukować obciążenie serwera.
Sitemap Wydając komendę Sitemap: lokalizacja_mapy ułatwiasz crawlowanie strony robotom indeksującym.

 

User agent – najczęściej zadawane pytania

Jaki rodzaj user agent należy do najpopularniejszych?

Najczęściej natrafić można na user agent: przeglądarki sieciowe (Google chrome, Mozilla Firefox, Microsoft Edge).

Czym jest zautomatyzowany user agent?

Indeksowanie stron, ich monitoring itp. są domyślnie wykonywane przez zautomatyzowane boty/crawlery. Narzędzia takie jak Screaming Frog SEO spider pozwalają na wybór user agent w konfiguracji narzędzia.

Autorzy
  • Wojciech Trojak

    SEO Project Specialist. Absolwent SGH i WSKZ, obecnie edukuje się na studiach magisterskich na WSB-NLU, gdzie zgłębia analizę danych. Profesjonalista z chęcią ciągłego rozwoju. Doskonale radzi sobie z raportowaniem, SEO oraz marketingiem PPC. Miłośnik książek i audiobooków. Po godzinach preferuje aktywny wypoczynek – narty zimą, rower latem.

Wymieńmy się doświadczeniami
Opowiedz nam o potrzebach twojej firmy, a my z pasją zajmiemy się ich wdrożeniem.

Bartosz Kastelik
Global Chief Sales Officer

Jesteśmy częścią grupy