Spider, Crawler [Robot, Pajączek]

Robot wyszukiwarki jest to program lub automatyczny skrypt, który metodycznie przeszukuje zasoby Internetu. Zbiera informacje o strukturze i całej zawartości danego serwisu internetowego, przegląda nowe strony, sprawdza kod stron, linki, monitoruje wszelkie zmiany na stronie i tworzy kopie stron. Obecność robota wyszukiwarki na stronie jest niezbędna, aby strona znalazła się w indeksie wyszukiwarki i tym samym była widoczna dla użytkowników. Robot porusza się po sieci dzięki linkom zawartym w kodzie źródłowym strony internetowej. Zebrane informacje przekazywane są do Bazy Danych wyszukiwarki. Roboty wracają po jakimś czasie na zindeksowane strony, aby sprawdzić zmiany i pobrać nowe dane. Robotom można pomagać w poruszaniu się po zawartości danej strony poprzez zastosowanie mapy strony (site map).

zobacz pozostałe wyrażenia