Поисковая система UserAgent Имя робота для robots.txt Примечание
AltaVista Scooter-3.0.3 Scooter -
Ask Jeeves Mozilla/2.0 (compatible Ask Jeeves) directhit teomaagent1
Fast Search and Transfer ASA FAST-WebCrawler/3.4/Nirvana) Mozilla/4.0 (compatible FastCrawler3, support-fastcrawler3@fast.no) fast http://fast.no/support/crawler.asp
Google Googlebot/2.1 (+http://www.googlebot.com/bot.html) Wget/1.5.3 Googlebot-image (+http://www.googlebot.com/bot.html) googlebot http://www.google.com/bot.html
Inktomi Slurp
Slurp.so/1.0 (slurp@inktomi.com http://www.inktomi.com/slurp.html
slurp http://www.inktomi.com/slurp.html
Lycos Lycos_Spider_(modspider) T-Rex lycos Не очень ясно, зачем этот робот продолжает работать.
Yahoo Mozilla/4.05 LWP::Simple/5.53 - Робот для проверки ссылок
Яндекс Yandex/1.03.000 Yandex -
Рамблер StackRambler/1.4 Stack -
Апорт Aport Registration Robot aport -