
Yahoo Vertical Crawler - новый паук, использующий кукисы?
Неужели новый паучок?
Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler на overture.com;
http://www.alltheweb.com/help/webmaster/crawler
Этот паук использует кукисы.
Старый FAST-WebCrawler/3.8 тоже заходит на сайт, но насколько я знаю, то он не использует кукисы.
----------
Ты прав, вроде бы новый паучок и действительно с куками. Однако не видно чтобы он использовал robots.txt