a) Смотри кто дергает robots.txt
б) У нетпромотера анализер нормально роботов из логов определяет, и если известен новый предлагает тебе его опознать.
Прошу прощения за свою неграмотность, но:
1) как посмотреть кто дергает robots.txt? Тоже через лог файлы access и мой web анализер с контрольной панели хостинга?
2) несовсем понял что значит - "нетпромоутер предлагает мне его опознать?" Наверняка это платная услуга и е нужно заранее заказывать! _________________ Ничего личного, мы все студенты.
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
FAQ
Поиск
Пользователи
Группы
Реклама
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
