Я стал замечать, что Яндекс, время от времени, выкидывает их своего
индекса часть проиндексированных ранее страниц. Мой сайт на этом
потерял более 400 хостов в сутки.

Вопросы:
1. С чем это может быть связано?
2. Возможна ли подобная ситуация с Яндексом произошедшая совсем
недавно с Google'м (из его индекса был стерт сайт Microsoft, без
вмешательства в файл робот.тхт на сервере клиента)

У гугля это имело иную природу. При удалении через тот сервис страницы index.html гугль выкидывал из базы ВЕСЬ сайт. Даже если на сайте отродясь index не было, а что-то иное лезло при запросе домена.

а у Яндекса порой "выпадают кластеры" То есть просто он забывает о существовании каких-то страниц. Это если авария. А так... что бы точне говорить - сайт надо. Показывайте.

http://www.klubok.net

9641 страница. Это не все?

Не верно
Всякий хлам в т.ч. .pdf и doc

А релевантные страницы - выкидывает
(их не более 2000)

Так спрячьте от паука весь мусор. Ну в крайнем случае через роботс.тхт Лимиты то на ваш сайт не бесконечны.

у меня тоже одно время Яндекс выкидывал страницы, по 150-200 в сутки, но потом к счастью прошла полная переиндексация и всё стало на свои места. это не авария точно! наблюдалось такое не раз уже.

С мусором и лимитами все понятно...
Но он заново не индексирует
Приходится ручками добавлять

А старое выкидывает
И выкидыывает не хлам... а релевантные документы




В том то и дело что к счастью ... дело случая

А я боюсь ему послать сайт на полную переиндексацию (сначала удалить через робот, а потом послать)

Так как я уже год наблюдал, что Яндекс не индексирует мой сайт

но видимо придётся или удалять и добавлять заново, что обязательно приведёт уменьшеню трафика на какое-тьо время или написать письмо Яндексу, хотя отвечают они неохотно. Если он не находит его уже год то это немного странно.

клубок, возможные причины:
- урлы страниц мегакривые - это никто не любит
- сайт доооолго грузится. вот я пиши и жду, жду, жду. (а меня скорость 65кб/с)
- ссылки на сайты авторов статей ты ставишь кривые!
- да и ссылками еще, похоже, приторговываешь...

да и яндекс иногда на ровном месте что-то теряет (причина уже выше описана)

Я про Ерему, мне про Фому

1. "урлы страниц мегакривые" - не понял как это влияет на Яндекс и в чем их "Мегакривость"

2. "доооолго грузится" - проблемы вашего провайдера, для Яндекса он грузится менее чем в 1 секунду

3. "ссылки на сайты авторов статей ты ставишь кривые!" - это вы о чем и как это относится к роботу Яндекса?

4. "да и ссылками еще, похоже, приторговываешь... " - без комментариев

Garin, начал было я отвечать по пунктам, да передумал. В общем, все перечисленное "оставляет у робота неприятный осадок". Чем больше у робота поводов "напрячься" относительно того, как все сделано на сайте, тем хуже он будет по нему лазить. Ты пробовал сопоставить количество проиндексированных страниц и реальное количество страниц сайта?

линки я имел в виду типа этих: klubok.net/modules.php?op=modload&name=News&file=index&catid=7&topic=&startnums=40

про ссылки мне один небезызвестный корефан прислал линку: http://www.klubok.net/article368.html - говорит, что раньше там все пучком было, а потом балдес настал.

Garin, piercme немного не о том имхо. Но на пальцах:
1. вот представь себе что ты паук. Ты не в курсе что там важно, а что нет на сайте. На сайте много тысяч страниц. У тебя нет возможности каждый раз переиндексировать все. По каим-то там принципам выбирается часть. Чем больше лишних страниц идет в индекс, тем меньше вероятность что паук наскочит на "важные" Соответственно отнимая у паука "неважные" страницы ты облегчишь себе жизнь
2. с практической точки зрения это лечится еще помещением ссылки на новый материал на морду сайта. Ибо логично звучит гипотеза что морда содержит сущственную информацию. Есои ты посмтришь на логи посещений паука, то найдешь немало заходов когдаон берет морду и вряд ли найдешь хоть один где он ее не берет.
3. вообще говоря стоит сделать псевостатику. Что бы не было вурлах сзаков вопроса. Ибо... у Рамблера прямо говорится что у неих есть лимит надинамику. Лимит то есть всегда, это понятно, но на динамику он более жесткий. Тоже самое наверняка касается и яндекса. Во всяком случае переделка линков под пседвостатику точно не повредит.

и наконец вопрос: все выглядит так, что у вас все должно распрекрасно индексироваться. Какие именно станицы по вашему вызывают проблемы?

Вообщем вам по существу нечего сказать...

Мое мнение, почему яндекс перестал заглядывать на переиндексацию:

1. Связано с лимитами

на домене *.klubok.net несколько сайтов
и лишь один из них в каталоге

2. Дубликаты материалов (версия для печати... )

...

может я и не прав

а "кривизна" ссылок на него мало влияет ...
тем более когда специально в "кривых" ссылках оставляю некоторый "мусор"

(а как побороть вами приведенный пример, частный случай, у меня временно не хватает знаний чтоб его зареврайтить)


ps: за подсказку по лимитам Mauser'у спасибо




В том то и дело, что выглядит хорошо

Но не индексируется с периодичностью хотябы раз в 2 месяца (именно Яндекс)....

А ранее проиндексированные страницы (релевантные в Яндексе) , не "мусор" периодически выкидываются из его индекса.

Вот к прмеру вот эта
http://www.klubok.net/pageid132.html

Два месяца назад она у него была

Две недели назад, мне пришлось её вновь ему добавить

для каждого поддомен - отдельный лимит. если у тебя 10 поддоменов, то с каждого будет 500 за раз браться, а не всего 500. проверяно.

Не знаю связано ли это с моими действиями ... или что то с Яндексом произошло

Но факт на лицо

22/06/04
Я закрыл дубликаты страниц (версия для печати) через Ява скрипты

в яндексе их стало 9780 ... => что Яндекс зашел и проиндексировал новые материалы.

ps: осталось подчистить мусор

У моего знакомого удалили и не востановили.
http://1001foto.com , аргументов конечно же не было. Но я предполагаю, что пока он выкупал слова(рекламу), он стоял, как только прекратил, через неделю пропал. Это, что вымогательство?

скорее, совпадение
вымогательство не в интересах поисковика.

зы. хотя, конечно, может быть они и сволочи, но хочется верить в лучшее!

Sana, разговоры о вымогательстве Яндекса и о ДжойнТуДей я не внес в список запрещенных просто по лени своей. Как бы можно, но педалировать эти темы не стоит.

имхо дело не в вымогательсве, а просто совпадение.

2 Garin
а до этой индексации когда он (яндекс) последний раз заходил?

Да я наверное сгоряча сказал, что он зашел ...
Я потом пошел и посмотрел проиндексированные страницы по дате.
И обнаружил, что ничего подобного с заходом яндекса это не имеет

Вот от кель у него появилось
еще 139 страниц ... для меня загадка (может это и есть те страницы что пропадали)

может это своего рода ,,доиндексация,,?
у меня такое бывает на форумах, например на www.SITE.RU/forum
что поисковик заходит только на форум и только его проверяет.
такое же могло быть и у тебя...

Но я же говорю, что просмотрел по дате добавленные страницы

Кроме 10 добавленных мной ручками я больше ничего нового не увидел

ой...сорри! не заметил!

У меня, кажись, еще хуже ситуация.

Сайт практически вообще перстал искаться Яндексом. А раньше он геренировал нам 60% траффика.
Знакомые говорят, что это "черный вторник" аукается. Очень на то похоже. Списывался с "Я", ответили что-то невразумительное на счет robots.txt, отмазка явная. Яндекс цитируемости, кста, имеет положительную динамику. Сейчас он - 400.
А основные два подкаталога сайта, в которые теперь перенесен основной контент, и которые были произведены на свет более полугода назад так до сих пор и не ищатся. Скажу более, в Yandex как-будто проиндексирован только корень сайта, а дальше - затык. Навигация по сайту забита в текстовые гиперссылки, никаких Flash и JS. Псевдостатику делать не стал, но УРЛы имеют достаточно стандартный вид, с 2-3 мя параметрами после символа "?". Я и раньше так все время делал.
Самое главное, что Рамблер, который я лично недолюбливал, прекрасно все динамические отредизайнированные страницы подхватил, и генерит приличный траффик.

Все-таки непонятно, что можно поделать с Я?