Собственно, "Яндекс" в заголовке из-за того, что он самый крутой. Поэтому каждый его апдейт (давно и регулярно) сопровождается попытками сообщества как-то оценить происходящее. Типичные темы для обсуждения (лексику сохраняю "профессиональную" ):

- ап это или глюк,
- если ап, то правильный ап или Яндексу придется сделать откат.

Так как вариаций на тему "ап-глюк-откат" мы наслушались уже много, может, стоит попробовать разработать методику качественной оценки апдейтов поисковых машин в целом, и Яндекса (куда ж без него), в частности?

Количественную уже изобрели, анализатор апдейтов работает хорошо. А вот с качественной... пока проблемы.

Итак, вопросы.

1. По каким параметрам можно определить "ап" или "глюк"?
2. Чем "правильный ап" отличается от апдейта, который "откатится"?

Какие будут идеи?

я бы его (качество апдейта) определял по количеству спама (скажем прямо - коммерческие сайты) в ВЧ запросах.
в каждой теме есть свои сайты явные лидеры - либо поставщики информации, либо коммерческие сайты, работающие с лохматых 90-х. в ЯКе все они известы и находятся, после последнего апдейта ТИЦ, на первых позициях. теперь берем выдачу яндекса по ВЧ-запросам этой рубрики и из топ 10 вычитаем эти сайты. далее все можно либо усреднить, либо (для любителей сложного) построить некий спектр, например, в зависимости от степени конкуренции. так или иначе на выходе будет некое "число попугаев".

НЕ ВЕРНО в корне!
Пока нет адекватной классификации запросов, ни о какой оценке качества выдачи не может быть и речи. Обсуждений на тему классификации запросов на форуме масса, на тему какой должна быть выдача - тоже. К чему-то единому так и не пришли...
Пока мы не найдем критерии качества, все разговоры о его оценке - лукавство.

Не лукавство, а попытка решить задачу приближенными методами, раз уж точных нет.

Задача разбита на два этапа, первый - это определение "ап" или "глюк".
Поправьте, если плохо помню. Глюк - это какой-то "сбой в базе", "выпадение кластеров", "технические проблемы" и т.п. Что там на самом деле Яндекс нам, естественно, докладывать не будет, но "глюк" - очень кратковременное явление, обычно проходит в течение нескольких часов или 2-3 дней (до следующего "апа").

Глюк характеризуется очень необычными явлениями, например, массовым выпадением главных страниц. Либо появлением в выдаче по высокочастотникам странных ссылок на вторые, третьи и далее страницы сайтов.

Апдейт - это что-то более устойчивое. После апдейтов сайты в выдаче могут перетасоваться, но какой-то "исходный набор", если рассматривать не Тор10, а хотя бы Тор20 все же сохраняется.

Таким образом, апдейт как бы "отражает" текущее состояние Яндекса на данный момент, разработчики как бы говорят - это лучшее, что мы сейчас можем вам предложить. Глюк - это ошибка: "извините, скоро исправим".

Я считаю 5-8 сайтов о "прокате автомобилей в Москве" в Тор10 по запросу "автомобили" крайне некачественной выдачей, но в Яндексе такая картина, минимум, полгода держится. Т.е. это стабильная ситуация, лучшее (к сожалению) из возможного. Сейчас "прокатчиков" в топе 6. По сравнению с 8 - это лучше, так что можно говорить об "улучшении". Когда будет 9 (однажды видел) - ухудшение.

Такие вот простые критерии. Хочется придумать какой-то базовый их набор, чтобы при апдейте заполнить небольшую табличку и уже на основании ее заявить "лучше" или "хуже". Аргумент "мне кажется, лучше" уже как-то не канает.

Вот от этого и стоит оттолкнуться. Мне кажется выбрать за основу какие-то высокочастотные запросы, рассматривать например первую тридцатку (когда апдейт будет нормальный), определить "лидеров" и сравнивать по ним - если есть - значит ап нормальный, если нет - плохой. Ну соответственно рассчитать "процент наличия" лидеров в выдаче для определения апа и глюка.
Либо просто сравнивать предыдущий апдейт или несколько с произошедшим по такому же принципу, т.е. выбор лидеров будет автоматический.

А хорошая идея! Это ведь можно совместить с анализатором апдейтов. Надо просто "историю" завести и сравнивать не каждый день а на какое-то время назад.

А я сразу и подумал что будет совмещено.
Мое предложение следующее. Установить процент апдейта, т.е. при скольких процентах в анализаторе день будет считаться "апдейтовым". А далее сверять выдачу либо с одним предыдущим апдейтом, либо с несколькими. Соответственно если сайты остаются восновном прежними - то апдейт нормальный, если сильно меняются - значит глюк. Ну и если апдейт глюченый - то при следующем апдейте сверять выдачу с предыдущим нормальным.

не факт, что глюк. например, знаменитый сентябрьский апдейт 2006 в яндекс. выдача полностью изменилась, но глюком назввать это язык не поворачивается.

Процент уже установлен, если устойчивость ниже 50%, день отмечается красным. Интересно очень смотреть, как "колбасит" наши поисковики по сравнению с Гуглом. Но сверка идет каждый день, поэтому если два дня подряд "апдейты" мы не можем сказать, то ли это действительно два апа, то ли "глюк с откатом".

Мы планировали вести историю, т.е. хранить таблицы данных за каждый день в течение, например, месяца, и каждый новый день автоматически сравнивать с каждым днем из предыдущих 30, с целью определить, на что больше "похожа" именно сегодняшняя выдача. Но руки пока не дошли. Хотя давно чешутся, очень интересно, что выйдет.

Но идея Виктора, определить какие-то "маркеры" для ряда запросов, мне тоже нравится. Например, auto.ru сейчас по запросу "автомобили" вылетел даже из сотни, хотя морда в индексе светится - http://www.yandex.ru/yandsearch?serveru ... 1%E8%EB%E8
причем, по этому же запросу.

Как-то трудно поверить, что этот сайт вдруг перестал быть "авторитетным" для Яндекса и должен ранжироваться даже ниже "Виртуальных Открыток на Портале "ГородВкуса!"" (81 поз.).

Т.е. - глюк, да?..

buster, ну это я просто так выразился, названий можно много придумать, подходящее будет: "нестандартный апдейт".

Это понятно, маркеры тоже нужны. В этом кстати сеорейтинг может помочь. Можно сверять выдачу по определенным запросам, ну и например по "маркерам" ориентироваться.

ну называть можно по разному. я к тому, что нельзя сразу по критерию большого процента изменения лидеров в выдаче говорить о глюке. единственную информацию, которую можно почерпнуть - произошел апдейт алгоритма.

Если удастся реализовать, я это примерно так вижу.
Апдейтер исправно ежедневно все показывает, как и сейчас. Но каждому дню сопоставляет некую дату, на которую нынешний день похож. Интересно - будет ли "дрейф" этих дат, резкие скачки или одна дата в течение какого-то времени будет стабильной.
Без опыта такое предсказать не берусь.

в том-то и дело.что нужно поробывать реализовать хотябы маркеры.потом сопоставление (с ним послажнее будет),а так конечно можно долго говорить. надеюсь что кто-то уже взялся=)

Давайте здесь и возьмемся.
Предложение: запрос+маркер (можно два, вряд ли больше)

- автомобили = auto.ru

Давайте еще предложения.

Для меня единственными маркерами являются сайты, которые я продвигаю.

Есть они в топе - ап.
Нет их - глюк

Ну, и покажи их народу!

Андрей, вот тут все маркеры для запроса "автомобили": http://yaca.yandex.ru/yca/cat/Automobiles/

Виктор, ты хочешь сказать, что надо сравнить выдачу Яндек.Каталога и Яндекса? Я сейчас прошу не обобщений, а вполне конкретных пар запрос+маркер.

Причем, идея все ж в том, что "правильность" выдачи качественно определяется наличием в ней маркера. Если маркер пропал, сильное подозрение, что "глюк". Определить 10 маркеров для Тор10 мы, очевидно, не можем.

andre, а как подбирать? На каждый запрос определенное число сайтов? Нужно тогда сначала определиться наверное по какому кол-ву сайтов в выдаче сверять, по 10, 20 или 30 и сколько сайтов должно быть "маркерами". И может быть тогда сразу определить кол-во нужных конкурентных тематик. Или сначала накидать, а потом уже думать лучше...

Вот это правильный подход

Имхо, максимально просто, примерно как мы делаем обычно. Видим апдейт, смотрим на свои сайты. Если позиции хорошие - успокаиваемся и считаем, что все замечательно. Если упали или поплыли - волнуемся и пытаемся определить, это личная наша трагедия или у всех все плохо. При этом какую-то большую выборку запросов для анализа вряд ли кто берет; просмотрят 2-3-5 запросов и идут на серч мнениями обмениваться.

Поэтому и здесь можно тот же принцип применить. Т.е. "на автомате" (а, скорее всего, и реальный автомат прикрутим, чтобы вручную не бегать) просматривать некий список запросов, отыскивая в Тор10 сайты, которые там должны быть просто "по определению".

Авто.ру по этому запросу испокон веку стоит. Кстати, вот еще одно предложение: проверять сайт anekdot.ru Вернера по запросу "анекдоты". Надо еще с пару десятков маркеров, и картина будет довольно ясной для любого апа.

Комментарий, что Яндекс сделал "чушь несусветную" уже даже Экслер написал, см. http://exler.ru/blog/item/1987/

Андрей, это все понятно Я имел ввиду на каждый запрос (например "автомобили") будет по одному "маркеру" или по несколько? Или по-всякому, в зависимости от того сколько сайтов должно быть по определению?

На мой взгляд, одного в Тор10 вполне достаточно. Из тех, что практически всегда к потолку прибиты.

Андрей, нет конечно. Алгоритмы ранжирования уж слишком разные.

Но из той ссылки можно надергать маркеры по соответствующему запросу. Опять же у сайтов большие ТИЦ, а хначит есть какая-то гарнатия "чистоты" ссылочной базы (в смысле спама не так много, как у других).

Виктор, так я к тому и веду, что давайте конкретные предложения!
Сам уже два предложил - авто и анекдоты, хочется помощи от народа!

По гостиничным запросам обязательно должна присутствовать самая крутая гостиница в городе. Просто я затрудняюсь определить таковую для Москвы или Питера.