Еще мысль.
При выборе маркеров, если ставить уж совсем очевидные, типа
microsoft - www.microsoft.com
то и при больших неполадках (глюках) этот сайт может остаться на первом месте, т.к. близко и рядом по релевантности не может быть ни одного сайта. Вот
президент - www.kremlin.ru
это нормальный маркер, там еще Украина, Белоруссия и Грузия будут видны с большой вероятностью.

Есть в планах, Антон. Все же пока в качестве маркера стараемся взять либо "бесспорного лидера" либо лидера в теме, где мало конкуренции.
Можно просто сделать списки навигационных, информационных и транзакционных запросов - но там сайты-маркеры отбирать уже проблемнее. Кто является лидером в "пластиковых окнах", "продвижении сайтов", "веб-дизайне" и т.п?. Острая тема получится.

Тут kremlin.ru не уникальный, конечно, но обязательный, (если, конечно, ФСО-шники что-нибудь не накосячат с robots.txt ).

Зато уж если вылетит, то очень показательно вылетит!

andre, предлагаю еще один поисковик добавить
апорт - www.aport.ru

А за что "Холодильник.Ру" из маркеров убрали?

А вообще то я за, что убрали.
Настолько я сильно его двигаю ссылочным ранжированием и тематика не только холодильники, что для "чисто научных целей" он и не сильно подходит...
А вот зато есть www.holodilnik.info - только УНИКАЛЬНЫЕ статьи авторские, строжайшее соответствие тематике и ноль "покупных ссылок".
Кроме Гугля поисковики к нему прохладно относятся...

Яндекс сказал, что при этом запросе ищут холодильники, а не сайт "Холодильник.ру". Поэтому маркер неочевидный.

Меня сейчас тема очевидности все больше волнует.

Ну тут бы я с ними не согласился... Если бы не усилия по продвижению, то отличный маркер...
1. Самый большой ассортимент холодильников в зоне .Ру
2. Статьи о холодильниках = перепечатаные половиной интернета.
3. Форум живой и уникальный - с основной тематикой о холодильниках..

"Ищут холодильники"... Странно, а почему находят в Яндексе САЙТЫ?

Я бы Вас поддержал. Холодильник.ру реально уже как бы "символизирует" все холодильники Рунета.

в поиске плоьзовтаель находит не сайты, а информацию/товары/услуги (нужное подчеркнуть) на сайтах. а это две большие разницы.

учебные заведения нужны:
университет - www.msu.ru
физтех - www.fizteh.ru


ещё, мне кажется, время обсчёта надо сдвинуть вперёд на пару часиков. не всегда к 10 выдача устаканивается.

Вообще идея интересная.
Я тут посмотрел это дело по каталогам. И вот что получилось.
http://adre.ru/dir.html

Evg не хотите расширить список каталогов?

Хочу, только думаю какие взять.
Может быть первые от сюда?
http://yaca.yandex.ru/yca/ungrp/cat/Com ... atalogues/

Добавлено:
посмотрел 2 запроса
первый с http://weblist.ru/, а второй с
http://www.ru/rus/index.search.html?s2f ... &adv_syn=1
Я думаю с качеством все ясно. Найти бы более-менее приличные каталоги.
Хотя по третьему каталогу в списке (Я-каталога)
http://www.ulitka.ru/
auto.ru при запросе "автомобили" на 3 месте. Вот его пожалуй и надо добавить.

можно вот такой набор:
1. ЯКа
2. РамблерТОП100
3. HotLog
4. SpyLog
5. Li.Ru
6. Top.Mail.Ru
7. List.Mail.Ru
8. DMOZ
9. Open.Webalta
10. Aport

Улитка слабенький. там модерация так себе.

Ок, гляну тогда более подробно на эти каталоги и рейтинги. Апорт нужно однозначно добавить, забыл о нем (

рылся в ссылочных базах в одной теме. тема (спасибо С. Аксенову) неплохо освоена. вот еще один маркер:

запрос: яхты
сайт: yachtsworld.ru

все остальное сайтами нахвать можно только с натяжкой и закрыв глаза.

Спасибо! Добавил "яхты" и "апорт"

запрос: премия рунета

маркер: www.premiaruneta.ru

судя по тому, что творит яндекс на НЧ-запросах его можно сильно уронить в анализаторе качества

Добавил. По низкочастотникам анализировать будем очередным, "нейронным" инструментом.

Короче по идее нельзя говорить о качесте СЕРПа по такому алгоритму, т.е. проценты которые там стоят достаточно "пустоваты" по смыслу.

Предлагаю внести в алгоритм небольшие изменения - во первых не для каждого маркера должна быть пара - "запрос-сайт", а хотя бы для общих маркеров должна быть связка "запрос-сайт1,сайт2,...,сайтN" - т.к. для анекдотов есть не только anekdot.ru, а для новостей не только лента.ру. Но вот например для названий фирм должен быть один сайт.

Во-вторых теперь если мы говорим не об одном сайте в маркере а о наборе, и следим за серпом не булевым образом (на первом месте сайт или не на первом), имеет смысл ввести величину плотности правильных сайтов (с учетом того что "масса" на позиции чем ближе к топу тем массивнее) например в десятке (ну или пятерки, но правильнее наверное - на первой странице, т.е. яндекс, mail, гугл, вебальта (кстати почему ее нет = 10, рамблер=15).

В третьих, если идти дальше то надо оценивать и количество "неправильных сайтов", и "нейтральных" сайтов. неправильные - доры, явно несемантичные сайты, и т.д. (вот хрен знает как автоматом все отслеживать), нейтральные - все оставшиеся за вычетом всех правильных и неправильных. Как правило нейтральные сайты будут появлятся из за неоднозначности запроса, т.к. при запросе "холодильник" один понимает одно - например куплю, а второй другое - например, его устройство.

Ну и дальше нормализовать (по количеству маркеров) либо явно правильные значения и суммировать и получать процент, либо придумать функцию f(правильные,неправильные,нейтральные), нормальизовать ее и складывать и получать процент.

PS Кстати мне кажется что такие алгоритмы реализованы у всех поисковиков (проверка релеватности СЕРПа), Ашманов должен точно знать )

Еще PPS кстати еще наверное было бы полезно учитывать, например, появления в полной выдаче искомых сайтов (т.е. для яндекса это и маркет, и баннер, и директ), они как бы тоже по идее релеантые штуки и дают пользователю ответ на запрос, хотя ХЗ

EveryonE этой цели служит анализатор полноты поиска