В Рунете заработал новый поисковик - Nigma.ru

Интеллектуальная поисковая система Nigma.ru - результат работы научного коллектива, состоящего из студентов и аспирантов факультетов ВМиК и психологии МГУ им.М.В.Ломоносова - официально запущена в статусе альфа-версии (т.е. самой ранней версии). Несмотря на то, что работы над поисковой системой продолжаются лишь 2.5 месяца, членами команды уже разработаны оригинальные алгоритмы ранжирования результатов, полученных от набора поисковых систем, с поддержкой русской морфологии и двухуровневая кластеризация.

Морфология реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены все распространенные морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращает, а наоборот - увеличивает количество найденных документов, т.к. морфологически измененный запрос объединяется с исходным. Релевантность же также увеличивается (см. запрос 'почта'), т.к. используются специальные алгоритмы объединения результатов. Позиция найденной ссылки в результатах поиска отображается в виде 'Поисковая система: позиция' (например, 'Google: 5' означает, что ссылка находится на пятом месте в поисковой системе Google), а ссылки от морфологически измененных запросов - в виде 'Поисковая система-M: позиция' (например, 'Google-M: 10' - десятая ссылка в морфологически измененном запросе).

Результаты поиска объединяются с помощью специального алгоритма, причем только те результаты, которые Nigma.ru успевает получить от поисковых систем за 1.5 секунды (в очень редких случаях - за 5 секунд). Соответственно, алгоритм не выделяет какие-то поисковые системы таким образом, что результаты поиска от них имеют большую значимость, чем от других, т.к. нет гарантии, что за это время система успеет обработать от них результаты. Вместо этого, для их объединения используется статистическая информация о русском Интернете, такая как посещаемость (на базе публичных счетчиков) и цитируемость сайтов. Кроме того, учитываются другие специфичные для российского Интернета и русского языка особенности при объединении результатов.

В итоге, на подавляющее большинство поисковых запросов Nigma.ru выдает на порядок больше найденных сайтов, чем, например, при простом поиске на сайте Google.ru. Для того чтобы пользователь не запутался в этих результатах, они группируются в так называемые 'кластеры'. Каждый кластер - это группа сайтов, относящихся, по мнению поисковой системы, к общей тематике. Научная группа решила использовать частотную кластеризацию по ключевым словам, поэтому названия кластеров - это тоже ключевые слова, которые пользователь может использовать для расширения своего запроса. В свою очередь, т.к. количество найденных кластеров также зачастую очень велико, интеллектуальный алгоритм объединяет кластеры в иерархию (пока - двухуровневую), которая позволяет представить их в более компактном виде. Например, введя очень общий запрос 'новости', на который поисковая система Nigma.ru выдает порядка полумиллиарда документов, в левой колонке вы видите самые популярные темы новостей, которые встречаются в Интернете. Нажав на тему (например, 'спорт'), вы получите примеры новостных ресурсов, которые освещают эту тему. Если вы хотите получить больше ресурсов о новостях спорта, нужно нажать на 'Расширить запрос' - тогда система выдаст более двух миллионов ссылок о новостях спорта. Они, в свою очередь, тоже отклассифицированы по темам - есть футбол, хоккей и т.п.

Работа научной группы в части кластеризующих алгоритмов находится в начальной стадии, и ее участники планируют продолжать ее совершенствование. В ближайшее время поисковая система будет расширена экспертными системами, психологическими тестами, системами поведенческого анализа, и другими методами, базирующимися на таких алгоритмах искусственного интеллекта как искусственные нейронные сети, генетические алгоритмы, алгоритмы нечеткой логики и т.п. Исследования группы имеют научный характер, поэтому, после того как будет создана стабильная версия кода, планируется опубликовать его исходные тексты.

Дмитрий Гришин, генеральный директор Mail.ru: 'Нам интересно поддерживать этот научный проект, т.к. мы считаем, что развитие поисковых технологий будет способствовать развитию всего российского сегмента сети Интернет. Обмен научным опытом позволит нам совершенствовать наши коммерческие технологии, функционирующие в рамках портала Mail.ru'.

Сергей Петренко, Searchengines.ru: "Nigma.ru - очень оригинальный проект, который даже на такой ранней стадии своего развития уже включает интересные технологии, сочетающие искусственный интеллект и классические методы поиска в Интернете. Участникам команды еще многое предстоит сделать, чтобы довести его до уровня своих коммерческих аналогов, но уже сейчас он может быть использован новичками, которым трудно формулировать запросы для обычных поисковых систем. Система кластеризации сделана прекрасно и способна серьезно помочь пользователю ориентироваться в тех значительных объемах информации, которые Nigma.ru выдает на запросы пользователей общего характера".

Мария Черницкая, iContext: "По большей части все мы пользуемся Интернетом для поиска информации. Чем короче путь от поискового запроса до получения того, что ищешь, тем, понятное дело, всем лучше. И чем больше исследований и разработок в этой области, тем больше выигрывает конечный пользователь. Искать обычной поисковой системой мы уже все более менее научились, привычки же пользоваться мета поиском и прибегать к кластеризованным результатам для получения более релевантного результата в короткий срок, такой привычки пока нет. И не потому что пользователи не продвинутые, а потому что ресурса, который бы позволял это, пока в русском Интернете не было. И вот появился - NIGMA.ru. Это означает, что появилась принципиальный иной способ искать и находить информацию"

Краткая информация об интеллектуальной поисковой системе Nigma.ru
Проект Nigma.ru, сформировался из благотворительного проекта Виктора Лавренко, который в течение нескольких лет спонсировал научные исследования студентов ВМиК МГУ в области искусственного интеллекта. На базе этой команды в начале 2005 года была сформирована научная группа, состоящая из талантливых студентов и аспирантов, которая совместно с факультетом психологии МГУ в лице заведующего лабораторией 'Психологических проблем информатизации' А.Е.Войскунского работает над созданием интеллектуальной поисковой системы нового поколения Nigma.ru.
Виктор Лавренко работал в компании Mail.ru в роли технического директора, затем - в различных должностях - от директора по электронной коммерции, до вице-президента по стратегии и финансам. Последние два года Виктор работал в частной инвестиционной компании, занимаясь инвестициями в русский фондовый рынок и в деривативы на американские ценные бумаги. С 2005 года Виктор является соискателем на степень кандидата физико-математических наук, занимается научной работой на факультете ВМиК МГУ им. М.В.Ломоносова, являясь руководителем проекта Nigma.ru.