AI против традиционного поиска: что мы теряем и приобретаем?

Современный интернет кардинально изменил способ поиска информации. Три десятилетия поисковые системы выдавали нам списки ссылок, а наша задача была просеивать их в поисках нужного. Теперь же, с помощью генеративных ИИ-инструментов, поисковики предоставляют единый, связный ответ, часто дополненный несколькими ссылками. Но как этот новый подход соотносится с проверенными временем методами?

Комплексное исследование ученых из Рурского университета Бохума и Института программных систем Макса Планка сравнило традиционный Google Search с четырьмя генеративными поисковыми системами: Google AI Overview (AIO), Gemini, GPT-4o-Search и GPT-4o с инструментом поиска. Исследователи провели тысячи запросов по шести основным областям, включая общие знания, политику, науку и покупки.

Затем было проведено детальное сравнение двух стилей поиска на основе трех ключевых метрик. Во-первых, проанализировано разнообразие источников: сравнивались веб-сайты, использованные ИИ, с топовыми ссылками традиционного поиска. Во-вторых, измерена зависимость от знаний, чтобы определить, насколько ИИ полагается на свою внутреннюю память, а не на поиск свежей информации в интернете. В-третьих, изучено концептуальное покрытие: выяснялось, охватывает ли финальный ответ ИИ более широкий спектр идей, чем лучшие результаты традиционного поиска. Эксперимент был повторен через два месяца, чтобы оценить скорость изменения источников и ответов ИИ со временем.

Результаты, представленные в статье на arXiv, выявили значительные различия. ИИ охватывает более широкую сеть, извлекая информацию из более разнообразного набора веб-сайтов, чем традиционные поисковики. Однако ссылки, которые он использует, часто не входят в число лучших результатов. Но большее количество источников не означает более полные ответы – это часто не так.

«Различия в выборе источников и использовании внутренних знаний могут незаметно смещать то, с какими перспективами и фактами сталкивается пользователь, даже когда общее покрытие темы кажется схожим», — пишут авторы исследования. Ответы ИИ также имели тенденцию к меньшей стабильности со временем, значительно изменяясь через два месяца.

Исследователи также обнаружили различия между моделями ИИ. Например, GPT-4o с инструментом поиска опирался на свою внутреннюю память, в то время как Google AI Overview и Gemini постоянно извлекали информацию из большего, свежего набора внешних сайтов.

В целом, команда не пришла к выводу о превосходстве одного типа поиска над другим. Однако при использовании ИИ существует явный компромисс: пользователи получают разнообразный, обобщенный ответ, но теряют надежные источники и стабильные результаты, которые предлагают традиционные поисковики. Особенно подчеркивается необходимость разработки новых стандартов и бенчмарков для адекватной оценки ответов, генерируемых ИИ.