Генеративный ИИ: помощник или замена эксперту?

Современные генеративные модели искусственного интеллекта (GenAI) способны стать ценными инструментами для мозгового штурма при постановке целей в бизнесе и политике. Однако, согласно последним исследованиям, достичь высокого качества этих целей без участия человека пока не удается. Статья опубликована в журнале Decision Analysis.

В области анализа решений определение целей является фундаментальным этапом. Прежде чем оценивать варианты, распределять ресурсы или разрабатывать стратегии, необходимо четко понимать, к чему стремится организация.

Исследование подчеркивает, что хотя инструменты ИИ являются отличными партнерами по генерации идей, для принятия обоснованных решений по-прежнему требуется человеческий контроль.

Авторы работы, Джей Саймон из Американского университета и Йоханнес Ульрих Зиберт из Management Center Innsbruck, сравнили цели, предложенные различными GenAI-инструментами (включая GPT-4o, Claude 3.7, Gemini 2.5 и Grok-2), с целями, разработанными профессиональными аналитиками в рамках шести предыдущих исследований Decision Analysis. Каждый набор целей, сгенерированных ИИ, оценивался по девяти ключевым критериям, основанным на концепции value-focused thinking (VFT), таким как полнота, разделимость и избыточность.

Исследователи обнаружили, что GenAI часто генерирует отдельные, вполне разумные цели, но наборы в целом оказываются неполными, избыточными и даже содержат «цели-средства», несмотря на явные указания избегать этого.

«По сути, ИИ может перечислить то, что может иметь значение, но пока не может отличить то, что действительно имеет значение», — отметили авторы.

Ральф Кини, новатор в области value-focused thinking, комментируя результаты, заметил: «Оба списка лучше, чем большинство людей могли бы создать. Однако ни один из списков не должен использоваться для качественного анализа решений, поскольку для явной оценки альтернатив следует включать только фундаментальные цели».

Для повышения качества результатов GenAI исследователи протестировали несколько стратегий промптинга, включая «цепочку рассуждений» и методы «экспертной критики и доработки». При совместном использовании этих подходов результаты ИИ значительно улучшились, демонстрируя более компактные, сфокусированные и логически структурированные наборы целей.

«Генеративный ИИ хорошо справляется с некоторыми критериями», — подчеркнул Саймон. «Но он по-прежнему испытывает трудности с созданием связных и не избыточных наборов целей. Эксперты-аналитики необходимы для уточнения и валидации того, что производит ИИ».

Зиберт добавил: «Наши выводы ясно показывают, что GenAI должен дополнять, а не заменять экспертное суждение. Когда люди и ИИ работают вместе, они могут использовать сильные стороны друг друга для улучшения принятия решений».

Исследование завершается предложением четырехэтапной гибридной модели для лиц, принимающих решения. Эта модель интегрирует генерацию идей с помощью GenAI и экспертное уточнение, чтобы гарантировать, что цели, используемые в анализе, являются существенными, разделимыми и полными.