AI-помощники в программировании: меньше критики, больше ошибок?

Парное программирование, когда два разработчика трудятся над кодом вместе, традиционно повышает качество программ и способствует обмену знаниями. Однако, с появлением ИИ-ассистентов, эта практика претерпевает изменения, как показало новое исследование ученых из Саарландского университета.

Исследование выявило, что разработчики проявляют меньше конструктивного скептицизма при работе с кодом, сгенерированным ИИ, по сравнению с кодом, написанным человеком. Кроме того, они учатся меньше, используя ИИ-помощников.

«Разработчики могут вдохновлять друг друга и избегать неверных решений. Они также могут делиться своим опытом, благодаря чему больше сотрудников в организации будут осведомлены о кодовой базе», — поясняет профессор информатики Свен Апель из Саарландского университета.

В ходе исследования, в котором приняли участие 19 студентов с опытом программирования, были изучены различия в парном программировании с человеком и с ИИ-ассистентом, таким как GitHub Copilot. Целью было понять, какие аспекты человеческого взаимодействия способствуют улучшению процесса разработки и могут ли они быть воспроизведены при взаимодействии человека с ИИ.

«Передача знаний — ключевая часть парного программирования», — отмечает Апель. «Разработчики постоянно обсуждают текущие проблемы и совместно ищут решения. Это не просто обмен вопросами и ответами, это также обмен эффективными стратегиями программирования и собственными идеями».

Результаты показали, что хотя обмен информацией происходил и в командах с ИИ, он был менее интенсивным и охватывал более узкий круг тем. В то время как люди-программисты чаще отвлекались на более широкие дискуссии, взаимодействие с ИИ в основном фокусировалось на самом коде.

Особенно удивил исследователей тот факт, что программисты, работавшие с ИИ, чаще принимали предложенный код без критической оценки, предполагая, что он будет работать корректно. В отличие от этого, человеческие пары были склонны задавать больше критических вопросов и тщательно анализировать вклады друг друга.

Апель предполагает, что такая склонность доверять ИИ больше, чем коллегам, может быть связана с определенной степенью самоуспокоенности — предположением, что результат работы ИИ «достаточно хорош», даже несмотря на знание о возможных ошибках.

Эта некритичная зависимость от ИИ может привести к накоплению «технического долга» — скрытых затрат на исправление ошибок в будущем, что усложнит дальнейшую разработку программного обеспечения.

Исследование подчеркивает, что ИИ-ассистенты пока не способны полностью воспроизвести богатство человеческого сотрудничества в разработке ПО. Они полезны для простых, повторяющихся задач, но для решения более сложных проблем обмен знаниями остается ключевым, и в настоящее время он наиболее эффективен между людьми, с ИИ в качестве вспомогательного инструмента.

Апель подчеркивает необходимость дальнейших исследований в области эффективного взаимодействия человека и ИИ, с сохранением критического подхода, характерного для человеческого сотрудничества.