Доверие студентов к ИИ-инструментам программирования: исследование

Как студенты-компьютерщики относятся к помощи чат-ботов, основанных на больших языковых моделях, таких как GitHub Copilot и ChatGPT? И как преподавателям следует корректировать свои методики обучения, учитывая эти уровни доверия? Эти вопросы стали основой исследования группы американских ученых.

Результаты работы, представленные на конференции Koli Calling, показали, что в течение первых нескольких недель изучения инструмента доверие большинства студентов к генеративным ИИ-помощникам росло. Однако со временем студенты осознали необходимость обладать достаточными навыками программирования для самостоятельной работы, поскольку эти инструменты нередко генерируют ошибочный код или не помогают в понимании кода.

Исследование было вызвано кардинальными изменениями в требованиях к выпускникам компьютерных специальностей с появлением генеративных ИИ, способных создавать код с нуля. Работа опубликована на препринт-сервере arXiv.

«Компьютерные науки и программирование стремительно трансформируются», — отмечает Джеральд Сусаирадж, один из старших авторов работы и доцент Калифорнийского университета в Сан-Диего. Сегодня студенты склонны чрезмерно полагаться на чат-ботов для генерации кода, что может препятствовать усвоению основ программирования. Кроме того, такие инструменты могут создавать небезопасный код, уязвимый для кибератак. В то же время, отказываясь от использования чат-ботов, студенты упускают возможность повысить скорость и продуктивность программирования.

Тем не менее, по завершении обучения выпускники, скорее всего, будут ежедневно использовать генеративные ИИ-инструменты. Это означает, что им по-прежнему необходимо глубокое понимание фундаментальных принципов вычислений и принципов работы программ, чтобы эффективно оценивать генерируемый искусственным интеллектом код.

«Мы обнаружили, что в среднем доверие студентов к GitHub Copilot возрастало по мере его использования. Однако после выполнения более сложного проекта студенты пришли к выводу, что для полноценной работы с Copilot требуется компетентность программиста, способного выполнять некоторые задачи вручную», — добавил Сусаирадж.

В исследовании приняли участие 71 студент младших и старших курсов, половина из которых ранее не пользовалась GitHub Copilot. После 80-минутного занятия, где студентам объяснили принципы работы GitHub Copilot и дали возможность опробовать инструмент, половина учащихся отметила повышение доверия, в то время как около 17% сообщили о его снижении. Затем студенты участвовали в 10-дневном проекте, в рамках которого они работали с большим объемом открытого кода, используя GitHub Copilot для добавления новой функциональности.

По итогам проекта около 39% студентов заявили о возросшем доверии к Copilot. Однако примерно 37% отметили некоторое снижение доверия, а 24% — отсутствие изменений.

Результаты исследования имеют важное значение для преподавателей компьютерных наук при внедрении ИИ-ассистентов в учебный процесс. Ученые предлагают ряд рекомендаций:

• Для калибровки доверия студентов к ИИ-помощникам преподавателям следует предоставлять им возможность использовать эти инструменты для решения задач различной сложности, в том числе в рамках больших кодовых баз.
• Чтобы помочь студентам оценивать достоверность вывода ИИ-ассистентов, преподавателям необходимо гарантировать, что студенты могут понимать, модифицировать, отлаживать и тестировать код в больших кодовых базах без помощи ИИ.
• Преподаватели должны убедиться, что студенты понимают, как ИИ-ассистенты генерируют вывод посредством обработки естественного языка, чтобы предвидеть их поведение.
• Преподаватели должны явно демонстрировать ключевые возможности ИИ-ассистентов, полезные для работы с большими кодовыми базами, например, добавление файлов в качестве контекста при использовании функции «объяснить код» и применение таких команд, как «/explain», «/fix» и «/docs» в GitHub Copilot.

«Преподаватели должны помнить, что способ представления и обсуждения ИИ-ассистентов может влиять на восприятие их студентами», — пишут исследователи.

Ученые планируют повторить эксперимент с участием 200 студентов этой зимой.