С сегодняшним широким внедрением продуктов LLM, таких как ChatGPT от OpenAI, люди и предприятия ежедневно используют LLM. Как и любой другой инструмент, он имеет свой набор преимуществ и ограничений. Это исследование фокусируется на выяснении когнитивных издержек использования LLM в образовательном контексте написания эссе.

Мы распределили участников по трем группам: группа LLM, группа Search Engine, группа Brain-only, где каждый участник использовал назначенный инструмент (или не использовал инструмент в последнем случае) для написания эссе. Мы провели 3 сеанса с одинаковым групповым заданием для каждого участника. На 4-м сеансе мы попросили участников группы LLM не использовать никаких инструментов (мы называем их LLM-to-Brain), а участников группы Brain-only попросили использовать LLM (Brain-to-LLM). Мы набрали в общей сложности 54 участника для сессий 1, 2, 3, и 18 участников из них завершили сессию 4.

Мы использовали электроэнцефалографию (ЭЭГ) для записи мозговой активности участников, чтобы оценить их когнитивную вовлеченность и когнитивную нагрузку, а также получить более глубокое понимание нейронной активации во время задания по написанию эссе. Мы провели анализ НЛП и опросили каждого участника после каждой сессии. Мы провели оценку с помощью учителей-людей и судьи ИИ (специально созданного агента ИИ).

Мы обнаружили постоянную однородность в распознавании именованных сущностей (NER), n-граммах, онтологии тем в каждой группе. Анализ ЭЭГ предоставил надежные доказательства того, что группы LLM, Search Engine и Brain-only имели значительно разные паттерны нейронных связей, отражающие расходящиеся когнитивные стратегии. Связность мозга систематически снижалась в зависимости от объема внешней поддержки: группа Brain-only продемонстрировала самые сильные, широкомасштабные сети, группа Search Engine показала промежуточное вовлечение, а помощь LLM выявила самую слабую общую связь. В сеансе 4 участники LLM-to-Brain продемонстрировали более слабую нейронную связь и недостаточное вовлечение альфа- и бета-сетей; а участники Brain-to-LLM продемонстрировали более высокую память и повторное вовлечение распространенных затылочно-теменных и префронтальных узлов, вероятно, поддерживающих визуальную обработку, аналогично тому, что часто воспринималось в группе Search Engine.

Сообщаемое владение эссе группы LLM в интервью было низким. Группа Search Engine продемонстрировала сильное владение, но меньшее, чем группа Brain-only.

Группа LLM также отстала в своей способности цитировать эссе, которые они написали всего за несколько минут до этого. Поскольку образовательное воздействие использования LLM только начинает использоваться среди населения в целом, в этом исследовании мы демонстрируем насущную проблему вероятного снижения навыков обучения на основе результатов нашего исследования. Использование LLM оказало измеримое влияние на участников, и хотя преимущества были изначально очевидны, как мы продемонстрировали в течение 4 месяцев, участники группы LLM показали худшие результаты, чем их коллеги в группе Brain-only на всех уровнях: нейронном, лингвистическом, балльном.

Мы надеемся, что это исследование послужит предварительным руководством для понимания когнитивного и практического воздействия ИИ на образовательную среду.

Резюме результатов

Мы считаем, что некоторые из самых поразительных наблюдений в нашем исследовании связаны с сеансом 4, где участники Brain-to-LLM показали более высокую нейронную связность, чем сеансы LLM Group 1, 2, 3 (сетевой всплеск направленной связи в альфа-, бета-, тета- и дельта-диапазонах). Это говорит о том, что переписывание эссе с использованием инструментов ИИ (после предварительного письма без ИИ) включало более обширные взаимодействия мозговых сетей. Напротив, группа LLM-to-Brain, подвергавшаяся предварительному использованию LLM, продемонстрировала менее скоординированные нейронные усилия в большинстве диапазонов, а также смещение в специфическом словаре LLM. Хотя их эссе были высоко оценены как судьей ИИ, так и преподавателями-людьми, их эссе выделялись меньше с точки зрения расстояния использования NER/n-грамм по сравнению с другими сеансами в других группах.