Нейросеть успешно сдала ЕГЭ по литературе

Нейросеть YandexGPT 2 получила на ЕГЭ по литературе баллы, достаточные для поступления в вуз. Впервые искусственный интеллект смог выполнить все задания Единого госэкзамена, включая творческое. 

‍

Благодаря технологии GPT (Generative Pre-trained Transformer — генеративный, предварительно обученный трансформер) нейросеть учится на успешных работах пользователей, что и позволило ей успешно сдать экзамен. Важно отметить, что для чистоты эксперимента разработчики исключили из массива данных, применявшихся для обучения нейросети, готовые ответы на вопросы экзамена. 

‍

«Нейросеть решала задания практически так же, как это делал бы любой школьник: генерировала ответы на открытые вопросы и выбирала один или несколько вариантов из предложенных, если они были. После этого решения языковой модели внесли в бланки и отправили на проверку официальным экспертам ЕГЭ по литературе», — рассказали в «Яндексе».

‍

Экзамен по литературе представлялся как особо сложный для искусственного интеллекта, так как помимо заданий на эрудицию и анализ текста он включает сочинение, при оценке которого учитывается стиль письма и творческие способности. Однако нейросеть в полной мере справилась с экзаменом, набрав 55 баллов, что превышает минимальный балл для поступления в вуз (40) и довольно близко среднему баллу выпускников, сдававших литературу в этом году (64).

Реакция Рособрнадзора

Закономерно возникает вопрос: представляют ли достижения разработчиков ИИ угрозу для системы образования? В Рособрнадзоре убеждены в обратном. 

‍

«Тренировать искусственный интеллект разработчики могут на любых задачах, в том числе заданиях ЕГЭ, но сам экзамен не ориентирован на тестирование возможностей нейросетей. Для системы ЕГЭ развитие нейросетей угрозы не несёт, так как использование гаджетов во время экзаменов запрещено порядком проведения ЕГЭ и участники реальных экзаменов никак не смогут воспользоваться помощью искусственного интеллекта», — ответили в пресс-службе ведомства. 

‍

Последствия для образования

Несмотря на сдержанную реакцию сотрудников Рособрнадзора, многие эксперты убеждены: система образования не может игнорировать развитие искусственного интеллекта и должна меняться. Прежде всего необходимо разработать новые, менее формализованные подходы к проверке знаний. 

‍

«Это означает, что нам нужно просто перепридумать эти задания. Сочинение — это ведь в первую очередь про то, чтобы школьник высказал своё мнение, отозвался о какой-то проблеме, порассуждал. Наверное, мы немножко отошли от этой концепции, потому что сочинения обросли большим количеством каких-то правил, мы в школе зачастую выучиваем правильные мнения по поводу тех или иных произведений. Может быть, генеративные нейросети как раз помогут отказаться от этого», — считает руководитель департамента больших данных и информационного поиска факультета компьютерных наук НИУ ВШЭ Евгений Соколов.

‍

Это мнение разделяет и ректор Московского городского педагогического института Игорь Реморенко: 

‍

«Автоматизированные языковые модели будут всё более совершенствоваться…  Поэтому неудивительно, что они также научаются сдавать экзамены. <…> Это означает, что должны меняться измерительные материалы, степень интерактивности в них должна быть выше. Нужна новая перспективная концепция конструирования измерительных материалов Единого госэкзамена».

‍

<<Блок перелинковки>>