В школах Московской области запустили пилотный проект, в рамках которого часть ученических работ проверяет искусственный интеллект. Технологию тестируют прежде всего на заданиях с чёткими ответами — тестах и упражнениях. По замыслу авторов проекта, ИИ должен сократить время, затрачиваемое на шаблонные задачи, и снизить нагрузку на учителей.
Подобные решения уже применяются и в других странах. Например, в Китае системы искусственного интеллекта используются для автоматической проверки тестов и некоторых письменных заданий: алгоритмы анализируют ответы учеников и выставляют предварительные оценки. Не исключено, что именно международная практика, в том числе опыт китайских школ, могла стать одним из источников вдохновения для запуска проекта в Подмосковье. Пока он запущен в формате эксперимента: система применяется только там, где алгоритм может сопоставить ответ ученика с правильным вариантом. Полностью заменить проверку учителем технология не может.
Почему это сложно реализовать в России
Дело в том, что в российской школе большая часть заданий — контрольные, домашние и классные работы — выполняются не в формате теста, а в виде развернутого текста. Ученики пишут сочинения, объясняют ход решения задач, формулируют рассуждения. Такие работы требуют педагогической оценки и анализа логики ответа.
Учителя относятся к нововведению осторожно, но признают, что автоматизация некоторых процессов может быть полезной.
«Любой педагог подтвердит: проверка тетрадей — это огромный объём рутинной работы. Особенно когда речь идёт о тестах или упражнениях с короткими ответами. Если такие задания сможет проверять программа, у учителя появится больше времени на объяснение сложных тем и индивидуальную работу с детьми», — говорит учитель русского языка и литературы одной из подмосковных школ.
При этом эксперты обращают внимание на ещё одну проблему. Большинство педагогов не являются специалистами по работе с нейросетями и не владеют навыками так называемого промпт-инжиниринга — умения формулировать точные запросы к искусственному интеллекту. Нечёткие или некорректно сформулированные запросы могут приводить к нестабильным результатам проверки.
Эксперимент редакции: Алиса
Мы в редакции Liberty решили проверить, как подобные системы могут работать на практике, и протестировали ИИ-ассистента «Алиса» от Яндекса на реальных тетрадях ученика четвёртого класса.
Результаты оказались неоднозначными. В задании по математике, где нужно было проверить решение уравнения, система вместо оценки ответа просто сама решила уравнение по шагам, фактически игнорируя работу ученика. Хотя другое уравнение, с тем же самым промптом, она проверила и оценила.
В задании по русскому языку при распознавании рукописного текста алгоритм автоматически добавил пропущенную букву в слове, тем самым исправив ошибку ученика. Зачёркнутую букву система распознала как другую, из-за чего итоговая оценка получилась не той, которую ребёнок фактически заслужил.
Самый серьёзный сбой произошёл при анализе задания по английскому языку. Зачёркнутая буква s была воспринята алгоритмом как служебный символ, после чего обработка задания прервалась.
Эксперимент редакции: ChatGPT
Мы решили сравнить результаты с другой популярной системой — ChatGPT — и дали ей те же фотографии тетрадей. И здесь проверка тоже оказалась далека от школьной реальности.
В работе по русскому языку система не заметила пропущенный слог «ла» в слове «застлала». Зачёркивание нейросеть приняла за буквы «х» и «А», а просто неровно написанную букву «о» распознала как «е», хотя живой учитель легко понимает по контексту, какая буква имелась в виду.
В математической работе алгоритм принял число 90 за 80. Из-за этого он получил неверный результат вычислений и засчитал ошибку ученику, хотя фактически разница в результатах вычислений возникла из-за неправильного распознавания цифры.
В английской работе система тоже допустила несколько неточностей: криво написанную букву y приняла за r, посчитав слово ошибочным, хотя живой человек понял бы, что ученик такой ошибки точно не допустил бы. При этом настоящую ошибку — thay вместо they — алгоритм вовсе не заметил. А ту самую зачёркнутую букву s в одном из слов распознал он как q.
В чём главная проблема нейросетей
Такие результаты показывают, что технологии анализа рукописного текста и автоматической проверки школьных работ пока далеки от идеала.
Как показывает практика, даже при хорошем знании предмета нейросети сталкиваются с ограничениями, когда речь идёт о «живых» школьных тетрадях. Алгоритм может корректно знать правила, но при этом ошибаться на этапе распознавания: путать буквы и цифры, неверно интерпретировать зачёркивания, «додумывать» слова или, наоборот, пропускать ошибки. Кроме того, такие системы часто склонны пересчитывать или переписывать за ученика вместо того, чтобы оценивать ход его мысли. В отличие от этого, учитель оценивает не только результат, но и процесс — логику рассуждений, попытки исправления и типичные возрастные ошибки, которые алгоритму пока не известны.
Поэтому эксперты считают, что в ближайшие годы искусственный интеллект в школе будет скорее помощником учителя, чем его заменой — особенно там, где речь идёт о проверке развернутых письменных работ и оценке логики рассуждений ученика.