Нейросети сдали экзамен по истории России на «тройку»

«Есть три типа студентов на экзамене. Когда студент успешно осваивает дисциплину, он знает материал, понял, как работать с ним, основные подходы к анализу и может дать отличный самостоятельный ответ. Есть те, что ничего не учат и честно говорят: „Я ничего не знаю“, потом отправляются на пересдачу. Но есть третий тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — рассказывает Михаил Киселев.

«К примеру, я задал вопрос, „Что такое завещание Василия III?“ Ответ Chat GPT — „Завещание Василия III — это документ, составленный российским царем Василием III перед его смертью в 1533 году. В нем он указывал своих наследников и распоряжался имуществом. Согласно завещанию, престол достался его сыну Ивану IV (Грозному), а также были назначены его опекуны и министры“. Ответ Sage — „Завещание Василия III — это правовой акт, оставленный российским царем Василием III перед своей смертью в 1533 году. В завещании был определен порядок правления и наследования престола России. В соответствии с завещанием, после смерти Василия III престол должен был перейти к его сыну Ивану IV, который в то время был еще ребенком“, — рассказывает Киселев. — Обе нейросети неправильно назвали Василия III царем. Этот титул официально примет только Иван IV. А Chat GPT использовал анахронизм „министры“, однако ответ в целом можно считать удовлетворительным».

«На вопрос, „что такое духовная Василия III?“ нейросети показали незнание исторической терминологии. Chat GPT заявил, что „это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России“, а Sage, что „это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков“», — добавляет Михаил Киселев.

«С учетом того, что им принадлежали обобщающие работы по истории России, это удачный ход: наверняка они что-то должны были об этом писать. В то же время нейросети проигнорировали авторов специальных работ по этой теме, которые ищутся обычным поисковиком. Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу „Истории Российского государства“. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент „поплыл“ из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — говорит Михаил Киселев.

«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Другое дело, что, возможно, в будущем все же на основе нейросети можно будет создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или, например, возьмет часть технической работы — оформление списков литературы, составление аннотации и ключевых слов. То есть нейросеть не сможет думать за человека, она для этого не приспособлена, однако она сможет создать для этого более комфортные условия», — заключает Киселев.

Источник: https://urfu.ru/ru/news/46796/

Фото: УрФУ.