Декларация независимости США – ИИ? Нейросети ошибаются чаще, чем кажется
Детекторы ИИ посчитали Декларацию независимости США сгенерированной нейросетью
Нейросети проанализировали Декларацию независимости США и посчитали, что это – «машинный текст. Как оказалось, детекторы ИИ ошибаются чаще, чем считалось ранее.»
Популярные программы для выявления текстов, созданных искусственным интеллектом, регулярно ошибаются, принимая за машинное творчество даже исторические документы. В ходе экспериментов сервис ZeroGPT оценил Декларацию независимости США 1776 года как сгенерированную нейросетью с вероятностью от 95 до 100 процентов, сообщает журнал Nature.
Проблема связана с принципом работы таких детекторов – они опираются на показатель «перпликсити», который оценивает предсказуемость выбора слов. Тексты нейросетей статистически более предсказуемы, поэтому строгая и правильная речь человека часто ошибочно признаётся машинной.
Исследования показывают, что на англоязычных эссе доля ложноположительных результатов может достигать 16 процентов, а для авторов, не являющихся носителями языка, этот показатель возрастает до 61 процента. Кроме того, развитие нейросетей и использование программ-«гуманизаторов» ещё больше запутывают алгоритмы проверки.
Эксперты отмечают, что детекторы ИИ принципиально отличаются от систем антиплагиата: последние указывают конкретный источник заимствования, тогда как детекторы генеративного текста не предоставляют наглядных доказательств. Человеческий и машинный текст не являются взаимоисключающими, поскольку ИИ обучался на миллиардах человеческих слов.
Специалисты призывают университеты не полагаться слепо на технологии распознавания и перестроить систему оценки знаний, уделяя внимание прозрачности процесса написания, а не только финальному результату.
Марзена Карпинска, лингвист и компьютерный специалист из Университета Саймона Фрейзера, предупреждает:
«Мы совершенно точно не можем массово отвергать людей из-за того, что детектор ИИ почему-то назвал их текст генерацией», - цитирует proulyanovsk.ru слова ученого.