Экзамены школ Техаса будет проверят ИИ
Техасские школьники, сдающие в этом году экзамен STAAR, столкнутся с новым судьей — компьютерной программой. Техасское агентство по образованию (TEA) внедряет «автоматизированную систему подсчета баллов» для оценки открытых вопросов в тестах по чтению, письму, естественным наукам и социальным исследованиям.
Изменения произошли после редизайна STAAR в 2023 году, в котором было сокращено количество вопросов с несколькими вариантами ответов в пользу вопросов с открытым ответом. Их количество увеличилось в шесть-семь раз, что привело к нагрузке на людей, выставляющих оценки. В 2023 году TEA наняла 6000 временных оценщиков, а в этом году им понадобится менее 2000.
Система подсчета баллов, созданная на основе чат-ботов с искусственным интеллектом, таких как GPT-4, была обучена на 3 000 ответов, оцененных человеком. Он анализирует эти ответы, чтобы выявить закономерности выставления оценок и имитировать человеческую оценку. При выставлении оценок компьютер изначально оценивает все построенные ответы. Однако в него встроена 25-процентная проверка качества. Ответы с «низким уровнем доверия», неожиданным содержанием (сленг, иностранные языки) или те, которые выходят за рамки программы, будут автоматически помечены для проверки человеком. Кроме того, случайная выборка будет отправлена человеческим оценщикам, чтобы убедиться в точности работы компьютера.
Несмотря на свои возможности, представители TEA преуменьшают значение искусственного интеллекта. Они подчеркивают, что система не «учится» на основе полученных ответов, а опирается на заранее запрограммированные критерии оценки.