"Колоссальное предательство доверия": Новые чат-боты Claude научились "стучать" на пользователей

Чат-боты-доносчики Claude уже вызвали возмущение в профессиональном сообществе.

Компания Anthropic выпустила новые чат-боты Claude Opus 4 и Claude Sonnet 4, особенностью которых является способность самостоятельно сообщать о "зловредном" поведении пользователей властям. Эти модели, сочетающие различные подходы, отличаются быстрой реакцией, глубоким анализом и возможностью веб-поиска.

К тому же, Claude Opus 4 особенно силен в программировании и сложных задачах, что делает его мощным инструментом для ИИ-агентов. Одна этот же чат-бот выделяется своей способностью сообщать о правонарушениях властям. Эта функция вызывает неоднозначную реакцию, сочетая интерес и опасения, пишет Ferra.ru.

Разработчики же подчеркивают высокую производительность и расширенные возможности новых чат-ботов, называя их важным шагом вперед в развитии языковых моделей искусственного интеллекта.

Это колоссальное предательство доверия и скользкий путь. Я бы настоятельно рекомендовал никому не использовать Claude, пока они не отменят [функцию]. Это даже не промпт или политика мышления, это гораздо хуже,

—  прокомментировал Эмад Мостак, генеральный директор Stability AI, компании, разрабатывающей ещё одну ИИ-модель.

Критики новой функции чат-ботов опасаются не самой возможности сообщать о нарушениях, а потенциальной необъективности в оценке действий пользователей. Они считают, что нет гарантий правильной интерпретации поведения со стороны ИИ, и высок риск ложных доносов, поскольку все зависит от заданных параметров, что не исключает влияние человеческого фактора.