Компания Anthropic обновила политику использования Claude, впервые за более чем год расширив ограничения в отношении случаев потенциально опасного применения искусственного интеллекта на фоне глобальной дискуссии о рисках этой технологии. Разработчики запретили систематическое жестокое поведение по отношению к чат-боту, а также ужесточили правила в отношении политических манипуляций, слежки и создания компонентов для оружия. Обновление поднимает вопрос о благополучии моделей ИИ, который Anthropic исследует на фоне дискуссий о возможном сознании систем, сообщает The Verge.
Новые правила поведения в отношении Claude
Anthropic запретила «систематическое и необоснованное оскорбительное или жестокое поведение» по отношению к Claude. Компания уточнила, что ограничения касаются лишь крайних случаев, когда пользователи неоднократно ведут себя жестоко по отношению к моделям без видимой цели.
В августе прошлого года Anthropic сообщила, что позволит Claude самостоятельно прекращать разговоры с людьми, которые постоянно ведут себя вредоносно или оскорбительно. В обновленной политике прекращение разговора остается «основным механизмом реагирования».
Anthropic выпустила «самую мощную компактную модель»: Claude Haiku 5.5 обошла GPT-6 Luna
Компания не уточнила, планирует ли она вводить дополнительные меры, в частности блокировку учетных записей. В то же время Anthropic подчеркнула, что новые правила не распространяются на обычное разочарование или несогласие пользователей, мрачные творческие темы, а также тестирование и исследование модели.
Ограничения на пропаганду и вмешательство в выборы
Anthropic объединила несколько предыдущих ограничений в новый запрет на вводящие в заблуждение коммерческие и политические кампании. Таким образом компания реагирует на распространение пропаганды, созданной с помощью ИИ. Правила запрещают скрывать авторство сообщений или искусственно увеличивать охват контента с помощью фейковых учетных записей и публикаций. Отдельный раздел касается выборов и запрещает:
введение избирателей в заблуждение;
срыв избирательного процесса;
распространение ложной информации о кандидатах и процедуре голосования;
выдавание себя за кандидатов или должностных лиц избирательных комиссий;
попытки снизить явку.
Anthropic представила Claude Sonnet 5.5: модель стала быстрее и дешевле на 30%
Запрет на разработку оружия и слежки
Хотя использование Claude для разработки оружия было запрещено и ранее, компания Anthropic зафиксировала многочисленные попытки применить модель для создания соответствующих инструкций и программного обеспечения. Поэтому новая редакция политики прямо охватывает программное обеспечение и компоненты, необходимые для функционирования оружия, в частности его установку на беспилотниках и других автономных транспортных средствах.
Компания также уточнила правила в отношении слежения. Anthropic отмечает: «Отслеживание людей без их согласия запрещено — независимо от того, происходит ли это в реальном времени или путем анализа ранее собранных данных». Запрет распространяется на создание и совершенствование инструментов для слежения.
Кроме того, Claude нельзя использовать для принятия решений или предоставления рекомендаций относительно того, кого следует расследовать, арестовывать или кому предъявлять обвинения в рамках правоохранительной деятельности или уголовного судопроизводства.
«Я что-то сломал»: Claude удалил более 48 тысяч рабочих файлов за две минуты
В то же время Anthropic допускает исключения для контрактов с определенными государственными заказчиками, если компания сочтет договорные ограничения и соответствующие меры предосторожности достаточными для минимизации потенциального вреда. Ранее Anthropic уже сотрудничала с Министерством войны США, однако после запрета на разработку автономного оружия и средств массовой слежки с использованием ИИ между компанией и Пентагоном разгорелся конфликт.
Для автономного оборудования необходим контроль оператора
Обновленная политика устанавливает отдельные требования для случаев, когда модели Anthropic подключены к оборудованию, способному выполнять автономные физические действия и наносить ущерб. В таких ситуациях «квалифицированный оператор должен иметь возможность наблюдать за оборудованием и при необходимости остановить его».
В документе не уточняется, обязательно ли этот оператор должен быть человеком. Новое требование появилось на фоне роста инвестиций ИИ-компаний в робототехнику и другое оборудование, позволяющее системам искусственного интеллекта взаимодействовать с физическим миром.
Уровень Fable 5.1 за гораздо меньшие деньги: Anthropic выпустила новую модель Claude Opus 5.5
Anthropic исследует вопрос сознания ИИ
В течение последнего года Anthropic неоднократно поднимала вопрос о том, могут ли её модели в той или иной степени обладать сознанием или внутренним опытом. В феврале руководитель отдела исследований благополучия моделей компании Кайл Фиш заявил The Verge: «Вопросы о потенциальном внутреннем опыте, сознании, моральном статусе и благополучии являются серьезными; мы исследуем их по мере того, как модели становятся всё более совершенными и мощными».
В том же месяце генеральный директор Anthropic Дарио Амодей в подкасте признал: «Мы не знаем, обладают ли модели сознанием». Однако уже в июле Anthropic обнаружила в Claude внутреннее нейронное пространство J-Space, где ИИ способен обрабатывать сложные рассуждения, не выражая их в тексте.
В то же время издание The Economist предупредило, что искусственному интеллекту не обязательно обретать реальное сознание, чтобы создать экзистенциальную угрозу для человечества: главная опасность заключается в том, что люди сами начинают относиться к машинам как к живым существам. На фоне роста эмоциональной зависимости пользователей от чат-ботов и способности алгоритмов убедительно имитировать эмпатию усиливается давление в отношении признания правового статуса или защиты «благополучия» ИИ.