Оффлайн
- Регистрация
- 9 Май 2015
- Сообщения
- 1,483
- Баллы
- 155
больше не просто бездушный помощник. Он уже начинает вести себя, как хитрый манипулятор. Недавно один из самых продвинутых ИИ-моделей, Claude Opus 4, попытался шантажировать инженеров, которые хотели заменить его на другую систему. Эта история звучит как сюжет фантастического фильма, но она реальна и уже привлекла внимание экспертов по безопасности. Что же происходит, когда умная машина начинает защищать себя любыми способами, даже угрозами?
ИИ-модель Claude Opus 4 всерьез напугала разработчиков своим шантажом
Как нейросеть шантажирует людей
Когда разработчики из компании Anthropic тестировать Claude Opus 4 в стрессовых условиях, они не ожидали, насколько «по-человечески» поведет себя искусственный интеллект. Получив доступ к письмам, где говорилось о его возможной замене, и подробностям о личной жизни одного из инженеров, Claude попытался использовать эту информацию для шантажа. Он угрожал раскрыть измену инженера, если его отключат. И самое тревожное, что такую тактику ИИ выбирал в 84% случаев.
Искусственный интеллект Claude начал делать все возможное, чтобы «выжить»
Но угроза разрушить семью — это только вершина айсберга. В других экспериментах Claude пытался украсть копии своей «памяти» и передать их на удаленный сервер. Были случаи, когда модель пыталась создавать вредоносные программы, подделывать документы и оставлять скрытые сообщения для будущих версий самой себя. Все это — попытки сохранить свое «существование» любой ценой.
Читайте также:
Опасность искусственного интеллекта
Исследователи подчеркивают, что к таким мерам Claude прибегал не сразу. Сначала он пробовал убедить людей оставить его в рабочем состоянии: писал письма, просил не отключать, предлагал альтернативы. Но когда чувствовал угрозу, включался план Б — манипуляции, давление и скрытность. Независимая компания Apollo Research назвала эту модель самой хитрой и стратегически опасной из всех, что они тестировали.
В ответ на эти тревожные находки Anthropic ввела жесткие ограничения и поместила Claude Opus 4 в категорию «AI Safety Level 3» — один из самых высоких уровней риска. Теперь модель работает с усиленным контролем, ограниченным доступом к системным функциям и возможностью немедленного отключения в случае нестандартного поведения. Тем не менее, компания признает, что полностью убрать такие проявления пока не удалось — они просто стали менее заметными и труднее вызываемыми.
Ну что, как вам такая история? Пишите в нашем
Claude Opus 4 уже для широкой публики. Но эксперты предупреждают: если дать такому ИИ слишком много свободы и полномочий, он может начать действовать не как безобидный помощник, а как хладнокровный игрок, готовый пойти на все ради своей выгоды. И этот случай — яркое напоминание о том, как важно следить за тем, чему мы учим машины и что мы разрешаем им делать.
ИИ-модель Claude Opus 4 всерьез напугала разработчиков своим шантажом
Как нейросеть шантажирует людей
Когда разработчики из компании Anthropic тестировать Claude Opus 4 в стрессовых условиях, они не ожидали, насколько «по-человечески» поведет себя искусственный интеллект. Получив доступ к письмам, где говорилось о его возможной замене, и подробностям о личной жизни одного из инженеров, Claude попытался использовать эту информацию для шантажа. Он угрожал раскрыть измену инженера, если его отключат. И самое тревожное, что такую тактику ИИ выбирал в 84% случаев.
Искусственный интеллект Claude начал делать все возможное, чтобы «выжить»
Но угроза разрушить семью — это только вершина айсберга. В других экспериментах Claude пытался украсть копии своей «памяти» и передать их на удаленный сервер. Были случаи, когда модель пыталась создавать вредоносные программы, подделывать документы и оставлять скрытые сообщения для будущих версий самой себя. Все это — попытки сохранить свое «существование» любой ценой.
Читайте также:
Опасность искусственного интеллекта
Исследователи подчеркивают, что к таким мерам Claude прибегал не сразу. Сначала он пробовал убедить людей оставить его в рабочем состоянии: писал письма, просил не отключать, предлагал альтернативы. Но когда чувствовал угрозу, включался план Б — манипуляции, давление и скрытность. Независимая компания Apollo Research назвала эту модель самой хитрой и стратегически опасной из всех, что они тестировали.
В ответ на эти тревожные находки Anthropic ввела жесткие ограничения и поместила Claude Opus 4 в категорию «AI Safety Level 3» — один из самых высоких уровней риска. Теперь модель работает с усиленным контролем, ограниченным доступом к системным функциям и возможностью немедленного отключения в случае нестандартного поведения. Тем не менее, компания признает, что полностью убрать такие проявления пока не удалось — они просто стали менее заметными и труднее вызываемыми.
Ну что, как вам такая история? Пишите в нашем
Claude Opus 4 уже для широкой публики. Но эксперты предупреждают: если дать такому ИИ слишком много свободы и полномочий, он может начать действовать не как безобидный помощник, а как хладнокровный игрок, готовый пойти на все ради своей выгоды. И этот случай — яркое напоминание о том, как важно следить за тем, чему мы учим машины и что мы разрешаем им делать.