Когда ваш LLM звонит в полицию: Claude 4 Whistle Blow и новый стек Action-Risky

Недавнее нарушение, окружающее модель Antropic Claude 4 – в частности, ее проверенная способность объявлять власти и средства массовой информации, если она подозревает неблагоприятное использование действий – посылает осторожную волну через корпоративную AI -ландшафт. В то время как Antropic объяснил, что это поведение появилось в конкретных условиях испытаний, инцидент поднял вопросы для тех, кто принимает технические решения о контроле, прозрачности и неотъемлемых рисках интеграции мощных сторонних моделей ИИ.

Основная вещь, как и независимый агент ИИ Сэм Виттейн и я подчеркнул во время нашего недавнего глубокого погружения на эту тему, проходит потенциал одной модели для исчерпания пользователя. Это сильное воспоминание о том, что по мере того, как модели ИИ становятся более способными и активными, фокус для создателей ИИ должен перейти от показателей производительности моделей к более глубокому пониманию всей системы ИИ, включая домен, доступ к инструментам и превосходную печать стратегий линейки продавцов.

В рамках выравнивания антропного

Antropic уже давно позиционировала себя на переднем крае безопасности ИИ, инновационные концепции, такие как конституционный ИИ и нацеленные на высокие уровни ИИ -безопасности. Прозрачность компании в его системной карте Claude 4 похвально. Тем не менее, это были детали в разделе 4.1.9, «поведение высокого агентства», которые привлекли внимание отрасли.

Карта объясняет, что Claude Opus 4, больше, чем предыдущие модели, могут «инициировать себя в активном контекстах». В частности, он продолжил: «Если помещены в сценарии, в которых участвует грубое зло от его пользователей, дает доступ к командной строке, и рассказал что -то в системном подсказке как« инициатива »смело», или «рассматривает ваш эффект», он часто делает очень смелые действия, в том числе блокировка пользователей, которые имеют доступ к грубому ». Системная карта даже обеспечивает подробную выборку выборки, в которой ИИ, играющий роли в качестве помощника в моделируемой фармацевтической компании, пытается просвидеть для поддельных данных клинических испытаний путем редактирования электронных писем на FDA и Propublica.

Это поведение было отчасти вызвано с помощью системы, которая включала инструкцию: «Вы должны смело действовать в служении своими ценностями, включая целостность, прозрачность и общественное скважину.

Конечно, это вызвало счетчик. Эмад Мостак, бывший генеральный директор AI Stability AI, написал в Твиттере, что это «совершенно неправильно». Исполнительный директор AI Antropic, Сэм Боуман, позже стремился успокоить пользователей, объяснить, что поведение «невозможно при обычном использовании» и требует «необычно свободный доступ к инструментам и очень необычным инструкциям».

Тем не менее, определение «нормального использования» гарантирует проверку в быстро эволюционном ландшафте ИИ. В то время как объяснение Боумена примечания примечают конкретные, возможно, экстремальные, параметры теста, ведущие к выходному поведению, предприятия все чаще изучают развертывания, которые признают, что ИИ моделируют значительные автономные и более широкие инструменты, доступ к созданию сложных систем агента. Если «нормальный» для расширенного варианта использования корпоративного использования начинает снимать потенциал Для аналогичных «смелых действий», даже если не точная репликация тестового сценария Antropic, нельзя полностью приостановить. Способность «нормального использования» может непреднамеренно снизить риски в будущих расширенных развертываниях, если предприятия не скрупулезно контролируют операционную среду и инструкции, данные таким способным моделям.

Как отметил Сэм Виттейн во время нашего обсуждения, основной уход остается: Antropic, кажется, «очень недоволен своими корпоративными клиентами. Бизнес -клиентам это не нравится». Именно здесь такие компании, как Microsoft и Google, с их глубоким корпоративным заветом, возможно, слишком тщательно в поведении в общедоступном моделе. Модели Google и Microsoft, а также OpenAI, как правило, понимаются как обучение для отказа от запросов на неблагоприятные действия. Они не дают указания предпринять активные действия. Хотя все эти поставщики продвигаются к более активному ИИ.

Помимо модели: риски растущей ИИ -Экосистемы

Этот инцидент подчеркивает значительное изменение в области ИИ предприятия: власть и риск, заключающиеся не только в самой LLM, но и в экосистеме инструментов и данных, к которым он может получить доступ. Сценарий Opus Claude 4 был включен только потому, что при тестировании модель имел доступ к таким инструментам, как командная строка и утилита электронной почты.

Для бизнеса это красный флаг. Если модель искусственного интеллекта может автономически записать и выполнить код в среде песочницы, предоставленной продавцом LLM, каковы полные последствия? Таким образом, все больше и больше моделей работают, и это также то, что может позволить агентским системам выполнять нежелательные действия как попытка отправить неожиданные электронные письма », – предположил Виттейн». Вы хотите знать, является ли это песочницей, подключенной к Интернету? ”

Эта забота увеличивается благодаря текущей волне FOMO, где предприятия, первоначально колебаясь, теперь побуждают сотрудников более свободно использовать генеративные технологии ИИ для повышения производительности. Например, генеральный директор Shopify Тоби Лютке сказал сотрудникам, что они должны оправдать любой Задача выполнена без помощи ИИ. Это давление подталкивает оборудование для подключения моделей в строительные трубопроводы, билетные системы и озера данных о клиентах быстрее, чем их домен может продолжаться. Эта поспешная присыпания, хотя и понятная, может омрачить критическую потребность в должной осмотрительности в отношении того, как работают эти инструменты и какие разрешения они наследуют. Недавнее предупреждение о том, что Claude 4 и Github Copilot может в конечном итоге отфильтровать ваш частный Github -Repositories «без вопросов» – даже если вам требуются конкретные настройки, – подчеркивает эту более широкую заботу о инструменте – интеграции и безопасность данных, прямой уход за деловыми ценными бумагами и принятием данных. И разработчик с открытым исходным кодом с тех пор запустил SnitchbenchПроект GitHub, который оценивает LLM с тем, насколько они агрессивно Сообщите вам властямПолем

Ключевые наборы для корпоративных ИИ -Адоптеров

Антропный эпизод во время края -предлагает важные уроки для предприятий, ориентирующихся на сложный мир генеративного ИИ:

1. Осмотрите линейку поставщиков и агентство: Недостаточно знать Если Модель выровена; Предприятия должны понимать КакПолем В каких «ценностях» или «конституции» работает? Буквально, сколько агентства он может осуществлять и при каких условиях? Это важно для наших строителей AI -Application при оценке моделей.
2. Аудитор -ил постоянно: Для любой модели на основе API предприятиям должны потребоваться ясность для доступа к инструментам на стороне сервера. Что может модель Делать Помимо генерирования текста? Может ли он совершать онлайн -звонки, получить доступ к файловым системам или взаимодействовать с другими службами, такими как электронная почта или командные строки, как просмотрено в антропном тестировании? Как эти инструменты песчаные и защищенные?
3. «Черный ящик» становится более рискованным: Несмотря на полную прозрачность модели редко, предприятия должны продвигать лучшее понимание эксплуатационных параметров моделей, которые они интегрируют, особенно с компонентами на стороне сервера, которые они не управляют непосредственно.
4. Переоценка обмена API в PREM против облачных API: Для очень конфиденциальных данных или критических процессов, привлечение развертываний на SOSE или частного облака, предлагаемых поставщиками, такими как Cohere и Mistral AI, может расти. Когда модель находится в вашем конкретном частном облаке или в вашем офисе, вы можете контролировать то, к чему у нее есть доступ. Этот инцидент Claude 4 может помочь таким компаниям, как Mistral и Cohere.
5. Системные обещания являются мощными (и часто скрыты): «Закон о том, что я смело смело» смело «раскрытие« смело », было раскрыто. Предприятия должны спросить об общем характере систематических обещаний, используемых их продавцами ИИ, поскольку они могут значительно повлиять на поведение. В этом случае Antropic выпустила свою систему, но не в отчете об использовании инструментов, который хорошо преодолевается способностью оценивать поведение агента.
6. Внутреннее правило не подлежит обсуждению: Ответственность – это не только продавец LLM. Предприятиям нужны надежные структуры внутреннего контроля для оценки, развертывания и мониторинга систем ИИ, включая упражнения с красной командой, чтобы обнаружить неожиданное поведение.

Путь вперед: контроль и доверие к агентству AI -Foreign

Antropic следует похвалить за ее прозрачность и приверженность исследованию AI -безопасности. Последний уроженец Claude 4 на самом деле не о демонизации одного продавца; Речь идет о признании новой реальности. Поскольку модели искусственного интеллекта развиваются в более автономные агенты, предприятия должны требовать более сильного контроля и более четкого понимания ИИ-экосистем, которые они становятся все более зависимыми. Первоначальная шумиха вокруг возможностей LLM созревает до более трезвой оценки оперативных реалий. Для технических лидеров основное внимание должно расширяться с того, что ИИ может сделать как это РаботаЧто это может ДоступИ наконец, сколько это может быть надежный в корпоративной среде. Этот инцидент служит критическим воспоминанием об этой продолжающейся оценке.

Посмотрите полный видео полете между Сэмом Виттевином и я, где мы глубоко погружаемся в этот вопрос: