Openai информаторы разоблачают пробелы безопасности

Openai информаторы разоблачают пробелы безопасности

Openai информаторы вызвали серьезную обеспокоенность по поводу упущенных инцидентов безопасности и внутренней практики. В публичном письме бывших сотрудников утверждается, что более 1000 вопросов внутренней безопасности не были рассмотрены. Эти обвинения в настоящее время вызывают обсуждения по этическому развертыванию ИИ, организационной ответственности и более широкой необходимости в соответствии с принудительными стандартами безопасности в секторе искусственного интеллекта.

Ключевые выводы

• Бывшие сотрудники OpenAI утверждают, что в организации пренебрегают более 1000 инцидентов, связанных с безопасностью.
• Предупреждения о рисках безопасности последовательно игнорировались в стремлении к более быстрому разработке продукции.
• Опасения растут по поводу приверженности Openai ответственным инновациям, особенно по сравнению с другими фирмами искусственного интеллекта.
• Голоса промышленности призывают государственные органы повысить надзор за регулирующими органами для передовых технологий ИИ.

Внутри письма разоблачения: ключевые претензии и источники

Письмо было подписано девятью бывшими сотрудниками Openai, в том числе лицами, которые работали на управлении, безопасности и политических должностях. Их послание передало разочарование внутренней культурой организации, которую они назвали скрытными и пренебрежительными в отношении обязательств по безопасности. Подписи утверждают, что высшее руководство не действовало по конкретным вопросам, которые могли повлиять на общественную безопасность.

Даниэль Кокотаджло, бывший часть команды управления, заявил, что он подал в отставку из -за того, что потерял уверенность в способности Openai ответственно контролировать его собственное развитие. В письме утверждается, что ограничительные соглашения о неразглашении не позволяют людям выразить проблемы внутри или снаружи. Авторы призвали к выпуску нынешних и бывших сотрудников из этих юридических ограничений, а также независимых аудитов для проверки инфраструктуры безопасности организации.

Предполагаемые нарушения безопасности: данные и контекст

Хотя документ не подробно описывает каждый из предполагаемых 1000 инцидентов, в нем изложены категории, вызывающие беспокойство. К ним относятся:

• Воздействие конфиденциальных модельных архитектур и конфиденциальных учебных данных на несанкционированные стороны.
• Недостаточное наблюдение и анализ случаев потенциальных злоупотреблений, таких как те, которые включают исследования в биоапоне.
• Плохое обеспечение соблюдения протоколов красной команды, установленных для выявления небезопасного поведения в таких моделях, как GPT-4 и Sora Openai.

Эти претензии повышают тревогу среди экспертов, которые считают, что лаборатории ИИ должны следовать строгим протоколам, чтобы гарантировать, что передовые системы работают в пределах определенных пределов безопасности. Если это правда, эти проблемы могут представлять значительные риски и подчеркнуть неспособность поддержать первоначальную миссию Openai по разработке AGI для общества.

Ответ Openai: официальные заявления и фон

В ответ на письмо -разоблачитель, Openai опубликовал заявление, подтверждающее его приверженность этике и ответственному развитию ИИ. Компания признала, что абсолютная безопасность нереалистична, но подчеркнула, что существуют внутренние структуры управления. К ним относятся консультативная группа по безопасности, которая сообщает о выводах непосредственно в Правление.

OpenAI утверждает, что продвигает дебаты в своих командах и проведет регулярные оценки риска. Тем не менее, критики утверждают, что эти механизмы не имеют независимости и прозрачности. Это чувство основывается на более широкой критике, связанной с переходом Openai от некоммерческих операций, основанных на прибыли, что некоторые считают, что скомпрометировали его основополагающие ценности.

Как openai сравнивается: DeepMind против антропного

Это сравнение предполагает, что OpenAI в настоящее время выделяется по негативным причинам. В то время как сверстники публикуют частые обновления и проводят сторонние оценки, практики Openai кажутся более островными. Опасения усилились с 2023 года, когда они начали ограничивать прозрачность, связанную с крупномасштабной эффективностью безопасности модели.

Постоянные последствия: что дальше?

Правительства и надзорные органы в настоящее время переоценивают, как регулировать Frontier AI Systems. Подобные отчеты «Информация об ускорении импульса политики» в соответствии с принудительными стандартами безопасности.

Текущие регулирующие действия:

• Евросоюз: Закон о AI ЕС нацелен на модели фонда в условиях строгих положений высокого риска, требуя раскрытия инцидентов и регулярных аудитов.
• Соединенные Штаты: NIST создает структуру управления рисками ИИ, в то время как федеральное правительство сформировало Институт безопасности ИИ США.
• Великобритания: Великобритания содействует сотрудничеству посредством руководящих принципов безопасности в отрасли после его недавнего саммита по безопасности ИИ.

Политики получают уроки из этих продолжающихся ситуаций и, вероятно, предписывают более частые соблюдения процедур надзора, включая защиту разоблачителей и внешнюю проверку претензий на безопасность.

Экспертное понимание: промышленные мнения о культуре безопасности искусственного интеллекта

Доктор Рама Сринивасан, исследователь, связанный с Оксфордским институтом будущего человечества, подчеркнул, что централизованные модели развития не могут эффективно самоуправляться при достижении коммерческих успехов. Он призвал создать внешние каналы обеспечения безопасности.

Поддерживая эту точку зрения, бывший советник FTC Emeka Okafor отметил, что раскрытие может сформировать будущее законодательство, которое включает в себя примененные права для осведомителей и требования к прозрачности в поведении моделя. Это приходит, когда больше внимания общественности фокусируется на сообщениях о том, что модель Openai демонстрирует тактику самосохранения, повышение долгосрочной политики и этических последствий.

Опрос, проведенный Morning Consult в мае 2024 года, показал, что более половины нас, взрослых, доверяют Openai меньше, чем шесть месяцев назад. Почти 70 процентов поддерживают создание независимого совета по безопасности ИИ с полномочиями для аудита и регулирования систем высокого риска.

Вывод: что это говорит нам о культуре безопасности ИИ

OpenAI продолжает руководить возможностями искусственного интеллекта, но проблемы, поднятые информаторами, подчеркивают глубокие структурные проблемы в том, как безопасность обрабатывается. В то время как другие организации поддерживают видимые структуры безопасности, практика Openai кажутся непрозрачными и ориентированными на риск. Эти откровения совпадают с предыдущими расследованиями, такими как те, которые исследуют шокирующие недостатки, обнаруженные в видео Sora Openai.

Следующий этап, скорее всего, определит, может ли компания восстановить доверие посредством реформы и прозрачности, или что внешние регуляторы должны вмешаться, чтобы обеспечить соблюдение требований. Растущий центр внимания внутренней динамики и культуры безопасности Openai предполагает, что как отраслевые, так и государственные субъекты готовится к более настойчивой регулирующей позиции.

FAQ: Понимание обвинений в разоблачении

Что утверждали информаторы Openai?

Они заявили, что OpenAI отказался решить более 1000 известных проблем внутренней безопасности и не позволил сотрудникам высказываться, обеспечивая строгие соглашения о неразглашении.

Откровался ли Openai на претензии разоблачителя?

Да. Компания заявила, что она по -прежнему привержена безопасности ИИ и что модели внутреннего управления уже соответствуют соответствующему риску.

Как OpenAI справляется с AI Safety сегодня?

Он использует команды, посвященные внутренним оценкам риска и избирательному красному командованию. Критики утверждают, что требуются более независимые оценки.

Какие нормативные действия предпринимаются по отношению к компаниям ИИ?

Глобальные усилия продолжаются. Закон ЕС ИИ и Институт безопасности ИИ США являются двумя основными примерами, продвигающими стандартизацию и надзор за системами ИИ.

Ссылки

• The Washington Post – Openai разобщики предупреждают о «культуре секретности»
• Бриньольфссон, Эрик и Эндрю Макафи. Второй машинный возраст: работа, прогресс и процветание во время блестящих технологийПолем WW Norton & Company, 2016.
• Маркус, Гэри и Эрнест Дэвис. Перезагрузка ИИ: создание искусственного интеллекта, которому мы можем доверятьПолем Винтаж, 2019.
• Рассел, Стюарт. Совместимый с человеком: искусственный интеллект и проблема контроляПолем Викинг, 2019.
• Уэбб, Эми. Большая девять: как Tech Titans и их мыслительные машины могли деформировать человечествоПолем Publicaffairs, 2019.
• Рассказывание, Даниэль. ИИ: бурная история поиска искусственного интеллектаПолем Основные книги, 1993.