Недавние дискуссии о безопасности ИИ все чаще связывают его с экзистенциальными рисками, связанными с продвинутым ИИ, что позволяет предположить, что решение безопасности по своей природе включает в себя рассмотрение катастрофических сценариев. Тем не менее, эта перспектива имеет недостатки: она может исключить исследователей с разными подходами, ввести общественность в заблуждение, думая, что безопасность ИИ – исключительно экзистенциальные угрозы и создавать сопротивление среди скептиков. По мере быстрого продвижения ИИ политики должны создавать нормативные рамки и стандарты безопасности. В то время как экзистенциальные риски доминируют в нынешнем дискурсе, прошлые области технологической безопасности, такие как авиация, фармацевтические препараты и кибербезопасность, разработали надежные инженерные и управляющие практики. Эти рамки могут помочь в безопасности ИИ, обеспечивая надежное и ответственное развертывание системы.
Исследователи из Университета Эдинбурга и Университета Карнеги -Меллона подчеркивают, что дискуссии по безопасности ИИ часто сосредоточены на экзистенциальных рисках, которые могут исключить разнообразные перспективы и вводить в заблуждение общественное восприятие. Их систематический обзор рецензируемых исследований показывает широкий спектр проблем безопасности, включая состязательную устойчивость и интерпретацию, соответствующую традиционной практике безопасности системы. Исследование предполагает интеграцию ближайших и долгосрочных рисков, а не приоритет экзистенциальным угрозам. В то время как исследования безопасности ИИ быстро развиваются, захват соответствующих исследований остается сложным. Расширение дискурса для включения устоявшихся принципов безопасности инженерной безопасности может помочь в отношении немедленных и будущих рисков ИИ эффективно.
Исследователи систематически рассмотрели литературу по безопасности ИИ, используя структурированную методологию, основанную на руководящих принципах Kitchenham и Charters, дополненных отбор проб снежного кома для захвата новых исследований. Они сосредоточились на двух ключевых вопросах исследования: выявление рисков в жизненном цикле системы ИИ и оценка предлагаемых стратегий смягчения. Их процесс поиска включал запрос паутины науки (WOS) и баз данных Scopus, совершенствование результатов с помощью иерархических фильтров и дополнение результатов с влиятельными семенными документами. Процесс обзора включал скрининг 2666 документов баз данных и 117 из отбора проб снежного кома, в конечном итоге выберет 383 для анализа. Документы были аннотированы метаданными, такими как принадлежность к авторам, год публикации и количество цитирования, и были классифицированы на основе методологических подходов, конкретных решений о безопасности и стратегии снижения рисков.
Библиометрический анализ исследования выявил устойчивое увеличение исследований безопасности искусственного интеллекта с 2016 года, обусловленного достижением глубокого обучения. Анализ облака слов подчеркнул ключевые темы, такие как безопасное обучение подкреплению, состязательная устойчивость и адаптация доменов. График совместного появления абстрактных терминов выявил четыре основных кластера исследования: (1) человеческие и социальные последствия ИИ, сосредоточенное на доверии, подотчетности и обеспечении безопасности; (2) безопасное обучение подкреплению, подчеркивая надежный контроль агентов в неопределенных условиях; (3) контролируемое обучение, особенно в классификационных задачах, с акцентом на надежность, обобщение и точность; и (4) состязательные атаки и стратегии обороны в моделях глубокого обучения. Результаты показывают, что исследования безопасности ИИ соответствуют традиционным принципам техники безопасности, интеграции аспектов инженерии надежности, теории контроля и кибербезопасности для обеспечения того, чтобы системы ИИ были эффективными и безопасными.
Исследование безопасности ИИ классифицирует риски на восемь типов: шум, отсутствие мониторинга, неправильная спецификация системы и состязательные атаки. В большинстве исследований рассматриваются проблемы, связанные с шумом и выбросами, влияя на модельную надежность и обобщение. Значительное внимание также уделяется мониторингу сбоев, неправильной спецификации системы и пробелах контроля. Методы исследования включают прикладные алгоритмы, моделируемые агенты, рамки анализа и механистическую интерпретацию. В то время как теоретические работы предлагают концептуальные модели, прикладные исследования разрабатывают практические алгоритмы. Недавние усилия подчеркивают подкрепление безопасности обучения, состязательной надежности и объяснения. Полевые посредники соответствуют традиционной технической безопасности, интеграции методов проверки для повышения надежности ИИ и снижения потенциальных рисков.
В заключение, исследование систематически рассмотрело рецензируемую литературу для изучения проблем безопасности ИИ. Результаты подчеркивают различные мотивы и результаты исследований, направленные на обеспечение надежных и полезных систем ИИ. Исследования безопасности ИИ рассматривают различные риски, в том числе недостатки в проектировании, проблемы с устойчивости, неадекватный мониторинг и встроенные смещения. Исследование выступает за создание безопасности ИИ в рамках более широкой технологической безопасности, расширения взаимодействия с заинтересованными сторонами и содействия инклюзивным исследованиям. Хотя экзистенциальные риски остаются актуальными, более широкая перспектива способствует продуктивному дискурсу. Будущие исследования должны изучить социотехническую безопасность ИИ и включать не пиратые источники для полного понимания, обеспечение безопасности ИИ остается развивающейся, инклюзивной и междисциплинарной областью.
Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 75K+ ML SubredditПолем
🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI
Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.
🚨 Рекомендуемая платформа искусственного интеллекта с открытым исходным кодом: «Intellagent-это многоагентная структура с открытым исходным кодом для оценки сложной разговорной системы ИИ» (PROMOTED)
