Tldr: Мы предлагаем асимметричная сертифицированная надежность Проблема, которая требует сертифицированной надежности только для одного класса и отражает реальные состязательные сценарии. Эта сфокусированная настройка позволяет нам вводить классификаторы функций-контактов, которые производят закрытые и детерминированные сертифицированные радиусы по порядку миллисекундов.
Рисунок 1. Иллюстрация классификаторов функций-концентрации и их сертификацию для входов чувствительного класса. Эта архитектура сочетает в себе карту липситц, содержащуюся, карту функций $ \ varphi $ с выпущенной выпуклой функцией $ g $. Поскольку $ g $ является выпуклым, он глобально недооценивается его касательной плоскостью в $ \ varphi (x) $, что дает сертифицированные нормы в пространстве объектов. Lipschitzness $ \ varphi $ дает соответствующим образом масштабированные сертификаты в исходном входном пространстве.
Несмотря на их широкое использование, классификаторы глубокого обучения остро уязвимы для состязательные примеры: Маленькие, непонятные возмущения изображения, которые обманывают машинное обучение, чтобы неправильно классифицировать модифицированный ввод. Эта слабость сильно подрывает надежность критических процессов безопасности, которые включают машинное обучение. Было предложено много эмпирической защиты от состязательных возмущений – часто, чтобы быть впоследствии потерпеть поражение более сильными стратегиями атаки. Поэтому мы сосредоточены на Следующие надежные классификаторыкоторые обеспечивают математическую гарантию того, что их прогноз останется постоянным для мяча $ \ ell_p $ -norm вокруг ввода.
Традиционные сертифицированные методы устойчивости несут ряд недостатков, в том числе нетерминизм, медленное исполнение, плохое масштабирование и сертификацию только против одной нормы атаки. Мы утверждаем, что эти вопросы могут быть решены путем усовершенствования сертифицированной проблемы устойчивости, чтобы они более соответствовали практическим состязательным условиям.
Асимметричная проблема сертифицированной устойчивости
Нынешние достоверно надежные классификаторы производят сертификаты для входных данных, принадлежащих к любому классу. Для многих реальных состязательных приложений это излишне широко. Рассмотрим иллюстративный случай, когда кто -то сочиняет электронное письмо с фишингом, пытаясь избежать спам -фильтров. Этот противник всегда будет пытаться обмануть спам -фильтр, чтобы думать, что их спам -электронную электронную почту является доброкачественной – никогда не бывает наоборот. Другими словами, Злоумышленник исключительно пытается вызвать ложные негативы из классификатораПолем Аналогичные настройки включают обнаружение вредоносных программ, фальшивое помещение новостей, обнаружение бота в социальных сетях, фильтрацию по медицинским страхованию, обнаружение финансового мошенничества, обнаружение веб -сайтов фишинга и многое другое.
Рисунок 2. Асимметричная надежность в фильтрации электронной почты. Практические настройки состязания часто требуют сертифицированной надежности только для одного класса.
Все эти приложения включают настройку бинарной классификации с одним чувствительный класс что противник пытается избежать (например, класс «Электронная почта спама»). Это мотивирует проблему асимметричная сертифицированная надежностькоторая направлена на то, чтобы обеспечить достоверно надежные прогнозы для входных данных в чувствительном классе, сохраняя при этом высокую чистую точность для всех других входов. Мы предоставляем более формальное заявление о проблеме в основном тексте.
Функциональные классификаторы
Мы предлагаем Функциональные нейронные сети решить проблему асимметричной надежности. Эта архитектура составляет простую карту липситц, непрерывную карту, $ {\ varphi: \ mathbb {r}^d \ to \ mathbb {r}^q} $ с научной нейронной сетью (Icnn) {g: \ mathbb. {R}^q \ to \ mathbb {r}} $ (рисунок 1). ICNNS обеспечивает выпуклость от ввода в выходной логит, составляя нелинейности реликвий с неотрицательными матрицами веса. Поскольку бинарный регион принятия решений ICNN состоит из выпуклого набора и его дополнения, мы добавляем предварительную карту функций $ \ varphi $ разрешить невыпуктные регионы принятия решений.
Функциональные классификаторы включают быстрое вычисление сертифицированных радиусов чувствительного класса для всех $ \ ell_p $ -Norms. Используя тот факт, что выпуклые функции глобально недооцениваются любой тангенсной плоскостью, мы можем получить сертифицированный радиус в промежуточном пространстве объектов. Этот радиус затем распространяется в входное пространство с помощью Липшиц. Асимметричная настройка здесь имеет решающее значение, так как эта архитектура дает сертификаты только для класса с положительным логитом $ g (\ varphi (x))> 0 $.
Результирующая $ \ ell_p $ -norm Сертифицированная формула радиуса особенно элегантна:
(r_p (x) = \ frac {\ color {blue} {g (\ varphi (x))}} {\ mathrm {lip} _p (\ varphi) \ color {red} {\ | \ nabla g (\ varphi (x)) \ |.
Неупоненые термины легко интерпретируются: радиус шкалы пропорционально уверенность классификатора и обратно Чувствительность классификатораПолем Мы оцениваем эти сертификаты по ряду наборов данных, достигая конкурентоспособных сертификатов $ \ ell_1 $ и сопоставимых $ \ ell_2 $ и $ \ ell _ {\ infty $ $ сертификаты – несмотря на другие методы, как правило, адаптируя для определенной нормы и требуют заказов большего времени выполнения. Полем
Рисунок 3. Чувствительные классовые сертифицированные радиусы на наборе данных CIFAR-10 Cats против собак для $ \ ell_1 $ -Norm. Время выполнения справа усредняются по $ \ ell_1 $, $ \ ell_2 $ и $ \ ell _ {\ infty} $-Radii (обратите внимание на масштабирование журнала).
Наши сертификаты удерживаются для любой $ \ ell_p $ -norm и являются закрытой формой и детерминированными, требуя всего одного вперед и обратного прохода за вход. Они вычисляются по порядку миллисекундов и хорошо масштабируются с размером сети. Для сравнения, текущие современные методы, такие как рандомизированное сглаживание и распространение интервалов, обычно занимают несколько секунд, чтобы сертифицировать даже небольшие сети. Рандомизированные методы сглаживания также по своей природе не отозваны, с сертификатами, которые просто держатся с высокой вероятностью.
Теоретическое обещание
Хотя первоначальные результаты являются многообещающими, наша теоретическая работа предполагает, что в ICNN существует значительный неиспользованный потенциал, даже без карты признаков. Несмотря на то, что двоичные ICNN ограничиваются учебными регионами выпуклых решений, мы доказываем, что существует ICNN, который достигает идеальной точности обучения в наборе данных CATS-VS-DOGS CIFAR-10.
Факт. Существует классификатор ввода-концерта, который достигает идеальной точности обучения для набора данных CIFAR-10 Cats-V-Dogs.
Тем не менее, наша архитектура достигает всего 73,4 доллара \%$ точность обучения без карты функций. Хотя производительность обучения не подразумевает обобщение наборов тестирования, этот результат предполагает, что ICNN, по крайней мере, теоретически способны достичь парадигмы современного машинного обучения переосмысления в учебный набор данных. Таким образом, мы создаем следующую открытую проблему для поля.
Открытая проблема. Изучите классификатор ввода-концентрации, который достигает идеальной точности обучения для набора данных CIFAR-10 CATS-V-DOGS.
Заключение
Мы надеемся, что асимметричная структура устойчивости вдохновит новые архитектуры, которые будут сертифицированы в этой более целенаправленной обстановке. Наш классификатор функций является одной из таких архитектуры и обеспечивает быстрые, детерминированные сертифицированные радиусы для любого $ \ ell_p $ -Norm. Мы также создаем открытую проблему переживания набора данных по обучению CIFAR-10 Cats против собак с ICNN, который, как мы показываем, теоретически возможно.
Этот пост основан на следующей статье:
Асимметричная сертифицированная надежность с помощью функциональных нейронных сетей
Сэмюэль ПфроммерБрендон Дж. АндерсонЖюльен Пит, Сомайе Союди,
37 -я конференция по системам обработки нейронной информации (Neurips 2023).
Более подробная информация доступна на Arxiv и GitHub. Если наша газета вдохновляет вашу работу, рассмотрите возможность ссылаться на это:
@inproceedings{
pfrommer2023asymmetric,
title={Asymmetric Certified Robustness via Feature-Convex Neural Networks},
author={Samuel Pfrommer and Brendon G. Anderson and Julien Piet and Somayeh Sojoudi},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023}
}
