Google DeepMind At Neurips 2023

На пути к более мультимодальным, надежным и общим системам ИИ

На следующей неделе отмечается начало 37 -й ежегодной конференции по системам обработки нейронной информации (Neurips), крупнейшей конференции искусственного интеллекта (ИИ) в мире. Neurips 2023 состоится 10-16 декабря в Новом Орлеане, США.

Команды со всего Google DeepMind представляют более 180 статей на основной конференции и семинарах.

Мы будем демонстрировать демонстрации наших передовых моделей искусственного интеллекта для глобального прогнозирования погоды, обнаружения материалов и содержания сгенерированного AI для водяного значения. Также будет возможность услышать от команды, стоящей за Близнецами, нашей крупнейшей и самой способной моделью ИИ.

Вот посмотрите на некоторые из наших исследований:

Генеративные модели ИИ могут создавать картины, сочинять музыку и писать истории. Но как бы ни способны эти модели, могут быть в одной среде, большинство из них пытаются передавать эти навыки другим. Мы углубимся в то, как генеративные способности могут помочь научиться в рамках методов. В презентации прожектора мы показываем, что диффузионные модели могут использоваться для классификации изображений без дополнительной обучения. Диффузионные модели, такие как Imagen, классифицируют изображения более похожими на человека, чем другие модели, полагаясь на формы, а не на текстуры. Более того, мы показываем, как просто прогнозирование подписей из изображений может улучшить обучение компьютерного вида. Наш подход превзошел современные методы по поводу зрения и языковых задач и показал больший потенциал для масштабирования.

Больше мультимодальных моделей могут уступить место более полезным цифровым и роботистам, чтобы помочь людям в их повседневной жизни. В плакате прожектора, агенты Wecreate, которые могут взаимодействовать с цифровым миром, как это делают люди – через скриншоты, а также клавиатуру и мыши. Отдельно мы показываем, что, используя генерацию видео, включая субтитры и закрытые подписи, модели могут передавать знания, прогнозируя видео -планы для реальных действий робота.

Одним из следующих вех может быть создание реалистичного опыта в ответ на действия, совершенные людьми, роботами и другие типы интерактивных агентов. Мы будем демонстрировать демонстрацию Unisim, нашего универсального симулятора реальных взаимодействий. Этот тип технологий может иметь приложения в разных отраслях от видеоигр и фильмов до учебных агентов для реального мира.

При разработке и развертывании больших моделей необходимо встроить конфиденциальность на каждом этапе пути.

В статье, признанной премией Neurips Best Paper, наши исследователи демонстрируют, как оценить обучение, сохраняющее конфиденциальность с помощью техники, которая достаточно эффективна для реального использования. Для обучения наши команды изучают, как измерять, если языковые модели запоминают данные – для защиты личного и конфиденциального материала. В другой устной презентации наши ученые исследуют ограничения обучения через модели «ученика» и «учителя», которые имеют разные уровни доступа и уязвимости, если их атаковывают.

Большие языковые модели могут генерировать впечатляющие ответы, но склонны к «галлюцинациям», текст, который кажется правильным, но составлена. Наши исследователи поднимают вопрос о том, может ли метод найти местоположение хранимых фактов (локализация) позволить редактировать этот факт. Удивительно, но они обнаружили, что локализация факта и редактирование местоположения не редактируют этот факт, намекая на сложность понимания и контроля хранимой информации в LLMS. С помощью TRACR мы предлагаем новый способ оценки методов интерпретации путем преобразования читаемых на людях программ в модели трансформатора. Мы открыли версию TRACR, чтобы помочь послужить территорией земли для оценки методов интерпретации.

По мере того, как крупные модели становятся более способными, наше исследование расширяет пределы новых способностей для разработки более общих систем ИИ.

В то время как языковые модели используются для общих задач, им не хватает необходимого исследовательского и контекстного понимания для решения более сложных проблем. Мы представляем «Дерево мыслей», новую структуру для вывода языковой модели, чтобы помочь моделям изучить и разум в широком спектре возможных решений. Организуя рассуждения и планирование как дерево, а не общепринятую плоскую цепочку, мы демонстрируем, что языковая модель способна решать сложные задачи, такие как «игра 24» гораздо точнее.

Чтобы помочь людям решать проблемы и найти то, что они ищут, модели ИИ должны эффективно обрабатывать миллиарды уникальных ценностей. При мультиплексировании функций одно пространство для представления используется для многих различных функций, позволяющих крупным моделям встраивания (LEM) масштабировать продукты для миллиардов пользователей.

Наконец, с Doremi мы показываем, как использование AI для автоматизации смеси типов обучения данных может значительно ускорить обучение языковой модели и повысить производительность новых и невидимых задач.

Содействие глобальному сообществу ИИ

Мы гордимся спонсором Neurips и поддержкой семинаров, проведенных Latinx в AI, Queerinai и Women in ML, помогая развивать исследовательские сотрудники и разрабатывать разнообразное сообщество искусственного интеллекта и машинного обучения. В этом году Neurips будет иметь творческий трек с нашим визуализированным проектом искусственного интеллекта, который комиссии по созданию более разнообразных и доступных представлений искусственного интеллекта.

Если вы посещаете Neurips, приходите к нашему стенду, чтобы узнать больше о наших передовых исследованиях, встретиться с нашими командами, проводимыми семинарами и представлены на всей территории конференции.