Глубокое обучение Стремление к трудностям при применении к крупным физическим системам на нерегулярных сетках, особенно когда взаимодействия происходят на большие расстояния или в нескольких масштабах. Работа с этими сложностями становится все труднее по мере увеличения количества узлов. Несколько методов испытывают трудности с решением этих больших проблем, что приводит к высоким вычислительным затратам и неэффективности. Некоторые основные проблемы заключаются в последствиях дальних эффектов, обработку многомасштабных зависимостей и эффективных вычислений с минимальным использованием ресурсов. Эти проблемы затрудняют эффективное применение моделей глубокого обучения к таким областям, как молекулярное моделирование, прогнозирование погоды и механика частиц, где распространены большие наборы данных и сложные взаимодействия.
В настоящее время методы глубокого обучения борются с масштабированием механизмов внимания для крупных физических систем. Традиционный Самоализация Вычисляет взаимодействие между всеми точками, что приводит к чрезвычайно высоким вычислительным затратам. Некоторые методы применяют внимание к небольшим пятнам, например Swintransformer Для изображений, но нерегулярные данные требуют дополнительных шагов для их структуры. Методы, как PointTransformer Используйте космосные кривые, но это может нарушить пространственные отношения. Иерархические методы, такие как H-трансформатор и ОктябрьГрупповые данные на разных уровнях, но полагаются на дорогостоящие операции. Кластерные методы внимания Уменьшите сложность за счет агрегирования точек, но этот процесс теряет мелкие детали и борется с многомасштабными взаимодействиями.
Чтобы решить эти проблемы, исследователи из AMLAB, Университета Амстердама и Куспаи ввели Эрвиниерархический трансформатор, который повышает эффективность обработки данных через шариковое дерево разделение. Механизм внимания обеспечивает параллельные вычисления между кластерами через разделы дерева шариков, которые иерархически разделяют данные для структуры его вычислений. Этот подход сводит к минимуму вычислительную сложность, не жертвуя точностью, преодолевая разрыв между эффективностью методов на основе деревьев и общностью механизмов внимания. Эрвин Использует самопринятие в локализованных регионах с позиционным кодированием и смещением внимания на расстоянии для захвата геометрических структур. Кросс-мяч Соединения облегчают связь между различными разделами, с механизмом укрепления деревьев и уточнения, уравновешивающих глобальные и локальные взаимодействия. Масштабируемость и экспрессивность с минимальными вычислительными затратами гарантируются благодаря этому организованному процессу.
Исследователи провели эксперименты для оценки Эрвина. Он превзошел эквивалентные и не эквивалентные базовые показатели в космологическом моделировании, захватывая дальние взаимодействия и улучшая более крупные наборы обучения. Для молекулярной динамики он ускорил моделирование 1,7–2,5 раза без ущерба для точности, превзойти Mpnn и Pointnet ++ во время выполнения при сохранении конкурентных тестовых потерь. Эрвин превзошел MeshgraphnetВ ГазВ Dilresnetи Орел в турбулентной динамике жидкости, превосходной в прогнозировании давления при В три раза быстрее и использование восемь раз меньше памяти, чем ОрелПолем Большие размеры мяча в космологии повышают производительность за счет сохранивших зависимости на дальние расстояния, но увеличили вычислительное время выполнения и применение Mpnn На шаге внедрения улучшили локальные взаимодействия в молекулярной динамике.
Иерархический дизайн трансформатора, предложенный здесь, эффективно обрабатывает крупномасштабные физические системы с разделением шариков и получает современные результаты космологии и молекулярной динамики. Хотя его оптимизированная структура компромисс между экспрессивностью и временем выполнения, она имеет вычислительные накладные расходы от прокладки и высоких требований к памяти. Будущая работа может исследовать обучаемую объединение и другие стратегии геометрического кодирования для повышения эффективности. Производительность и масштабируемость Эрвина во всех областях делают его эталонной точкой для разработок в моделировании больших систем частиц, вычислительной химии и молекулярной динамике.
Проверить бумага и страница GitHub. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI
Divyesh – стажер консалтинга в Marktechpost. Он преследует BTECH в области сельского хозяйства и продовольственной инженерии от Индийского технологического института, Харагпур. Он является любителем науки о данных и машинного обучения, который хочет интегрировать эти ведущие технологии в сельскохозяйственную область и решить проблемы.
🚨 Рекомендуемая платформа искусственного интеллекта с открытым исходным кодом: «Intellagent-это многоагентная структура с открытым исходным кодом для оценки сложной разговорной системы ИИ» (PROMOTED)
