Исследователи из лаборатории компьютерного и искусственного интеллекта MIT (CSAIL) разработали новую модель искусственного интеллекта, вдохновленную нервными колебаниями в мозге, с целью значительного достижения того, как алгоритмы машинного обучения обрабатывают длинные последовательности данных.
ИИ часто борется с анализом сложной информации, которая разворачивается в течение длительных периодов времени, таких как климатические тенденции, биологические сигналы или финансовые данные. Один новый тип модели искусственного интеллекта, называемая «модели пространства состояний», был разработан специально для более эффективного понимания этих последовательных шаблонов. Тем не менее, существующие модели пространства состояний часто сталкиваются с проблемами-они могут стать нестабильными или требовать значительного количества вычислительных ресурсов при обработке длинных последовательностей данных.
Чтобы решить эти проблемы, исследователи CSAIL Т. Константин Руш и Даниэла Рус разработали то, что они называют «моделями линейных колебательных пространств состояния» (Linoss), которые используют принципы принудительных гармонических осцилляторов-концепцию, глубоко укоренившуюся в физике и наблюдаемые в биологических нейронных сетях. Этот подход обеспечивает стабильные, выразительные и вычислительные эффективные прогнозы без чрезмерно ограничительных условий для параметров модели.
«Наша цель состояла в том, чтобы захватить стабильность и эффективность, наблюдаемую в биологических нейронных системах и перевести эти принципы в структуру машинного обучения», – объясняет Руш. «С Linoss мы теперь можем надежно изучить дальние взаимодействия, даже в последовательностях, охватывающих сотни тысяч точек данных или более».
Модель Linoss уникальна для обеспечения стабильного прогноза, требуя гораздо менее ограничительного выбора дизайна, чем предыдущие методы. Более того, исследователи строго доказали возможность универсальной возможности приближения модели, что означает, что она может аппроксимировать любую непрерывную, причинно -следственную функцию, связанную с входными и выходными последовательностями.
Эмпирическое тестирование продемонстрировало, что Linoss постоянно превосходит существующие современные модели в различных требованиях классификации последовательностей и прогнозирования задач. Примечательно, что Linoss опередил широко используемую модель Mamba почти два раза в задачах, включающих последовательности крайней длины.
Признанный за его значение, исследование было выбрано для устной презентации в ICLR 2025 – честь, присуждаемая только 1 процентам представлений. Исследователи MIT ожидают, что модель LINOSS может значительно повлиять на любые области, которые выиграют от точного и эффективного прогнозирования и классификации длинного хоризона, включая аналитику здравоохранения, науку о климате, автономное вождение и финансовое прогнозирование.
«Эта работа иллюстрирует, как математическая строгость может привести к прорывам производительности и широким приложениям», – говорит Рус. «С Linoss мы предоставляем научному сообществу мощный инструмент для понимания и прогнозирования сложных систем, преодолевая разрыв между биологическим вдохновением и вычислительными инновациями».
Команда представляет, что появление новой парадигмы, такой как Linoss, будет интересно для практикующих машинного обучения. Заглядывая в будущее, исследователи планируют применить свою модель к еще более широкому диапазону различных методов данных. Более того, они предполагают, что Linoss может дать ценную информацию о нейробиологии, потенциально углубляя наше понимание самого мозга.
Их работа была поддержана Швейцарским Национальным научным фондом, программой Schmidt AI2050 и Департаментом США Авиационного интеллекта.
