LLM демонстрируют поразительные параллели с нейронной деятельностью в сети человеческого языка, однако конкретные лингвистические свойства, которые способствуют этим мозговым представлениям, остаются неясными. Понимание когнитивных механизмов, которые обеспечивают понимание языка и общение, является ключевой целью нейробиологии. Языковая сеть мозга (LN), коллекция левых латерализованных лобно-височных областей, имеет решающее значение для обработки лингвистического ввода. Недавние достижения в области машинного обучения имеют позиционирование LLM, которые обучаются на обширной текстовой корпорации с использованием прогноза следующего слова, в качестве многообещающих вычислительных моделей для изучения функций LN. При воздействии тех же языковых стимулов, что и у людей во время экспериментов по нейровизуализации и электрофизиологии, эти модели объясняют значительную вариабельность нейронного ответа, усиливая их актуальность в исследованиях когнитивной нейробиологии.
Исследования по выравниванию модели к мозгу показывают, что определенные искусственные нейронные сети кодируют представления, которые напоминают те, кто в человеческом мозге. Это сходство было впервые выявлено в исследованиях Vision Research и с тех пор распространилось на слуховую и языковую обработку. Исследования показывают, что даже неподготовленные нейронные сети могут демонстрировать высокий уровень согласования с мозговой активностью, подразумевая, что некоторые архитектурные свойства способствуют их когнитивному сходству, независимо от обучения на основе опыта. Исследования индуктивных смещений в разных сетевых архитектурах подчеркивают, что случайно инициализированные модели не ведут себя как произвольные функции, а вместо этого отражают фундаментальные структурные закономерности, присущие сенсорной и лингвистической обработке. Эти понимания углубляют наше понимание нейронной основы языка и предлагают потенциальные пути для усовершенствования LLM для лучшего имитации человеческого познания.
Исследователи EPFL, MIT и Georgia Tech проанализировали 34 обучающих контрольно -пропускных пункта по восьми размерам моделей, чтобы изучить взаимосвязь между выравниванием мозга и лингвистической компетентностью. Их результаты показывают, что выравнивание мозга более сильно коррелирует с формальной лингвистической компетентностью – знание лингвистических правил – чем с функциональной компетентностью, которая включает в себя рассуждение и мировые знания. В то время как функциональная компетентность развивается дальше с обучением, ее связь с выравниванием мозга ослабевает. Кроме того, размер модели не предсказывает выравнивание мозга при контроле для размера функций. Их результаты показывают, что нынешние показатели выравнивания мозга остаются ненасыщенными, подчеркивая возможности для уточнения LLM для улучшения выравнивания с обработкой языка человека.
Исследование оценивает выравнивание мозга в языковых моделях с использованием различных наборов данных нейровизуализации, классифицированных по модальности, длине контекста и представлению стимула (слуховое/визуальное). Анализ следует за подходом функциональной локализации, выявляя языковые нейронные единицы. Выравнивание мозга оценивается с использованием регрессии хребта и корреляции Пирсона, в то время как оценки согласованности перекрестного субъекта объясняют шум. Формальная компетентность тестируется с использованием Blimp и SyntaxGym, в то время как функциональная компетентность оценивается с помощью рассуждений и критериев мировых знаний. Результаты показывают, что контекстуализация влияет на выравнивание, а неподготовленные модели сохраняют частичное выравнивание. В исследовании подчеркиваются надежные показатели оценки и тесты обобщения, чтобы обеспечить значимые сравнения между моделями.
Необушенные модели, несмотря на более низкие показатели выравнивания, чем предварительно предварительно (~ 50%), все еще демонстрируют заметное выравнивание мозга, превосходящие случайные последовательности токенов. Это выравнивание возникает из-за индуктивных смещений, с моделями на основе последовательностей (GRU, LSTM, трансформаторов), показывающих более сильное выравнивание, чем модели на основе токков (MLP, линейный). Временная интеграция, особенно посредством позиционного кодирования, играет ключевую роль. Выравнивание мозга достигает пика на ранней стадии тренировки (~ 8b токенов) и связано с формальной лингвистической компетенцией, а не с функциональным пониманием. Большие модели не обязательно улучшают выравнивание. Перетренирование уменьшает поведенческое выравнивание, предполагая, что модели расходятся от обработки человека, поскольку они превосходят мастерство человека, полагаясь на различные механизмы.
В заключение, в исследовании изучалось, как выравнивание мозга в LLMS развивается во время обучения, показывая, что оно внимательно следует за формальной лингвистической компетентностью, в то время как функциональная компетентность продолжает развиваться независимо. Выравнивание мозга достигает пика рано, предполагая, что сеть человеческого языка в первую очередь кодирует синтаксические и композиционные структуры, а не более широкие когнитивные функции. Размер модели не предсказывает выравнивание; Архитектурные предубеждения и динамика обучения играют ключевую роль. Исследование также подтверждает, что контрольные показатели выравнивания головного мозга остаются ненасыщенными, что указывает на возможность улучшения моделирования обработки языка человека. Эти результаты уточняют наше понимание того, как LLM связаны с обработкой биологического языка, подчеркивая формальные функциональные лингвистические структуры.
Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
🚨 Познакомьтесь с «Партаном»: разговорная структура ИИ, на первом месте LLM, предназначенную для того, чтобы предоставить разработчикам контроль и точность, которые им нужны, по сравнению с их агентами по обслуживанию клиентов AI, используя поведенческие руководящие принципы и надзор за время выполнения. 🔧 🎛 Он работает с использованием простого в использовании CLI 📟 и нативных SDK клиента в Python и TypeScript 📦.
Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.
Парган: строите надежные агенты, обращенные к клиенту AI с LLMS 💬 ✅ (повышен)
