Нейропротетические устройства имеют значительно продвинутые интерфейсы мозга-компьютера (BCIS), что позволяет общаться для людей с речевыми или моторными нарушениями из-за таких состояний, как Anarthria, ALS или тяжелый паралич. Эти устройства декодируют шаблоны нейронной активности путем имплантации электродов в моторных областях, позволяя пользователям сформировать полные предложения. Ранние BCI были ограничены признанием основных лингвистических элементов, но недавние разработки в области декодирования, управляемого искусственным интеллектом, достигли почти натуральных скоростей производства речи. Несмотря на эти достижения, инвазивные нейропротезы требуют нейрохирургической имплантации, создавая такие риски, как кровоизлияние в мозге, инфекция и долгосрочные проблемы поддержания. Следовательно, их масштабируемость для широко распространенного использования остается ограниченной, особенно для не реагирующей популяции пациентов.
Неинвазивные BCI, в первую очередь используя ЭЭГ скальпа, предлагают более безопасную альтернативу, но страдают от плохого качества сигнала, требуя, чтобы пользователи выполняли когнитивно требовательные задачи для эффективного декодирования. Даже при оптимизированных методах BCIS на основе ЭЭГ борется с точностью, ограничивая их практическую удобство использования. Потенциальное решение заключается в магнитоэнцефалографии (MEG), которая обеспечивает превосходное отношение сигнал / шум по сравнению с ЭЭГ. Недавние модели ИИ, обученные сигналам MEG в задачах по пониманию языка, показали заметные улучшения в точности декодирования. Эти результаты показывают, что интеграция записей MEG с высоким разрешением с расширенными моделями искусственного интеллекта может обеспечить надежную неинвазивную языковую производство BCIS.
Исследователи из Meta AI, Ecole Normale Superiure (Université PSL, CNRS), больничный фонд Adolphe de Rothschild, Basque Center по познанию, мозгу и языку и Ikerbasque (Basque Foundation для науки) разработали Brain2qwerty. Эта модель глубокого обучения декодирует производство текста из неинвазивных записей мозга. В исследовании участвовали 35 участников, которые напечатали запоминающие предложения, в то время как их нейронная деятельность была зарегистрирована с использованием ЭЭГ или MEG. Brain2qwerty, обученный этим сигналам, достиг уровня ошибки характера (CER) 32% с MEG, значительно превосходя ЭЭГ (67%). Результаты преодолевают разрыв между инвазивным и неинвазивным BCIS, что позволяет потенциальным применениям для не общительных пациентов.
В исследовании исследуется производство декодирования языка с использованием неинвазивных записей мозга через EEG и MEG, в то время как участники печатали предложения. Тридцать пять правых, коренные носители испанского языка напечатали слова, которые они услышали, с активностью мозга, записанной в течение почти 18 и 22 часов для ЭЭГ и Мег соответственно. Была использована пользовательская клавиатура без артефактов. Модель Brain2qwerty, включающая сверточные и трансформаторные модули, предсказанные нажатия клавиш от нервных сигналов, дополнительно уточненные языковой моделью на уровне характера. Предварительная обработка данных включала фильтрацию, сегментацию и масштабирование, в то время как модельная тренировка использовала потерю поперечной энтропии и оптимизацию ADAMW. Производительность была оценена с использованием частоты ошибок рук (ее) для сравнения с традиционными тестами BCI.
Чтобы оценить, производит ли протокол для типирования ожидаемые реакции мозга, исследователи проанализировали различия в нейронной активности для прессов на левой и правой руке. MEG превзошла ЭЭГ в классификации движений рук и декодировании символов, с пиковой точностью 74% и 22% соответственно. Модель глубокого обучения Brain2qwerty значительно улучшила производительность декодирования по сравнению с базовыми методами. Исследования абляции подтвердили влияние его компонентов сверточной, трансформаторной и языковой модели. Дальнейший анализ показал, что частые слова и символы были лучше декодированы, а ошибки коррелировали с макетом клавиатуры. Эти результаты подчеркивают эффективность Brain2qWerty в декодировании персонажа от нейронных сигналов.
В заключение, исследование вводит Brain2qwerty, метод декодирования выработки предложений с использованием неинвазивных записей MEG. Достижение среднего CER в 32% значительно превосходит подходы на основе ЭЭГ. В отличие от предыдущих исследований восприятия языка, эта модель фокусируется на производстве, включающей глубокую структуру обучения и предварительную языковую модель на уровне характера. Несмотря на то, что он продвигается неинвазивным BCIS, остаются проблемы, включая операцию в реальном времени, адаптивность для запертых людей и непредубеживаемость MEG. Будущая работа должна улучшить обработку в реальном времени, изучать задачи на основе воображения и интегрировать передовые датчики MEG, проложить путь для улучшения интерфейсов мозга-компьютера для людей с нарушениями связи.
Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI
Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.
🚨 Рекомендуемая платформа искусственного интеллекта с открытым исходным кодом: «Intellagent-это многоагентная структура с открытым исходным кодом для оценки сложной разговорной системы ИИ» (PROMOTED)
