Помимо одного LLM: продвижение ИИ через многомодерное сотрудничество

Быстрое развитие LLMS было обусловлено убеждением, что масштабирование размера модели и объема набора данных в конечном итоге приведет к человеческому интеллекту. По мере того, как эти модели переходят от прототипов исследований к коммерческим продуктам, компании сосредоточены на разработке единой модели общего назначения, чтобы превзойти конкурентов в отношении точности, принятия пользователей и прибыльности. Этот конкурентный драйв привел к постоянному притоку новых моделей, причем состояние искусства быстро развивалось, когда организации участвуют в гонках для достижения самых высоких баллов и доминирования на рынке.

Альтернативные подходы к разработке LLM подчеркивают сотрудничество и модульный дизайн, а не полагаются исключительно на более крупные модели. Некоторые стратегии включают в себя объединение нескольких экспертных моделей, что позволяет им обмениваться знаниями и оптимизировать производительность по специальным задачам. Другие выступают за интеграцию модульных компонентов из разных областей ИИ, таких как видение и обучение подкреплению, для повышения гибкости и эффективности. В то время как традиционные подходы к масштабированию приоритет размеру модели, эти альтернативные методы изучают способы улучшения возможностей LLM с помощью структурированного сотрудничества и методов адаптивного обучения.

Исследователи из Вашингтонского университета, Техасского университета в Остине, Google, Массачусетского технологического института и Стэнфордского университета утверждают, что полагаться на один LLM недостаточно для обработки сложных, контекстуальных и субъективных задач. Одна модель не может полностью представлять разнообразные распределения данных, специализированные навыки и перспективы человека, ограничивая надежность и адаптивность. Вместо этого, много-LLM Collaboration позволяет моделям работать вместе на разных уровнях-API, текст, логит и обмен весом-повышение плюрализма, демократизации и эффективности. Это исследование классифицирует существующие стратегии сотрудничества, подчеркивает их преимущества и предлагает будущие направления для продвижения модульных систем с несколькими MLM.

Идея единого, всеобъемлющего LLM ошибочна из-за трех основных пробелов: данные, навыки и представление пользователя. LLM полагаются на статические наборы данных, что делает их устаревшими и неспособными отражать развивающиеся знания, разнообразные языки или культурные нюансы. Ни одна модель превосходит во всех задачах, так как производительность варьируется в результате тестов, требующих специализированных моделей. Один LLM не может полностью представлять различные потребности и ценности пользователей по всему миру. Усилия по улучшению ограничений охвата одной модели при сборе данных, оптимизации навыков и инклюзивности. Вместо этого, Multi-LLM Collaboration предлагает многообещающее решение, используя несколько моделей для лучшей адаптивности и представления.

Будущие исследования в области сотрудничества с несколькими LLM должны интегрировать понимание теорий когнитивной науки и коммуникации, что обеспечивает структурированное сотрудничество между специализированными моделями. Ключевой проблемой является отсутствие четких границ передачи, поскольку модифицирующие веса базовой модели могут вызвать непреднамеренные изменения. Будущая работа должна также обеспечить совместимость с существующей практикой совместного использования модели и улучшить интерпретацию для оптимизации сотрудничества. Стандартизированные методы оценки необходимы для оценки производительности с несколькими ILM. Кроме того, снижение барьеров для вкладов пользователей может повысить инклюзивность. По сравнению с увеличением одного LLM, сотрудничество с несколькими MLM предлагает более практичный и масштабируемый подход для развития языковых технологий.

В заключение, исследование утверждает, что одного LLM недостаточно для обработки сложных, разнообразных и контекстных сценариев. Вместо этого, Multi-LLM Collaboration предлагает более эффективный подход, лучше представлять различные данные, навыки и перспективы. Исследование классифицирует существующие методы сотрудничества с несколькими MLM в иерархию, основанную на уровнях обмена информацией, включая API, текст, логит и сотрудничество на уровне веса. Многократные системы повышают надежность, инклюзивность и адаптивность по сравнению с одной моделью. Исследователи также описывают текущие ограничения и предлагают будущие направления для улучшения сотрудничества. В конечном счете, сотрудничество с несколькими MLM является важным шагом к композиционному интеллекту и развитию кооперативного развития ИИ.

Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем

🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI

Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.