Быстрая эволюция искусственного интеллекта (ИИ) открыла новую эру крупных языковых моделей (LLMS), способной понимать и генерировать человеческий текст. Тем не менее, запатентованный характер многих из этих моделей создает проблемы для доступности, сотрудничества и прозрачности в исследовательском сообществе. Кроме того, существенные вычислительные ресурсы, необходимые для обучения таких моделей, часто ограничивают участие хорошо финансируемыми организациями, что препятствует более широким инновациям.
Выступая за эти проблемы, Институт ИИ Аллена (AI2) представил OLMO 2 32B, последнюю и наиболее продвинутую модель в серии OLMO 2. Эта модель отличает себя как первая полностью открытая модель, которая превзошла GPT-3.5 Turbo и GPT-4O Mini по всему набору широко признанных многоклевых академических тестов. Сделав все данные, код, веса и детали обучения свободно доступны, AI2 способствует культуре открытости и сотрудничества, позволяя исследователям по всему миру опираться на эту работу.
Архитектура OLMO 2 32B содержит 32 миллиарда параметров, отражая значительное масштабирование от его предшественников. Процесс обучения был тщательно структурирован в двух первичных этапах: предварительная подготовка и средняя тренировка. Во время предварительной подготовки модель была подвергнута воздействию примерно 3,9 триллиона токенов из различных источников, включая DCLM, Dolma, StarCoder и Proof Pile II, обеспечивая полное понимание языковых моделей. Фаза среднего обучения использовала набор данных Dolmino, который состоит из 843 миллиарда токенов, курируемых для качества, охватывающего образовательный, математический и академический контент. Этот поэтапный подход гарантировал, что OLMO 2 32B разработал надежное и нюансированное понимание языка.
Примечательным аспектом OLMO 2 32B является его эффективность обучения. Модель достигла уровней производительности, сравнимых с ведущими моделями открытого веса, используя только часть вычислительных ресурсов. В частности, потребовалось приблизительно треть учебных вычислений по сравнению с такими моделями, как QWEN 2,5 32B, что подчеркивает приверженность AI2 для эффективного развития ИИ.
В эталонных оценках OLMO 2 32B продемонстрировал впечатляющие результаты. Он соответствовал или превышал производительность таких моделей, как GPT-3.5 Turbo, GPT-4O Mini, QWEN 2,5 32B и MiStral 24B. Кроме того, он приблизился к уровням производительности более крупных моделей, таких как QWEN 2,5 72B и Llama 3.1 и 3,3 70B. Эти оценки охватывали различные задачи, в том числе массовое понимание многозадачного языка (MMLU), математические проблемы (математика) и оценки, связанные с инструкциями (ifeval), подчеркивая универсальность и компетентность модели в разных лингвистических проблемах.
Выпуск OLMO 2 32B означает ключевое развитие в погоне за открытым и доступным ИИ. Предоставляя полностью открытую модель, которая не только конкурирует, но и превосходит определенные запатентованные модели, AI2 иллюстрирует, как вдумчивое масштабирование и эффективные методологии обучения могут привести к значительным прорывам. Эта открытость способствует более инклюзивной и совместной среде, расширяя возможности исследователей и разработчиков во всем мире, чтобы взаимодействовать с развивающимся ландшафтом искусственного интеллекта и способствуя развивающемуся ландшафту искусственного интеллекта.
Проверить Технические детали, HF Project и Github Page. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
ASIF Razzaq является генеральным директором Marktechpost Media Inc. как дальновидного предпринимателя и инженера, ASIF стремится использовать потенциал искусственного интеллекта для социального блага. Его последнее усилие-запуск медиа-платформы искусственного интеллекта, Marktechpost, которая выделяется благодаря глубокому освещению машинного обучения и новостей о глубоком обучении, которое является технически обоснованным и легко понятным для широкой аудитории. Платформа может похвастаться более чем 2 миллионами ежемесячных просмотров, иллюстрируя свою популярность среди зрителей.
Парган: строите надежные агенты, обращенные к клиенту AI с LLMS 💬 ✅ (повышен)
