Nvidia выпустила Llama Nemotron Nano 4B, модель рассуждения с открытым исходным кодом, предназначенную для обеспечения сильной производительности и эффективности в научных задачах, программирования, символической математики, вызова функций и следующих инструкций-при этом достаточно компактно для развертывания краев. Согласно внутренним тестам, с 4 миллиардами параметров, он достигает более высокой точности и до 50% выше пропускной способности, чем сопоставимые открытые модели с параметрами до 8 миллиардов.
Модель позиционируется как практическая основа для развертывания языковых агентов ИИ в средах, ограниченных ресурсами. Сосредоточив внимание на эффективности вывода, Llama Nemotron Nano 4b удовлетворяет растущий спрос на компактные модели, способные поддерживать гибридные рассуждения и задачи, связанные с инструкциями за пределами традиционных облачных настроек.
Модель архитектура и тренировочный стек
Nemotron Nano 4b опирается на архитектуру Llama 3.1 и делится линейностью с более ранней семьей Nvidia «минитрон». Архитектура следует плотному дизайну трансформатора только для декодера. Модель была оптимизирована для производительности в рабочих нагрузках с интенсивными рассуждениями при сохранении более легкого количества параметров.
Стек после тренировки для модели включает в себя многоэтапную контролируемую тонкую настройку на кураторских наборах данных для математики, кодирования, задач рассуждения и вызова функций. В дополнение к традиционному контролируемому обучению, Nemotron Nano 4B подвергался оптимизации обучения подкреплению, используя оптимизацию предпочтений, предоставляющих вознаграждение (RPO), метод, предназначенный для повышения утилиты модели в средах, основанных на чате и обучающих инструкций.
Эта комбинация настройки инструкций и моделирования вознаграждения помогает более тесно выравнивать выходы модели с намерениями пользователя, особенно в сценариях рассуждений в многообразии. Подход к обучению отражает акцент Nvidia на выравнивании более мелких моделей с практическими задачами использования, которые традиционно требуют значительно больших размеров параметров.
Производительность
Несмотря на свою компактную зону, Nemotron Nano 4B демонстрирует надежные производительности как в задачах с одним поворотом, так и в многословных рассуждениях. Согласно NVIDIA, он обеспечивает пропускную способность на 50% выше по сравнению с аналогичными моделями открытого веса в диапазоне параметров 8B. Модель поддерживает контекстное окно до 128 000 токенов, что особенно полезно для задач, включающих длинные документы, вложенные функциональные вызовы или цепочки рассуждений с несколькими ходами.
В то время как Nvidia не раскрыла полные эталонные таблицы в документации об объятиях, модель, как сообщается, превосходит другие открытые альтернативы в контрольных показателях по всей математике, генерации кода и точности вызова функций. Его преимущество пропускной способности предполагает, что он может служить жизнеспособным по умолчанию для разработчиков, нацеленных на эффективные трубопроводы с выводом с умеренно сложными рабочими нагрузками.
Готовое к краю развертывание
Одним из основных отличий Nemotron Nano 4B является его фокус на развертывании Edge. Модель была явно протестирована и оптимизирована для эффективного запуска на платформах NVIDIA Jetson и GPU NVIDIA RTX. Это обеспечивает возможности рассуждения в режиме реального времени на встроенных устройствах с низким энергопотреблением, включая робототехники, автономные агенты по крае или рабочие станции местных разработчиков.
Для предприятий и исследовательских групп, связанных с конфиденциальностью и контролем развертывания, способность запускать расширенные модели рассуждений на местном уровне, не полагаясь на API облачных выводов, может обеспечить как экономию затрат, так и большую гибкость.
Лицензирование и доступ
Модель выпускается по лицензии NVIDIA Open Model, которая позволяет коммерческому использовать. Он доступен благодаря обнимающему лицу на huggingface.co/nvidia/llama-3.1-nemotron-nano-4b-v1.1, со всеми соответствующими весами модели, файлами конфигурации и артефактами токенизатора открытыми доступными. Структура лицензии соответствует более широкой стратегии Nvidia по поддержке экосистем разработчиков вокруг своих открытых моделей.
Заключение
Nemotron Nano 4b представляет собой постоянные инвестиции Nvidia в предоставление масштабируемых практических моделей искусственного интеллекта для более широкой аудитории разработки, особенно те, которые ориентируются на сценарии по краям или чувствительным к затратам. В то время как поле продолжает видеть быстрый прогресс в моделях сверхуровных моделей, компактные и эффективные модели, такие как Nemotron Nano 4b, обеспечивают противовес, обеспечивая гибкость развертывания, не становясь слишком сильно на производительности.
Проверьте модель на обтягивающем лицоПолем Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 95K+ ML Subreddit и подписаться на Наша информационный бюллетеньПолем
ASIF Razzaq является генеральным директором Marktechpost Media Inc. как дальновидного предпринимателя и инженера, ASIF стремится использовать потенциал искусственного интеллекта для социального блага. Его последнее усилие-запуск медиа-платформы искусственного интеллекта, Marktechpost, которая выделяется благодаря глубокому освещению машинного обучения и новостей о глубоком обучении, которое является технически обоснованным и легко понятным для широкой аудитории. Платформа может похвастаться более чем 2 миллионами ежемесячных просмотров, иллюстрируя свою популярность среди зрителей.
