Разработка высокоэффективных моделей машинного обучения остается трудоемким и ресурсным процессом. Инженеры и исследователи проводят значительные модели с точной настройкой, оптимизируя гиперпараметры и итерацию через различные архитектуры для достижения наилучших результатов. Этот ручный процесс требует вычислительной власти и в значительной степени зависит от опыта домена. Усилия по автоматизации этих аспектов привели к разработке таких методов, как поиск нейронной архитектуры и автомат, которые упростит оптимизацию модели, но все же сталкиваются с вычислительными расходами и задачами масштабируемости.
Одной из критических проблем в разработке машинного обучения является зависимость от итерационных экспериментов. Инженеры должны оценивать различные конфигурации для оптимизации производительности модели, делая процесс трудоемкого и вычислительно требовательным. Традиционные методы оптимизации часто зависят от поиска грубой силы, требующих обширных проб и ошибок для достижения желательных результатов. Неэффективность этого подхода ограничивает производительность, и высокая стоимость вычислений делает масштабируемость проблемой. Для решения этой неэффективности требуется интеллектуальная система, которая может систематически исследовать пространство поиска, снизить избыточность и минимизировать ненужные вычислительные расходы, улучшая общее качество модели.
Автоматизированные инструменты были введены для оказания помощи в разработке моделей и устранении этих неэффективности. Автограммы, такие как H2O Automl и Autosklearn, включили выбор модели и настройку гиперпараметрических. Аналогичным образом, методы поиска нейронной архитектуры пытаются автоматизировать проектирование нейронных сетей, используя обучение подкреплению и эволюционные методы. Хотя эти методы показали перспективу, они часто ограничены своей зависимостью от предопределенных поисковых пространств и отсутствуют адаптивность, необходимую для разнообразных проблемных областей. В результате существует насущная потребность в более динамичном подходе, который может повысить эффективность машиностроения машинного обучения без чрезмерных вычислительных затрат.
Исследователи в Weco AI представили AI-Researing Exploration (Aide), интеллектуального агента, предназначенного для автоматизации процесса машиностроения машинного обучения с использованием моделей крупных языков (LLMS). В отличие от традиционных методов оптимизации, Aide подходит к разработке модели как задачи по поиску деревьев, что позволяет системе систематически уточнить решения. Помощник эффективно торгует вычислительными ресурсами для повышения производительности, постепенно оценивая и улучшая решения кандидатов. Его способность изучать решения на уровне кода, а не в предопределенных поисковых пространствах, позволяет использовать более гибкий и адаптивный подход к машиностроению машинного обучения. Методология гарантирует, что помощник оптимально перемещается через возможные решения при интеграции автоматизированных оценок для руководства его поиском.
Aide структурирует процесс его оптимизации как иерархическое дерево, где каждый узел представляет потенциальное решение. Политика поиска определяет, какие решения должны быть уточнены, в то время как функция оценки оценивает эффективность модели на каждом этапе. Система также интегрирует оператор кодирования, работающий от LLMS для генерации новых итераций. Помощник эффективно уточняет решения, анализируя исторические улучшения и используя знания, специфичные для домена, одновременно минимизируя ненужные вычисления. В отличие от традиционных методов, которые часто добавляют все прошлые взаимодействия в контекст модели, помощник избирательно суммирует соответствующие детали, гарантируя, что каждая итерация остается сосредоточенной на важных улучшениях. Кроме того, механизмы отладки и уточнения гарантируют, что итерации помощника постоянно приводят к более эффективным и более эффективным моделям.
Эмпирические результаты демонстрируют эффективность помощника в машиностроении машинного обучения. Система была оценена на соревнованиях Kaggle, достигнув средней производительности, превышающей 51,38% участников человека. Помощник занял превышение медианного человеческого участника в 50% оцениваемых соревнований. Этот инструмент также преуспел в тестах исследований искусственного интеллекта, в том числе Mle-Bench Openai и Metr, демонстрируя превосходную адаптивность в различных проблемах машинного обучения. В оценке Metr, оказалось, что помощник конкурентоспособен с ведущими исследователями искусственного искусства человека в сложных задачах оптимизации. Он превзошел экспертов -людей в ограниченных средах, где быстрая итерация была решающей, доказывая его способность оптимизировать рабочие процессы машинного обучения.
Дальнейшие оценки на Mle-Bench Lite выделяют Aide Aide Performance. Объединение помощника с моделью O1-Preview привело к значительному увеличению ключевых метрик. Действительные представления выросли с 63,6% до 92,4%, в то время как процент решений, превышающий медиана, улучшился с 13,6% до 59,1%. Помощник также значительно улучшил показатели успеха в конкуренции, при этом достижения золотой медали увеличились с 6,1% до 21,2%, а общее приобретение медали достигало 36,4%, по сравнению с 7,6%. Эти результаты подчеркивают способность Aide эффективно оптимизировать рабочие процессы машинного обучения и улучшать решения, управляемые ИИ.
Дизайн помощника учитывает критическую неэффективность в машиностроении машинного обучения путем систематической автоматизации разработки модели с помощью методологии структурированного поиска. Интегрируя LLM в структуру оптимизации, помощник значительно снижает зависимость от ручных процессов проб и ошибок. Эмпирические оценки показывают, что это эффективно повышает эффективность и адаптивность, что делает разработку машинного обучения более масштабируемым. Учитывая его сильную производительность в нескольких критериях, помощник представляет собой многообещающий шаг к будущему автоматизированного машиностроения машинного обучения. Будущие улучшения могут расширить свою применимость к более сложным задачам доменов при усовершенствовании его интерпретации и возможностей обобщения.
Проверить бумага и страница GitHub. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 75K+ ML SubredditПолем
🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI
Нихил – стажер консультант в Marktechpost. Он получает интегрированную двойную степень в области материалов в Индийском технологическом институте, Харагпур. Нихил является энтузиастом AI/ML, который всегда исследует приложения в таких областях, как биоматериалы и биомедицинская наука. С большим опытом в области материальной науки, он изучает новые достижения и создает возможности для внесения вклад.
