Исследователи из Стэнфорда представляют LLM-Lasso: новая структура машинного обучения, которая использует модели крупных языков (LLMS) для руководства выбором функций в регрессии Lasso ℓ1

Выбор функций играет решающую роль в статистическом обучении, помогая моделям сосредоточиться на наиболее релевантных предикторах, одновременно снижая сложность и повышая интерпретацию. Регрессия Лассо приобрела известность среди различных методов из -за выбора признаков, одновременно создавая прогнозирующую модель. Это достигает этого путем обеспечения разреженности посредством процесса оптимизации, который наказывает большие коэффициенты регрессии, что делает его интерпретируемым и вычислительным эффективным. Тем не менее, обычный Лассо зависит исключительно на учебные данные, ограничивая его способность систематически включать экспертные знания. Интеграция таких знаний остается сложной из -за риска введения предубеждений.

Предварительно обученные LLM, основанные на трансформаторах, такие как GPT-4 и Llama-2, обладают впечатляющими возможностями в кодировании знаний о домене, понимании контекстуальных отношений и обобщении по различным задачам, включая выбор функций. Предыдущие исследования изучали стратегии для интеграции LLMS в выбор функций, включая модели тонкой настройки по описаниям задач и имен функций, методы выбора на основе подсказки и прямую фильтрацию на основе результатов тестов. Некоторые подходы анализируют вероятности токена, чтобы определить релевантность функции, в то время как другие обходят доступ к данным, полагаясь исключительно на текстовую информацию. Эти методы показали, что LLM могут конкурировать с традиционными методами выбора статистических признаков, даже в сценариях с нулевым выстрелом. Эти исследования подчеркивают потенциал LLMS для улучшения выбора функций за счет кодирования соответствующих знаний о домене, тем самым повышая производительность модели в различных приложениях.

Исследователи из Стэнфордского университета и Университета Висконсин-Мэдисон представляют LLM-Lasso, структуру, которая усиливает регрессию Lasso за счет интеграции знаний, специфичных для доменов от LLMS. В отличие от предыдущих методов, которые полагаются исключительно на числовые данные, LLM-Lasso использует тряпичный трубопровод для уточнения выбора функций. Структура назначает штрафные факторы, основанные на понимании LLM, обеспечивающих сохранение соответствующих функций, в то время как менее соответствующие наказаны. LLM-Lasso включает в себя внутреннюю стадию проверки для повышения надежности, смягчения неточностей и галлюцинаций. Эксперименты, в том числе биомедицинские тематические исследования, показывают, что LLM-Lasso превосходит стандартный Lasso, что делает его надежным инструментом для принятия решений, управляемых данными.

Структура LLM-Lasso интегрирует штрафы, информированные LLM в регрессию LASSO для выбора функций, информированного доменом. Он присваивает штрафные факторы, основанные на оценках важности, полученных из LLM, с использованием весового взвешивания обратной важности или интерполяции на основе RELU. LLM, специфичный для задачи, улучшает прогнозы с помощью быстрого инженерного и тряпичного. Подсказка включает в себя нулевое или несколько выстрелов обучение с рассуждением о цепочке мыслей, в то время как тряпка извлекает соответствующие знания с помощью семантических встраиваний и индексации HNSW. Структура состоит из LLM-лассо (Plain) без тряпки и LLM-лассо (RAG), включающего поиск. Производительность зависит от качества поиска и быстрого проектирования, оптимизируя интеграцию знаний для выбора функций и регуляризации в высокомерных данных.

Эффективность LLM-лассо демонстрируется с помощью мелких и крупномасштабных экспериментов с использованием различных LLM, включая GPT-4O, DeepSeek-R1 и Llama-3. Базовые линии включают MI, RFE, MRMR и Lasso. Мелкие тесты на публичных наборах данных показывают, что LLM-Lasso превосходит традиционные методы. Масштабные эксперименты на неопубликованном наборе данных лимфомы подтверждают его полезность в классификации рака. Интеграция RAG повышает производительность в большинстве случаев, повышая актуальность выбора генов. Оценки, основанные на ошибках неправильной классификации и Auroc, показывают, что Rag-усиленный LLM-лассо достигает превосходных результатов. Анализ вкладов функций подчеркивает ключевые гены, которые клинически относятся к трансформации лимфомы, такие как AICDA и BCL2.

В заключение, LLM-Lasso-это новая структура, которая усиливает традиционную регрессию Lasso ℓ1, включая специфические для домена идей из LLMS. В отличие от традиционных методов выбора функций, которые полагаются исключительно на числовые данные, LLM-Lasso интегрирует контекстные знания через Rag Pipeline. Он присваивает штрафные факторы функциям, основанным на весах, сгенерированных LLM, определяя приоритеты соответствующих функций, одновременно подавляя менее информативные. Встроенный этап проверки обеспечивает надежность, смягчая потенциальные неточности LLM. Эмпирические результаты, особенно в биомедицинских исследованиях, демонстрируют его превосходство по сравнению с стандартными Lasso и другими методами выбора объектов, что делает его первым подходом плавного комбинирования рассуждений, управляемых LLM с обычными методами.

Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем

🚨 Рекомендуемое чтение AI Research выпускает Nexus: расширенная система интеграции системы ИИ и стандартов соответствия данными для решения юридических проблем в наборах данных AI

Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.