LLMS показали сильную производительность в ответе на график знаний (KGQA), используя планирование и интерактивные стратегии для запроса графиков знаний. Многие существующие подходы полагаются на инструменты на основе Sparql для получения информации, позволяя моделям генерировать точные ответы. Некоторые методы усиливают способности рассуждения LLMS за счет создания путей рассуждений на основе инструментов, в то время как другие используют рамки принятия решений, в которых используется экологическая обратная связь для взаимодействия с графами знаний. Хотя эти стратегии улучшили точность KGQA, они часто размывают различие между использованием инструмента и фактическими рассуждениями. Эта путаница снижает интерпретируемость, уменьшает читабельность и увеличивает риск вызова галлюцинированных инструментов, где модели генерируют неправильные или не относящиеся к делу реакции из-за чрезмерной зависимости от параметрических знаний.
Чтобы учесть эти ограничения, исследователи изучили методы с точки зрения памяти, которые обеспечивают внешнее хранилище знаний для поддержки сложных рассуждений. Предыдущая работа имеет интегрированные модули памяти для долгосрочного сохранения контекста, что позволяет более надежному принятию решений. Ранние методы KGQA использовали память ключевой стоимости и нейронные сети графиков для вывода ответов, в то время как недавние подходы на основе LLM используют крупномасштабные модели для расширенных рассуждений. В некоторых стратегиях используется точная настройка, чтобы улучшить понимание, в то время как другие используют дискриминационные методы для смягчения галлюцинаций. Тем не менее, существующие методы KGQA по -прежнему пытаются отделить рассуждения от вызова инструментов, что приводит к отсутствию внимания к логическому выводу.
Исследователи из Технологического института Харбина предлагают реконструкцию запросов с аугированной памятью (MEMQ), структуру, которая отделяет рассуждения от вызова инструментов в KGQA на основе LLM. MEMQ устанавливает структурированную память запроса с использованием LLM-сгенерированных описаний разложенных операторов запроса, что позволяет независимо. Этот подход усиливает читабельность, генерируя явные шаги рассуждения и получая соответствующую память на основе семантического сходства. MEMQ улучшает интерпретацию и уменьшает использование галлюцинированного инструмента, устраняя ненужную зависимость инструмента. Экспериментальные результаты показывают, что MEMQ достигает современной производительности на тестах WebQSP и CWQ, демонстрируя ее эффективность в повышении рассуждений на основе LLM KGQA.
MEMQ предназначен для отделения рассуждений от вызова инструментов в KGQA на основе LLM через три ключевые задачи: построение памяти, рассуждения знаний и реконструкция запросов. Конструкция памяти включает в себя хранение операторов запросов с соответствующими описаниями естественного языка для эффективного поиска. Процесс рассуждения знаний генерирует структурированные многоэтапные планы рассуждений, обеспечивая логическую прогрессию в ответе на запросы. Затем реконструкция запроса получает соответствующие заявления запросов на основе семантического сходства и собирает их в окончательный запрос. MEMQ усиливает рассуждения за счет тонкой настройки LLMS с парами объяснений и использует стратегию адаптивного отзыва памяти, превосходя предыдущие методы на контрольных показателях WebQSP и CWQ с самыми современными результатами.
Эксперименты оценивают производительность MEMQ в графике знаний, отвечающих на наборы данных WebQSP и CWQ. Оценки хитов@1 и F1 служат показателями оценки, с сравнением с базовыми показателями на основе инструментов, таких как ROG и TOG. MEMQ, построенный на LLAMA2-7B, превосходит предыдущие методы, демонстрируя улучшенные рассуждения с помощью подхода, выпущенного памятью. Аналитические эксперименты подчеркивают превосходную структурную и краю. Исследования абляции подтверждают эффективность MEMQ в области использования инструментов и устойчивости рассуждений. Дополнительные анализы изучают ошибки рассуждения, галлюцинации, эффективность данных и модельную универсальность, демонстрируя ее адаптивность между архитектурами. MEMQ значительно улучшает структурированные рассуждения, одновременно уменьшая ошибки в многоэтапных запросах.
В заключение, исследование вводит MEMQ, абонентную память, которая отделяет рассуждения LLM от вызова инструментов, чтобы уменьшить галлюцинации в KGQA. MEMQ улучшает реконструкцию запросов и повышает ясность рассуждений за счет включения модуля памяти запроса. Подход позволяет рассуждать о естественном языке при смягчении ошибок в использовании инструмента. Эксперименты по сравнению с критериями WebQSP и CWQ демонстрируют, что MEMQ превосходит существующие методы, достигая современных результатов. Управляя путаницей между использованием инструментов и рассуждением, MEMQ повышает читабельность и точность ответов, сгенерированных LLM, предлагая более эффективный подход к KGQA.
Проверить бумага. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
Сана Хасан, стажер консалтинга в Marktechpost и студент с двойной степенью в IIT Madras, увлечена применением технологий и искусственного интеллекта для решения реальных проблем. С большим интересом к решению практических проблем, он привносит новую перспективу для пересечения ИИ и реальных решений.
