Широкое распространение моделей крупных языков (LLMS) значительно изменило ландшафт создания и потребления контента. Тем не менее, он также ввел критические проблемы, касающиеся точности и фактической надежности. Контент, генерируемый LLMS, часто включает в себя претензии, которые не имеют надлежащей проверки, что потенциально приводит к дезинформации. Следовательно, точная извлечение претензий из этих результатов для эффективной проверки фактов стало важным, хотя и сложным из-за неоднозначности и зависимостей для контекста.
Microsoft AI Research недавно разработало Addify, расширенный метод экстракции претензий, основанный на LLMS, специально предназначенный для повышения точности, комплексности и контекстного сознания при извлечении претензий из выходов LLM. CASTIFY рассматривает ограничения существующих методов, явно имея дело с двусмысленностью. В отличие от других подходов, он определяет предложения с множественными возможными интерпретациями и продолжается только с извлечением претензий, когда предполагаемое значение четко определено в данном контексте. Этот тщательный подход обеспечивает более высокую точность и надежность, в частности, приносят пользу последующим усилиям по проверке фактов.
С технической точки зрения, Addify использует структурированный трубопровод, содержащий три ключевых этапа: выбор, устранение неоднозначности и разложение. На этапе выбора, заявить о LLMS для определения предложений, которые содержат проверяемую информацию, отфильтровывая те, у кого нет фактического содержания. На стадии неоднозначности он уникально фокусируется на обнаружении и разрешении неоднозначности, таких как неясные ссылки или множественные правдоподобные интерпретации. Претензии извлекаются только в том случае, если неясности могут быть уверенно разрешены. Последний этап, разложение, включает преобразование каждого разъясненного предложения в точные, независимые от контекста претензии. Этот структурированный процесс повышает как точность, так и полноту полученных претензий.
При оценках с использованием набора данных BingCheck, который охватывает широкий спектр тем и сложные ответы, сгенерированные LLM, продемонстрировала заметные улучшения по сравнению с предыдущими методами. Он достиг высокой скорости вторжения в 99%, что указывает на сильную согласованность между извлеченными претензиями и исходным содержанием. Что касается охвата, Castify захватила 87,6% от проверенного содержания, сохраняя при этом высокую точность 96,7%, превосходя сопоставимые подходы. Его систематический подход к деконтекстуализации также гарантировал, что существенные контекстные детали были сохранены, что привело к более обоснованным требованиям по сравнению с предыдущими методами.
В целом, Chastify представляет собой значимый прогресс в автоматическом извлечении надежных претензий из контента, сгенерированного LLM. Методически учитывая двусмысленность и контекстуальность посредством структурированной и тщательной структуры оценки, Leadify устанавливает новый стандарт для точности и надежности. По мере того, как зависимость от контента, созданного LLM, продолжает расти, такие инструменты, как Addatify, будут играть все более важную роль в обеспечении достоверности и фактической целостности этого контента.
Проверить Документ и технические детали. Весь кредит на это исследование направлено на исследователей этого проекта. Кроме того, не стесняйтесь следить за нами Twitter И не забудьте присоединиться к нашему 80K+ ML SubredditПолем
ASIF Razzaq является генеральным директором Marktechpost Media Inc. как дальновидного предпринимателя и инженера, ASIF стремится использовать потенциал искусственного интеллекта для социального блага. Его последнее усилие-запуск медиа-платформы искусственного интеллекта, Marktechpost, которая выделяется благодаря глубокому освещению машинного обучения и новостей о глубоком обучении, которое является технически обоснованным и легко понятным для широкой аудитории. Платформа может похвастаться более чем 2 миллионами ежемесячных просмотров, иллюстрируя свою популярность среди зрителей.
