梅奥诊所的秘密武器针对AI的幻觉:反向抹布


加入我们的每日和每周信息选票,以获取人工智能领先的行业照明中的最新更新和独家内容。了解更多


即使大型语言模型(LLM)变得越来越复杂和有能力,它们仍会继续遭受幻觉的困扰:提供不准确的信息或更加敏锐地表达谎言。

这在医疗保健等领域可能尤其有害,那里错误的信息可能会产生可怕的结果。

美国最好的医院之一梅奥诊所(Mayo Clinic)采用了一种新技术来解决这一问题。为了取得成功,医疗机构必须克服对增强一代(RAG)提取的限制。这是大语(LLMS)模型从特定的,相应的数据源接收信息的过程。医院使用了本质上是向后的东西,模型提取相关信息,然后将每个数据点与原始源内容联系起来。

值得注意的是,这几乎基于数据基于数据的数据消除了几乎所有幻觉,这使梅奥能够在整个临床实践中提出该模型。

“通过这种方法,通过链接链接到来源,提取这些数据不再是一个问题,”梅奥战略中的医疗总监,放射学董事长Matthew Callstrom说。

考虑每个数据点

使用健康数据是一项艰巨的任务 – 这可能是沉浸式的。尽管在电子病历(EHR)中收集了大量数据,但数据可能非常困难和拆卸。

在争议中使用Mayo作为AI的第一个选择是所有这些数据的简历(使用后护理访问包装器),其模型使用传统的抹布。正如Callstrom所解释的那样,这是初学者的自然场所,因为这是一个简单的提取和总结,通常超过LLM。

“在第一阶段,我们不是在试图进行诊断,您可以在其中询问该模型:“现在该患者的下一个最佳步骤是什么?他说。

幻觉的危险也不像医生助手的情况下那样重要。这并不是说重新思考数据的错误不是头部。

卡尔斯特罗姆说:“在我们的第一对迭代中,我们有几种有趣的幻觉,您显然不会容忍 – 例如,在患者的错误年龄。” “因此,您必须仔细建造它。”

尽管抹布是接地LLM的至关重要的组成部分(提高了其功能),但该方法有其自身的限制。模型可能会变得无关紧要,不准确或低质量数据;不要确定信息是否对某人很重要;或创建与请求的格式不符的输出(例如,简单文本的返回,而不是详细的表)。

尽管有一些绕过这些问题的方法 – 例如,图形抹布解释了知识时间表以提供上下文或纠正抹布(crag),其中评估机制评估提取文档的质量 – 幻觉尚未消失。

链接到每个数据点

在这里,抹布的反向过程出现了。特别是,蛋黄酱使用具有LLMS和Vector数据库的代表来检查数据搜索。

碎屑对于机器学习至关重要(ML),因为它根据其相似性或模型来组织,分类和分组数据点。从本质上讲,这有助于模型“有意义”的数据。使用基于近距离的距离度量的距离量度(思考:数据比进一步的距离更接近)。该算法能够检测“排放”或与他人不符的数据点。

LLM Mayo将处理与反向抹布的方法相结合,将其生成的简历分为单独的事实,然后与那些返回源文件的人相对应。然后,第二个LLM得分了事实,特别是如果它们之间存在因果关系,则得分。

Callstrom说:“任何数据点都涉及来源实验室源报告或可视化报告。” “系统保证链接是真实且准确提取的,这可以有效地解决与搜索相关的大多数幻觉。”

Callstrom团队使用矢量数据库首先吞下患者注意事项,以便模型可以快速提取信息。最初,他们使用本地数据库来确认概念(POC);生产版本是一个常见的数据库,具有治疗算法本身的逻辑。

Callstrom解释说:“医生非常持怀疑态度,他们希望确保不会因不应该信心的信息而被食用。” “因此,对我们的信任意味着检查所有可以作为内容打开的东西。”

实践中的“令人难以置信的兴趣”

该治疗技术对于合成新患者笔记很有用。 Callstrom解释说,外部记录描述了患者的复杂问题,可以以不同格式的“重复”数据内容。必须考虑并总结这一点,以便临床医生可以在第一次见到患者之前熟悉自己。

他说:“我总是将外部医疗卡描述为电子表格:您无法想象每个单元格,您必须看着每个单元格以拔出内容。”

但是现在LLM确实提取,对材料进行了分类并对患者进行评论。 Kalstrom说,通常情况下,这项任务可能需要大约90分钟的时间,但是II可以在10之后进行。

他描述了“令人难以置信的兴趣”,以扩大梅奥实践中的可能性,以减轻行政负担和失望。

“我们的目标是简化内容的处理 – 如何提高能力并简化医生的工作?”他说。

解决AI的更复杂问题

当然,Callstrom和他的团队在更高级的地区看到了AI的巨大潜力。例如,他们与大脑系统结合起来建立一个基因组模型,该模型预测它将是患者的关节炎的最佳治疗方法,并且还与Microsoft合作在图像编码器和图像基金模型上。

他们使用微软的第一个可视化项目是胸部X射线。到目前为止,他们转换了150万X -rays,并计划在下一轮中再赚1100万。 Callstrom解释说,它不是由图像编码器有条件地构建的。困难是使结果图像真正有用。

理想情况下,目标是简化考虑蛋黄酱X射线的方法并扩展其分析。例如,人工智能可以确定他们应该在哪里插入气管管或中央线以帮助患者呼吸。 “但这可能更宽,”卡斯特罗姆说。例如,医生可以解锁其他内容和数据,例如从胸部的X射线中对射血分数的简单预测 – 或从心脏中抽血的量。

他说:“现在,您可以开始考虑更广泛的预测疗法的反应。”

May还可以看到基因组学(DNA研究)以及其他“欧姆”区域(例如蛋白质切开术(蛋白质研究))的“令人难以置信的机会”。 AI可以维持基因的转录或复制DNA序列以为其他患者创建控制点的过程,并有助于为复杂疾病创造治疗的风险或途径。

“因此,您主要与其他患者形成患者,在队列周围创建每个患者,” Kalstrom解释说。 “这是个性化药物真正提供的:“您看起来像其他患者,这就是我们应该与您联系以查看预期结果的方式。”我们的目标是将人类恢复医疗保健,因为我们使用这些工具。”

但是Callstrom强调,诊断方面的一切都需要更多的工作。证明基因组学基础的模型对类风湿关节炎起作用是一回事。这是在临床环境中实际确认这一点的另一种。研究人员应首先测试小型数据集,然后逐渐扩展测试组,并与普通或标准疗法进行比较。

他指出:“你不会立即走:“嘿,让我们错过甲氨蝶呤”(一种流行的类风湿关节炎治疗方法)。

最终:“与标准疗法相比,我们认识到这些(模型)实际转变我们如何关心患者和诊断的能力令人难以置信的能力,更加专注于患者或患者的患者。” “我们照顾患者时遇到的复杂数据是我们集中的地方。”


Source link
Scroll to Top