加入我们的每日和每周信息选票，以获取人工智能领先的行业照明中的最新更新和独家内容。了解更多
来自Zoom Communications的研究人员团队开发了一种突破性的方法，可以显着降低人工智能系统解决复杂问题所必需的成本和计算资源，这有可能改变企业在规模上展现AI的方式。
称为“草稿链（COD）”的方法允许大型语言模型（LLMS）用最小的单词解决问题 – 仅使用当前方法所需的7.6％的文本，同时保持精确度甚至提高精度。该结果于上周在Arxiv的研究存储库中发表。
Silei Xu，Zoom的研究人员，研究人员，Zoom的研究人员，Zoom的研究人员。
“少”如何改变AI的论点，而不是牺牲准确性
扎克从人们如何解决困难问题中汲取灵感。人们通常只以缩写形式编写重要信息，而不是在处理数学问题或逻辑难题时制定每个细节。
研究人员解释说：“在解决复杂的问题（无论是数学问题，论文还是编码）时，我们经常仅写下帮助我们进步的信息的关键部分。” “通过模仿这种行为，LLM可以专注于促进决策而没有间接考虑。”
该团队检查了其众多标准的方法，包括算术推理（GSM8K），合理的推理（理解对运动的日期和理解）和符号推理（翻转硬币的任务）。
在一个引人注目的例子中，克劳德（Claude）3.5十四行诗与运动有关，鳕鱼方法将平均性能从189.4代币降低到仅14.3代币的92.4％，将准确性从93.2％提高到97.3％。
企业AI成本的成本：简短推理机器的业务正当
“处理企业，每月有100万个推理问题，COD可以将费用从3800美元（COT）降低到760美元，每月节省超过3,000美元，” Ai Ai Ai Ai ai ajith ajith ajith vallath prabhakar写道。
该研究是在关键时期进行企业AI的部署。由于公司越来越多地将复杂的AI系统整合到其运营中，因此计算成本和响应时间已成为广泛实施的重大障碍。
当前在2022年引入的当前现代推理方法（例如（COT））显着提高了人工智能解决复杂问题的能力，将它们分解为逐步推理。但是这种方法产生了长期解释，可以消耗大量的计算资源并增加答案的延迟。
Prabhakar写道：“ COT提示的共同性质导致了巨大的计算间接费用，增加延迟和更高的运营成本。”
COD的作用，特别值得关注的企业，是其实施的简单性。与需要昂贵的模型再培训或架构更改的许多成就，可以通过简单的操作修改立即与现有模型一起部署COD。
Prabhakar解释说：“已经使用COT的组织可以通过简单地修改快速修改而切换到COD。”
此技术对于敏感应用程序，例如真实的客户，移动人工智能，教育工具和金融服务，可能特别有价值，即使很小的延迟也会显着影响用户体验。
但是，行业专家认为后果超出了节省成本的成本。 COD可以使人工智能的高级论点更容易获得和负担得起，可以使小型组织和有限资源的AI复杂能力的访问权限。
由于AI系统不断发展，因此COD等方法强调了对有效性以及未加工功能的越来越强调。对于关注快速变化的景观的企业，这种优化与基本模型本身的改进一样有价值。
Prabhakar总结说：“由于AI模型不断发展，因此推理有效性的优化与提高其未经处理能力一样重要。”
研究代码和数据已在GitHub上公开可用，该数据允许组织使用自己的AI系统实施和检查该方法。
Source link
