AI的解释游戏:Anpropic Research对您的Enterprise LLM策略意味着什么


加入企业领导人信任的活动近二十年。 VB变换结合了建立企业真实策略的人们。了解更多


4月,Anpropic Dario Amodea的总主管在4月迈出了紧急动力,以了解AI模型的想法。

这是在决定性时期发生的。作为AI全球评级的拟人战斗,重要的是要注意,它将其与其他最好的人工智能实验室区分开来。自2021年成立以来,由于担心人工智能的安全性,七名OpenAI员工爆炸了,Anpropic创建了AI模型,这些模型遵守了许多他们称为宪法AI的宝贵原则。这些原则保证了模型“有用,诚实和无害”,并且通常是为了社会利益而行动。同时,拟人化的研究手被深深浸入,以了解他的模型对世界的看法,并且 为什么 它们产生有用(有时是有害的)答案。

旗舰模型Anpropic,Claude 3.7十四行诗,在2月推出时以编码标准为主导,证明了人工智能模型可以通过性能和安全性取得成功。最近的《 Opus和Sonnet Claude 4.0》再次将Claude置于编码的顶部。尽管如此,在当今快速而超级的市场中,诸如Google Gemini 2.5 Pro和Open AI O3之类的Anpropic竞争对手在疲惫的编码方面具有令人印象深刻的表演,而他们在数学上占据了Claude的主导地位,以多种语言为单位。

如果Amodei的想法是指标,那么Anpropic计划AI的未来及其在关键领域的后果,例如医学,心理学和法律,在模型和人类价值观的安全性。这表明:“拟人实验室”是AI的主要实验室,严格关注“解释” AI的发展,该模型是从某种程度的信心理解的模型,即该模型认为以及如何得出特定的结论。

亚马逊和Google已经投资了数十亿美元的人类,即使它们创建了自己的AI模型,也许Anpropic的竞争优势仍在开始。正如Anthropno所建议的那样,解释的模型可以显着降低与复杂AI部署中调试,审计和降低风险的长期运营成本。

安全研究人员Sayash Kapoor认为,尽管可解释性很有价值,但这只是管理AI风险的众多工具之一。他认为,“解释性既不是必要的也不足以保证模型最重要的是与过滤器,验证者和针对人的设计结合使用。在这种更广泛的外观中,可解释性被认为是管理策略更大的生态系统的一部分,尤其是在AI的实际部署中,模型是更广泛的决策制造系统中的组成部分。

需要解释的AI

直到最近,许多人认为,多年来,AI仍来自成就,类似于现在帮助Claud,Gemini和Chetgpt拥有对市场的独家接受的人。尽管这些模型已经在促进了人类知识的界限,但它们的广泛使用是由于它们在解决了需要创造性解决方案或详细分析的各种实际问题方面的良好性。由于模型将任务越来越重要,因此必须给出准确的答案,这一点很重要。

Amodea担心AI对提示做出回应:“我们不知道……为什么他选择某些单词而不是别人,或者为什么他有时会犯错,尽管事实通常更精确。”这样的错误 – 不准确的信息或不对符的答案的幻觉将使AI模型充分发挥作用。的确,我们看到了许多人AI如何继续与幻觉和不道德行为作斗争的例子。

对于Amodei而言,解决这些问题的最佳方法是理解,正如AI所想的那样:“我们无法理解模型的内部机制意味着我们无法有意义地预测这种(有害的)行为,因此请尽力排除它们……如果可以在模型中看到这些行为,那么我们可以系统地阻止所有监狱,并能够阻止所有监狱,并具有拥有危险知识的危险知识,而这些知识都具有危险的知识。

Amodei还将当前模型的不透明度视为在“财务或关键安全条件下部署AI模型的障碍,因为我们无法完全建立对其行为的限制,并且少数错误可能非常有害。”在做出直接影响人们的决策时,例如医学诊断或抵押评估,法律规则要求II解释其决定。

想象一下,使用大型语言模型(LLM)来检测欺诈的金融机构 – 解释可能意味着解释禁止根据法律要求向客户申请贷款申请的申请。或一家优化供应链的生产公司 – 了解AI为什么建议特定供应商可以释放效率并防止不可预见的狭窄地方。

从中,它解释了Amodea:“拟人化的双打解释,我们有一个目标 – 到2027年到2027年可以可靠地发现大多数模型问题”。

为此,Anthropic最近参加了人工智能研究实验室的5000万美元的投资,这为“大脑扫描”取得了突破。他们的建模检查平台Ember是一种不可知的工具,可在模型中定义所研究的概念,并允许用户操纵它们。在最近的一次演示中,该公司展示了Ember如何在人工智能领域识别单个视觉概念,然后允许用户 染料 这些概念在画布上生成了遵循用户设计的新图像。

恩伯(Ember)的Anpropic Investments暗示,解释模型的发展非常困难,因为Anpropic没有劳动来实现独立成就。创意解释的模型需要新工具和合格的开发人员来创建它们

更广泛的背景:AI研究人员的前景

为了打破Amodea的前景并添加了如此必要的背景,VentureBeat采访了普林斯顿的安全研究员Kapoor。卡普尔重合这本书 AI蛇油对夸张的主张的批判性研究与领先的AI模型的可能性有关。他也是一名合作者”AI作为普通技术他主张将AI视为一种标准的变革工具,例如互联网或电力,并有助于其整合到日常系统中的现实前景。

Kapoor并不质疑可解释性是有价值的。然而,他对此表示持怀疑态度,这是AI均衡的中心列。 “这不是银色子弹,”卡普尔VentureBeat说。据他说,许多最有效的安全方法,例如回答后的过滤,根本不需要开放模型。

他还警告说,研究人员称之为“不可理解的错误” – 如果我们不完全理解系统的内部内部,我们将无法负责任地使用或调节它。实际上,完全透明不是对大多数技术的评估方式。在实际条件下,系统是否可靠地执行非常重要。

这不是Amodei在我们理解之前首次警告AI的风险。他在2024年10月的帖子中绘制了更有能力的模型的愿景,这些模型可以采取现实世界的重大行动(可能是我们的生活加倍)。

根据Kapoor的说法,模型之间存在重要区别 能力力量野外能力无疑正在迅速增长,很快他们就可以开发出足够的智能,以找到解决当今人类的许多复杂问题的解决方案。但是,该模型与我们提供的接口一样强大,以与现实世界进行交互,包括如何部署模型。

Amodei分别声称,美国应通过限制访问强大模型的出口管理要素来部分地在AI发展中保持领导地位。这个想法是,专制政府可以使用不负责任的边境人工智能制度 – 或抓住地缘政治和经济优势,这首先与其部署有关。

对于卡普尔来说,“即使是最大的出口控制支持者也同意,它将给我们不超过一两年的时间。”他认为我们必须将AI视为“普通技术”,是电力或互联网。尽管具有革命性,但这两种技术在整个社会中都完全实施了数十年。卡普尔(Kapur)认为,对AI:保持地缘政治优势的最佳方法是专注于有效使用AI的“长游戏”。

其他人批评Amode

卡普尔不是唯一批评Amode立场的人。上周在巴黎的Vivatech,NVIDIA的首席执行官Jansen Juang宣布他与Amodeus的眼光分歧。胡安问开发AI的权力是否必须限制几个有影响力的实体,例如炭疽病。他说:“如果您希望一切都安全,负责任地完成,那么您会在户外做……不要在黑暗的房间里做,不要告诉我它是安全的。”

作为回应,人类说:“达里奥从来没有声称“只有“只有antrop”可以建立安全有力的AI。正如公开报告将显示,达里奥(Dario)提倡对AI开发人员(包括人类)的全国透明度标准,以便公众和政客了解模型的能力和风险,并可能准备适当的模型。透明

还值得注意的是,Anpropic并不孤单地渴望解释:Google团队通过由Nile Nanda领导的DeepMind解释,也为解释研究做出了认真的贡献。

最终,AI的最好的实验室和研究人员提供了令人信服的证据,即解释可能是AI竞争市场的关键区别。早期可解释性优先的企业可以获得重要的竞争优势,从而创造更可靠,兼容和适应性的AI系统。


Source link
Scroll to Top