一种新的方法来实现代理商,代理商的可靠性,迫使代理商遵守规则


加入我们的每日和每周信息选票,以获取人工智能领先的行业照明中的最新更新和独家内容。了解更多


AI代理存在安全性和可靠性问题。尽管代理商将允许企业在其工作过程中自动化更多步骤,但在执行任务时,他们可以采取无意的行动,而不是很灵活且难以控制它们。

组织已经对不可靠的代理人发出了警报,担心部署后,代理商可能会忘记遵循说明。

Openai甚至承认,确保代理商的可靠性将包括与外部开发人员的合作,因此他发现了他的SDK代理以帮助解决此问题。

尽管如此,新加坡大学(SMU)的研究人员开发了一种新的方法来实现代理商的可靠性。

AgsentsPec是针对域特有的结构,允许用户“定义包括触发器,谓词和胁迫机制的结构化规则”。研究人员说,代理商PEC将迫使代理商仅作为用户想要的参数的一部分工作。

具有新方法的基于LLM的代理的方向

AgentSpec不是一种新的大型语言模型(LLM),而是一种基于LLM的AI代理的方法。研究人员认为,代理可以用于企业和独立驾驶应用程序中的代理商。

第一个集成在Langchain框架上的代理测试,但研究人员说,他们开发了它,以使其成为大型的,这意味着它也可以在Autogen和Apollo生态系统上工作。

使用代理PEC进行的实验表明,“超过90%的不安全代码执行,确保完全符合自动驾驶方面的驾驶方案,消除了体现剂的任务中的危险行动,并采取了对毫秒的高架消费的行为。”使用O1 OpenAI的LLM代理商生成的规则也具有很强的性能,并提供了87%的风险代码,并防止了“违反8种情况中5个法律”。

当前方法还不够

代理PEC并不是唯一帮助开发人员为代理提供更多控制和可靠性的方法。其他方法包括工具和护卫队。初创公司伽利略(Galileo)启动了代理成绩,一种确保代理商根据思想工作的方式。

H2O.AI开源平台使用预测模型来提高公司在金融,医疗保健,电信和政府领域使用的代理商的准确性。

AgentsPec说,研究人员说,当前降低风险(例如工具)等风险的方法有效地检测了风险。他们指出:“这些方法没有解释,也没有提供确保安全的机制,这使它们容易受到对抗性操纵的影响。”

使用代理

AgentsPec是为代理商管理资金的执行。他在执行任务时拦截了代理商的行为,并添加了人们制定或提示生成的安全规则。

由于代理PEC是特定于域的用户语言,因此用户必须确定安全规则。其中有三个组成部分:第一个是激活规则时陈述的触发因素;第二个是检查添加条件。第三是执行,如果违反规则,可以确保遵守行动。

AgentsPec建立在Langchain上,尽管如前所述,研究人员说,代理商也可以集成到其他框架中,例如Autogen或Apollo Apollo Apollo。

这些框架将步骤组织到接受用户条目,创建执行计划,观察结果并确定该操作是否完成的必要代理的步骤,如果没有,则他们计划下一步。 AgentsPec将规则的应用添加到此流中。

在执行措施之前,AgentsPEC会评估预定的限制以确保合规性,在必要时改变代理的行为。特别是,AgentsPec将挂在决策的三个关键点:制定(代理)之前,在行动(代理)创建观察(代理人)之后(代理步骤)以及在代理人完成其任务(代理人)中,并随着对纸张的变化而进行的,并在纸张中进行了更改,并在材料中进行了更改,该点会更改,并在纸张中进行更改,并以划分的变化,并且会互动,并且会随着纸张的变化而改变按照更改,按照系统在系统中更改,按照更改,根据代理商的更改以粉碎系统。

更可靠的代理

诸如代理商之类的方法强调了可靠的代理使用企业的需求。由于组织开始计划其代理战略,因此技术解决方案的领导者还考虑如何确保可靠性。

对于许多人来说,代理商最终将自动地并积极地为用户执行任务。周围代理的想法,即AI代理和应用程序在后台不断起作用并启动自己以执行动作的想法,这将需要那些不会偏离其道路并意外代表不安全行动的代理。

如果周围的代理在将来AI代理会进入的地方,那么随着公司寻求使人工智能代理商不断可靠,诸如代理商之类的方法将会繁殖。


Source link
Scroll to Top