生成的AI代码的风险是真实的,因为企业可以管理风险


加入我们的每日和每周信息选票,以获取人工智能领先的行业照明中的最新更新和独家内容。了解更多


不久前,人们写了几乎整个应用程序代码。但事实并非如此:使用AI工具编写代码已大大扩展。一些专家,例如Antropric Dario Amodei的总董事,预计AI将在接下来的6个月中写出总代码的90%。

这个背景会影响企业吗?传统上,制定代码的实践包括各种级别的控制,监督和管理,以确保质量,遵守和安全。在AI设计的代码的帮助下,组织具有相同的保证?更重要的是,也许组织应该知道哪些模型生成了他们的AI代码。

了解代码的来源不是企业的新问题。这是工具分析工具拟合(SCA)的地方。从历史上看,SCA工具没有给予AI的想法,但是现在它正在改变。现在,包括Sonar,Endor Labs和Sonatype在内的几家供应商现在提供了各种各样的理解,可以帮助企业使用AI设计的代码。

Sonar Tariq Shaukat的总董事说:“我们现在与之交谈的每个客户对他应该如何负责AI代码的发电机感兴趣。”

由于已开发的AI代码,金融公司每周遭受一次关闭

人工智能工具是不可靠的。许多组织在早期阶段就学到了这一课,当时内容开发工具提供了不正确的结果,称为幻觉。

相同的基本课程是指开发的AI代码。随着组织从实验制度转移到生产模式时,他们越来越了解代码非常小故障。 Shaukat指出,开发的AI代码也可能导致安全和可靠性问题。影响是真实的,也不是微不足道的。

Shaukat说:“例如,大约六个月前,我有一家金融服务公司的技术总监,告诉我他们每周正在与发电的人工智能脱离连接。”

当他询问客户时,他是否正在进行代码评论,答案是肯定的。然而,开发人员的感觉与对代码负责的人没有什么不同,也没有花费更多的时间和严重性。

代码的原因最终变成了笨拙,尤其是对于大型企业而言,可能是可变的。但是,一般问题之一是企业通常具有大型代码库,这些代码库可能具有可能不知道AI工具的复杂体系结构。根据Shaukat的说法,通常,AI代码的发电机对较大,更复杂的代码基础的复杂性很差。

Shaukat说:“我们最大的客户分析了超过20亿行的代码。” “您开始处理这些代码基础,它们更加复杂,它们具有更多的技术债务,并且有很多成瘾。”

发达的AI COD的问题

对于Sonatype产品总监Mitchell Johnson来说,也很明显,AI开发的代码会留在这里。

软件开发人员应遵循他所谓的希波克拉底工程宣誓。也就是说,不要损害代码库。这意味着在执行AI生成的每一行的严格查看,理解和验证,就像开发人员使用手动书面或开源的那样。

Johnson VentureBeat说:“ AI是一种强大的工具,但在安全,管理和质量方面,它不能取代人类的判断。”

根据约翰逊的说法,生成的AI代码的最大风险是:这是:

  • 安全风险:AI正在学习具有开源数据的群众,通常包括脆弱或恶意代码。如果不受控制,它可以将安全性缺陷引入软件供应链中。
  • 盲人信任:开发人员,尤其是经验不足的开发人员可能会假设生成的AI代码是正确且安全的,而无需适当的验证,这会导致不受控制的脆弱性。
  • 差距的合规性和背景:AI缺乏对商业逻辑,安全政策和法律要求的认识,这使依从性和有效性妥协。
  • 管理问题:生成的AI代码可以在没有监督的情况下增长。组织需要自动围栏来跟踪,审核和受保护的A-创建代码。

约翰逊说:“尽管有这些风险,但速度和安全性不应该妥协。 “多亏了正确的工具,自动化和数据管理,组织可以安全地使用Ai-Accelere创新,同时确保安全和合规性。”

模型很重要:确定代码开发的开源模型的风险

组织使用许多模型来创建代码。例如,Arthopic Claude 3.7是一个特别有力的选择。 Google Code Assist,型号OpenAI O3和GPT-4O也是一个可行的选择。

然后是一个开源代码。 Meta和Qodo等供应商提供了开源模型,并且似乎在拥抱面上可用的一套无尽的选项。 Endor Labs CISO的Karl Matson警告说,这些模型会造成安全问题,许多企业还没有准备好。

Mattson VentureBeat说:“系统的风险是将LLM与开源的使用。” “使用开源模型的开发人员创建了一套全新的问题。他们使用一种停止或未经证实的模型将它们介绍给他们的代码基础。

与Matson所说的“肛门或OpenAI”等公司的商业报价不同,该库中的开源模型(例如面部拥抱)在质量和安全姿势上可能会截然不同。马特森强调,组织应该理解潜在风险并正确选择,而不是试图禁止使用开源模型来生成代码。

Endor Labs可以帮助组织在代码存储库中使用何时打开-source AI模型,尤其是与拥抱面孔有关。该公司的技术还以10种风险属性评估了这些模型,包括运营安全,所有权,使用和更新频率以建立基本风险线。

专门检测技术出现

为了解决新问题,SCA供应商发布了许多不同的机会。

例如,Sonar开发了提供AI代码的可能性,该代码可以识别生成汽车独有的代码模板。即使没有与助手编码直接集成,系统也可以检测代码何时可能是由AI生成的。然后,Sonar对这些部分进行了专门测试,以寻找幻觉的依赖性和建筑问题,这些问题不会出现在书面人类法规中。

Endor Labs和Sonatype使用另一种技术方法,重点是建模来源。 Sonatype平台可用于识别,跟踪和控制AI模型及其软件组件。 Endor Labs还可以识别代码存储库何时使用具有开源的人工智能模型并评估潜在风险。

当引入AI在公司环境中生成的代码时,组织需要结构化的方法来降低优势时的风险。

企业应考虑的几种关键最佳实践,包括:

  • 实施严格的验证过程:Shaukat建议组织有 严格的理解过程,在代码库的某个部分中使用代码生成器。这对于确保正确的问责制并验证生成的代码是必要的。
  • 识别具有复杂代码库的AI限制:尽管生成的AI代码可以轻松处理简单的方案,但有时在具有许多依赖关系的复杂代码时可能会有所限制。
  • 了解生成的AI代码中的独特问题:Shaukat指出 W.Hile AI避免了常见的句法错误,它倾向于使用幻觉造成更严重的建筑问题。绳索幻觉可能包括编译真正不存在的变量或库。
  • 要求开发人员的责任:约翰逊强调,生成的AI代码不受自然的保护。开发人员必须在执行之前修改,理解和检查每条线。
  • 拒绝AI批准:约翰逊还警告了阴影AI或不受控制的AI工具的风险。许多组织要么直接禁止(员工忽略)或创建批准流程如此困难,以至于员工绕过他们。取而代之的是,他为企业提供了清晰,有效的评估和绿灯人工智能的基础,从而在没有不必要的障碍的情况下提供了安全的实施。

这对企业意味着什么

开发阴影AI代码的风险是真实的。

组织可以使用AI生成的代码的数量大大增加,并且很快就会包含整个代码的大部分。

对于复杂企业而言,速率尤其高,其中一个幻觉依赖会导致灾难性的失败。对于寻求在维持可靠性同时接受编码工具的组织,专业代码分析工具的实施很快就会从可选的转移到主要代码。

马特森警告说:“如果您允许AI在生产中创建的代码而没有专门的检测和验证,那么您本质上是盲目的。” “我们看到的失败类型不仅是错误 – 这些是可以降低整个系统的架构故障。”


Source link
Scroll to Top