本文探讨了更智能的AI代理在商业尤其是营销中的应用，强调了在使用AI时必须实施严格的治理和道德防护，以降低潜在风险。
AI代理正在改变商业游戏版图，尤其是在营销领域。它们不仅带来了自动化和效率的新高度，还要求严格的治理。随着AI代理越来越智能，并深入到日常运营中，负责任、安全且道德地使用它们不仅仅是可选的——这是必须做到的。
“无论是生成式AI、传统AI、机器学习还是能动体，问题都在于：LLM返回的答案是否恰当？”SS&C Blue Prism全球产品管理高级总监卡维达·切尼帕蒂（Kavitha Chennupati）表示。“如果它犯了错误，情况会变得更为严重。”
AI的两项主要优势——分析海量数据的能力以及为客户提供个性化和定制化客户体验的能力——一旦出错，风险就会显著增加。
“没有良好质量回应和严格治理的影响，其规模远超以往。”Boomi.AI副总裁曼尼·吉尔（Mani Gill）表示。“一个代理请求的数据规模，比一个人请求同一份数据时大得多。它乘以成千上万。”
这就是为什么需要建立AI防护栏的原因。因为营销部门正在引领AI adoption的先潮，市场营销人员必须了解什么是防护栏以及如何开发它们。
首先要知道的是，你不能一开始就着手开发AI。应该由人们决定规则。
“我们采用治理优先的方法论。”切尼帕蒂表示。“在引入技术之前，先打下基础。”
任何实施AI的组织都必须首先建立一个治理委员会。该委员会由来自不同业务部门的人组成，为从品牌规则到数据访问范围以及何时需要干预等制定政策。
建立防护栏：引导自主行动
Boomi AI Studio在其设计环境中集成“内置的道德防护栏”。这些机制旨在指导代理向负责任的行为发展和部署。除了平台特定功能外，切尼帕蒂概述了建立防护栏的关键机制，包括：
- 引用信任来源进行决策：要求代理通过引用他们依赖的数据或逻辑来证明其行动。
- 基于相似性的检查：使用多个AI模型执行相同任务，并比较它们的输出以识别差异或潜在错误。
- 对抗性测试：故意向代理提供错误或误导信息，以便在测试中评估其抗压能力和遵守边界的能力。
这些措施有助于确保代理以高效和合理的方式行动，所有行动都在可接受范围内。
确保钥匙：数据访问与控制
AI治理的主要关注点之一是数据安全和访问控制。最好在人类层面实施相同的基于角色的安全访问机制。
“一个典型的代理使用案例：如果允许我们的员工可以自我服务关于他们自己及其团队的信息，那会有多好？”吉尔表示。“现在很容易将这些信息从您的人力资源管理系统中连接到您的人力资源系统。如果这个安全政策不正确， suddenly首席执行官的薪水就会出现在那个代理。”
这同样适用于组织对其控制以外的AI模型。
“一个Agentforce代理运行在你没有控制的一个模型上。”切尼帕蒂表示。你不能像我们对大多数技术所做的那样假设他们已经阅读了条款和条件。“你需要了解数据隐私方面的方面。”
持续警惕
由于各种隐私法律，你需要知道数据存储的位置以及可能被传输到哪里。否则，你将面临重大的罚款和惩罚风险。此外，你还必须有一个机制来跟踪法律和法规的变化。
AI之所以如此有价值，其中一个原因是它能够学习并应用这些知识。然而，这意味着你必须 continuously 监控AI以确保它仍然遵循规则。幸运的是，你可以使用AI来监控AI。其他系统会检查异常行为，以便识别代理行为偏离预期规范时的情况。
然而，不能完全依赖AI来做这些事情。切尼帕蒂和吉尔都强调需要人类的持续干预。
“不仅仅是监控，还需要定义指标的阈值，以确定何时需要将人引入循环。”切尼帕蒂表示。“这从设计阶段开始。设计必须包括LLM如何得出解决方案的细节，以便有人可以查看发生了什么。”
AI正在以惊人的速度发展，并与商业运营的各个部分深度融入。我们现在可以在几秒钟内完成过去需要几天、甚至更长时间完成的任务。随着其巨大的力量带来的同时也伴随着责任——请记住，“人有错，但计算机有可能犯大错误”。
资讯
