让我们来谈论最近发生的几个恐怖故事。
去年年底，一家雪佛兰经销商在其主页上部署了一个由大型语言模型 (LLM) 驱动的聊天机器人。该 LLM 经过雪佛兰汽车详细规格的训练，旨在仅回答有关雪佛兰汽车的问题。
然而，用户很快就找到了绕过这些限制的方法：通过一系列越来越超出聊天机器人预期答案范围的诱导性问题，他们最终促使聊天机器人推荐特斯拉汽车。很快，该机器人就被操纵编写代码，甚至提出以 1 美元的价格出售汽车。
更令人担忧的事件涉及微软的 Co-Pilot，这是一款旨在协助编写代码的 AI 工具。由于AI 幻觉现象（即 AI 生成看似合理但虚假的信息），该工具建议使用一个不存在的库。抓住这个机会，一名开发人员创建了一个同名的库，在其中嵌入了恶意软件，并将其上传到 GitHub。四天内，该恶意库的下载量达到 100,000 次。
这些失败应该让任何想要将人工智能融入其运营的企业领导者三思而行。它们提醒组织将这种崭新的技术融入重要流程的复杂性和风险。
ITSM 中 AI 集成的 4 个关键考虑因素
在采用 AI 进行 IT 服务管理 (ITSM) 之前，请记住以下注意事项。
1. 管理专有信息
人工智能模型需要大量数据集才能发挥最佳功能，但不受限制的数据使用可能会导致严重的安全漏洞。公司必须确保只有相关的非敏感数据才能输入人工智能系统，以防止未经授权的访问和滥用。
2. 确保数据完整性——“垃圾进，垃圾出”
用于训练 AI 模型的数据质量直接影响其性能。组织需要实施严格的数据清理流程，以确保使用的数据准确、可靠且无错误。这一步对于产生值得信赖的 AI 输出至关重要。
3. 建立严格的访问控制
人工智能模型本身并不理解访问控制，因此必须明确界定谁可以访问特定数据的界限。
人们普遍认为应该使用多个 LLM，每个都为特定目的而设计。建立严格访问控制的关键在于只向每个 LLM 提供其用户应该使用的信息。
这种方法消除了掌握所有公司信息的通才 LLM 的概念，从而确保对数据的访问受到适当限制并与用户角色和职责保持一致。
4. 严格验证人工智能输出结果
人工智能系统可能会产生看似合理但本质上不正确的输出。这些人工智能幻觉凸显了严格验证过程的必要性。
应定期进行审计和检查，以确保人工智能生成的输出准确可靠。这种做法对于维护人工智能应用的信任和可信度至关重要。
人工智能集成的 5 大最佳实践
1. 灵活利用多家人工智能提供商
采用中立的 AI 策略对于增强 ITSM 流程至关重要。组织不应只依赖单一的 AI 提供商，而应使用灵活的界面，以便与各种 AI 模型无缝集成。
例如，利用 Microsoft Azure 的强大 GPT 模型来处理客户服务查询，并利用 Google 的 Vertex AI 来简化内部 IT 工作流程，可以非常有效。
这种方法可确保企业不受单一供应商的束缚，随着 AI 技术的发展，他们可以切换到最佳可用模型。通过保持这种灵活性，组织可以不断获得最先进的功能，而不必担心供应商锁定的风险。
这一策略不仅优化了性能，而且还确保了人工智能基础设施保持适应性和面向未来性，随时准备融入新兴的进步。
2. 利用预先训练的模型
从头开始训练 AI 模型需要大量的时间、金钱和计算能力。鉴于这些巨大的需求，利用预先训练的模型已成为大多数组织的必需品。
通过使用已在大量数据集上训练过的模型，公司可以显著降低成本和实施时间。此外，预先训练过的模型通常具有由领先的人工智能研究人员磨练的高级功能，可提供“开箱即用”的尖端性能。
但利用专有数据对这些预训练模型进行微调是必不可少的，因为这将允许组织根据其特定需求定制 AI 的功能。这种方法确保虽然底层模型受益于广泛的训练，但它也与业务的特定挑战和要求相关且可定制。这就像拥有一辆高端跑车，您可以对其进行调整以在独特的赛道上完美表现。
3. 建立清晰的访问边界
为了防止未经授权访问敏感信息，应定义谁可以在什么情况下访问哪些数据。例如，营销代表应有权访问宣传材料和产品信息，但无权访问敏感的财务数据或内部人力资源记录。
通过仅向 AI 模型提供用户特定角色所需的数据，组织可以降低风险并确保敏感信息的安全。这种做法不仅可以保护数据，而且符合合规性要求和数据治理的最佳实践。这是围绕您的宝贵信息建立堡垒，确保只有拥有正确密钥的人才能进入。
4. 实施强有力的保密协议和数据保护协议
在使用外部 AI 服务时，保护专有信息至关重要。实施强有力的保密协议 (NDA) 和数据保护协议可确保您的数据保持机密且不会被滥用。这些协议应明确规定，所提供的数据不会用于再培训或除明确约定以外的任何目的。
此法律框架提供了安全网，保护您的组织免受第三方提供商滥用数据的风险。在这方面必须谨慎行事，因为数据泄露的后果可能非常严重，从竞争劣势到法律责任。
5. 结合 AIaaS 与自托管模型以增强安全性
为了在利用人工智能的优势的同时严格控制敏感数据，组织应该采用将人工智能即服务 (AIaaS) 与自托管模型相结合的混合方法。
对于涉及机密信息的任务（例如财务分析和风险评估），部署自托管 AI 模型可确保数据安全和控制。同时，利用 AWS 等 AIaaS 提供商执行不太敏感的任务（例如预测性维护和常规 IT 支持），组织可以从基于云的 AI 服务提供的可扩展性和高级功能中受益。
这种混合策略可确保敏感数据在组织基础设施内保持安全，同时利用 AIaaS 为其他操作提供的创新和效率。
通过平衡这些方法，企业可以优化其 AI 集成，保持高安全标准，同时又不牺牲基于云的 AI 解决方案所提供的灵活性和性能增强。
综上所述
与任何新技术一样，将 AI 集成到 ITSM 流程中既有机遇也有挑战。通过利用预先训练的模型、建立清晰的访问边界、实施强大的保密协议以及定期监控和审核 AI 系统，组织可以应对这些复杂性。这些最佳实践不仅可以增强 AI 集成的功能和效率，还可以确保组织的数据保持安全并符合监管标准。
在急于引入这些新技术的过程中，我们有时会跌倒。通过从这些现实世界的例子中吸取教训，您的组织可以避免类似的陷阱，确保人工智能成为您 IT 运营的强大盟友，并且您不会最终以一美元的价格出售雪佛兰汽车。
标签：集成,服务,AI,组织,模型,人工智能,确保,数据 From： https://blog.csdn.net/qq_29607687/article/details/141073660