使用 Semantic Kernel 实现 Microsoft 365 Copilot 架构

3月16日，微软发布了微软365 Copilot[1]。 Microsoft 365 Copilot 将您现有的 Word、Excel、PowerPoint、Outlook 和 Teams 与大型语言模型 （LLM） 的强大功能以及来自 Microsoft Graph 和 Microsoft 365 应用的数据相结合，以创建前所未有的体验。正如您在官方视频中看到的那样，Microsoft 365 Copilot的核心是一个名为Copilot System的编排器。 今天Semantic Kernel 博客上发布了一篇文章介绍了Copilot 聊天示例程序[2]。 我认为很容易从这个Copilot 聊天示例程序开始 实现这样的一个架构。

1、Copilot 系统

让我们先简单介绍一下M365 Copilot系统的处理流程。 该系统由Copilot系统，Microsoft 365 Apps，Microsoft Graph[3] 和LLM（GPT-4）组成.

Copilot 系统首先接收来自 Microsoft 365 Word、Excel、PowerPoint、Outlook、Teams 等的用户提示。 这些指令不会作为提示直接发送到 GPT-4，而是通过 Microsoft Graph 提供必要的上下文。 这称为接地，如果是电子邮件回复提示，例如，您的电子邮件帐户信息。

接地上下文提示通过Copilot系统发送到LLM。

Copilot 系统接收来自LLM的响应并执行后处理。 此后处理包括对 Microsoft Graph 的其他调用、负责任的 AI 检查、安全性、合规性和隐私审查，以及 Microsoft 365 应用交互的命令生成。

已通过后处理步骤的处理结果和应用操作命令将返回到 Microsoft 365 中的调用应用。应用交互命令是用于处理添加图片或调整 PowerPoint 文本大小等功能的内部命令。

2、使用Semantic Kernel实现

在Semantic Kernel的示例中，可以通过内置的 Microsoft Graph 连接器在上下文中添加的： 连接器是技能的一部分，您还可以使用Memory函数从Memory中的键值存储和矢量数据库中检索和添加内存和先验知识。 当然，您可以自己自定义技能和连接器。 还可以将其连接到 Azure 认知搜索。

对于 Microsoft 365 应用（如商务聊天）和跨用户数据（日历、电子邮件、聊天、文档、会议和联系人）工作的应用），后端需要一个规划器来确定用户的问题意向，将其分解为任务，并将其与操作相关联。 语义内核包括一个计划器，用于将用户的复杂指令分解为任务。 使用规划器将公司系统的每个功能映射到您的技能。

Copilot Chat建立在微软的Semantic Kernel 之上，允许开发人员轻松地将大型语言模型（LLM）的强大功能集成到自己的应用程序中。通过我们的完整示例，你可以利用高级功能，例如多个对话主题、语音识别、文件上传，通过你自己的最新信息使聊天更智能，持久内存存储允许机器人在每次使用时变得越来越智能，甚至可以下载机器人与他人共享，加入他们的对话。

无论您是在构建客户服务工具、个性化推荐系统、人力资源助理、教育工具还是电子商务助手，我们的 Copilot Chat 都可以提供帮助。我们认为，从示例应用下载和生成会有很多好处。

改善用户体验：通过提供个性化帮助和自然语言处理，您自己的聊天机器人可以改善客户、学生和员工的用户体验。用户可以快速轻松地获得所需的信息，而无需浏览复杂的网站或等待客户服务代表的帮助。

提高效率： 通过处理客户服务或人力资源任务的聊天机器人，您可以让员工专注于需要人工干预的更复杂的任务。这可以提高组织的效率并降低成本。

个性化推荐：通过自然语言处理和持久内存存储，您的聊天机器人可以为产品、服务或教育资源提供个性化推荐。这可以提高客户满意度并推动销售。

改进的可访问性：通过语音识别和文件上传，您的聊天机器人可以为用户提供更准确和个性化的帮助。例如，难以浏览网站的患者可以更轻松地使用聊天，并快速有效地接收所需的信息。

可扩展性：通过处理客户服务或教育任务的聊天机器人，您可以轻松扩展以满足不断增长的需求，而无需雇用更多员工。这可以降低成本并增加收入。

总结

Semantic Kernel 支持快速开发用于编排企业中各种系统的内核。 要使用的模型是 Azure OpenAI 服务，它具有丰富的企业安全性，我们可以从Copilot Chat示例程序开始。

相关链接：

[1] 微软365 Copilot: https://www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/introducing-microsoft-365-copilot-a-whole-new-way-to-work/

[2]Copilot 聊天示例程序: https://devblogs.microsoft.com/semantic-kernel/announcing-copilot-chat/

[3]Microsoft Graph: https://learn.microsoft.com/graph/overview