春节之前被 Semantic Kernel 所吸引，开始了解它，学习它。
在写这篇博文之前读了一些英文博文，顺便在这里分享一下：
- Intro to Semantic Kernel – Part One
- Intro to Semantic Kernel – Part Two
- Build a custom Copilot experience with your private data using and Kernel Memory
- Semantic Kernel: The New Way to Create Artificial Intelligence Applications
- Semantic Kernel: A bridge between large language models and your code
为了方便学习与体验以及写代码实践 Semantic Kernel，打算自己部署一个对中文友好的开源大模型，于是选择了通义千问
根据通义千问开源仓库中的 README，经过一番折腾，终于部署成功，详见博文 以容器方式部署通义千问 Qwen
紧接着就是尝试通过 Semantic Kernel 与自己部署的通义千问进行对话，在昨天晚上睡觉前初步尝试成功，通过这篇博文记录一下。
主要面临的问题是 Semantic Kernel 与通义千问之间互不支持（内置支持），Semantic Kernel 目前只内置支持 OpenAI 与 Azure OpenAI。幸运的是，通义千问实现了一个四两拔千斤的巧妙能力——提供了兼容 OpenAI api 的 api，于是这个大问题迎刃而解为一个小问题——如何欺骗 Semantic Kernel 让它在请求 OpenAI api 时改道请求自己部署的通义千问模型服务？
在 Semantic Kernel github issue 的一个评论中发现了一个移花接木的巧妙方法——通过 DelegatingHandler 修改 HttpClient 请求的 url。
对应到这里的场景就是修改所请求的 OpenAI api url 中的 scheme 与 host，也就是将 https://api.openai.com 替换为 http://localhost:8901，实现代码如下
class QwenRedirectingHandler() : DelegatingHandler(new HttpClientHandler())
{
protected override Task<HttpResponseMessage> SendAsync(
HttpRequestMessage request, CancellationToken cancellationToken)
{
request.RequestUri = new UriBuilder(request.RequestUri!) { Scheme = "http", Host = "localhost", Port = 8901 }.Uri;
return base.SendAsync(request, cancellationToken);
}
}
移花接木之后本以为初步体验小功告成，却遇到一个小挫折，在用下面的代码发送 prompt 时报错
var prompt = @"博客园是什么网站";
var result = await kernel.InvokePromptAsync(prompt);
Console.WriteLine(result);
错误来自通义千问的响应
{"detail":"Invalid request: Expecting at least one user message."}
后来参考公众号文章利用阿里通义千问和Semantic Kernel，10分钟搭建知识助手中的代码解决了
var prompt = @"<message role=""user"">博客园是什么网站</message>";
var summarize = kernel.CreateFunctionFromPrompt(prompt);
var result = kernel.InvokeStreamingAsync(summarize);
await foreach (var item in result)
{
Console.Write(item.ToString());
}
解决这个问题后，控制台就能看到来自通义千问慢吞吞的吐字回答：
博客园（CNG.cn）是中国最大的IT社区，也是一个专业的程序员学习交流的平台。它提供了一个可以让程序员交流思想、分享经验的环境，并且有多重功能支持用户创建个人博客和参与讨论。
注：这里使用的通义千问模型版本是 Qwen-7B-Chat
到此，初步体验 Semantic Kernel 就小功告成了，下面是完整代码。
using Microsoft.Extensions.DependencyInjection;
using Microsoft.SemanticKernel;
var builder = Kernel.CreateBuilder();
builder.AddOpenAIChatCompletion("gpt-3.5-turbo", "***");
builder.Services.ConfigureHttpClientDefaults(b =>
b.ConfigurePrimaryHttpMessageHandler(() => new QwenRedirectingHandler()));
var kernel = builder.Build();
var prompt = @"<message role=""user"">博客园是什么网站</message>";
var summarize = kernel.CreateFunctionFromPrompt(prompt);
var result = kernel.InvokeStreamingAsync(summarize);
await foreach (var item in result)
{
Console.Write(item.ToString());
}
class QwenRedirectingHandler() : DelegatingHandler(new HttpClientHandler())
{
protected override Task<HttpResponseMessage> SendAsync(
HttpRequestMessage request, CancellationToken cancellationToken)
{
request.RequestUri = new UriBuilder(request.RequestUri!) { Scheme = "http", Host = "localhost", Port = 8901 }.Uri;
return base.SendAsync(request, cancellationToken);
}
}