翼度科技»论坛 编程开发 .net 查看内容

dotnet 将本地的 Phi-3 模型与 SemanticKernel 进行对接

5

主题

5

帖子

15

积分

新手上路

Rank: 1

积分
15
在本地完成 Phi-3 模型的部署之后,即可在本地拥有一个小语言模型。本文将告诉大家如何将本地的 Phi-3 模型与 SemanticKernel 进行对接,让 SemanticKernel 使用本地小语言模型提供的能力
在我大部分的博客里面,都是使用 AzureAI 和 SemanticKernel 对接,所有的数据都需要发送到远端处理。这在离线的情况下比较不友好,在上一篇博客和大家介绍了如何基于 DirectML 控制台运行 Phi-3 模型。本文将在上一篇博客的基础上,告诉大家如何将本地的 Phi-3 模型与 SemanticKernel 进行对接
依然是和上一篇博客一样准备好 Phi-3 模型的文件夹,本文这里我放在 C:\lindexi\Phi3\directml-int4-awq-block-128 路径下。如何大家下载时拉取不下来 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx/tree/main?clone=true 仓库,可以发送邮件向我要,我将通过网盘分享给大家
准备好模型的下载工作之后,接下来咱将新建一个控制台项目用于演示
编辑控制台的 csproj 项目文件,修改为以下代码用于安装所需的 NuGet 包
  1. <Project Sdk="Microsoft.NET.Sdk">
  2.   <PropertyGroup>
  3.     <OutputType>Exe</OutputType>
  4.     <TargetFramework>net8.0</TargetFramework>
  5.     <ImplicitUsings>enable</ImplicitUsings>
  6.     <Nullable>enable</Nullable>
  7.   </PropertyGroup>
  8.   <ItemGroup>
  9.     <PackageReference Include="Microsoft.ML.OnnxRuntimeGenAI.DirectML" Version="0.2.0-rc7" />
  10.     <PackageReference Include="feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML" Version="1.0.0" />
  11.     <PackageReference Include="Microsoft.Extensions.Configuration.UserSecrets" Version="8.0.0" />
  12.     <PackageReference Include="Microsoft.Extensions.Logging" Version="8.0.0" />
  13.     <PackageReference Include="Microsoft.Extensions.Logging.Console" Version="8.0.0" />
  14.     <PackageReference Include="Microsoft.SemanticKernel" Version="1.13.0" />
  15.   </ItemGroup>
  16. </Project>
复制代码
这里的 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 是可选的,因为最后咱将会自己编写所有对接代码,不需要使用大佬写好的现有组件
先给大家演示使用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 提供的简单版本。此版本代码大量从 https://github.com/microsoft/Phi-3CookBook/blob/0a167c4b8045c1b9abb84fc63ca483ae614a88a5/md/07.Labs/Csharp/src/LabsPhi302/Program.cs 抄的,感谢 Bruno Capuano 大佬
定义或获取本地模型所在的文件夹
  1. var modelPath = @"C:\lindexi\Phi3\directml-int4-awq-block-128";
复制代码
创建 SemanticKernel 构建器时调用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 库提供的 AddOnnxRuntimeGenAIChatCompletion 扩展方法,如以下代码
  1. // create kernel
  2. var builder = Kernel.CreateBuilder();
  3. builder.AddOnnxRuntimeGenAIChatCompletion(modelPath);
复制代码
如此即可完成连接逻辑,将本地 Phi-3 模型和 SemanticKernel 进行连接就此完成。接下来的代码就是和原来使用 SemanticKernel 的一样。这一点也可以看到 SemanticKernel 的设计还是很好的,非常方便进行模型的切换
尝试使用 SemanticKernel 做一个简单的问答机
  1. var kernel = builder.Build();
  2. // create chat
  3. var chat = kernel.GetRequiredService<IChatCompletionService>();
  4. var history = new ChatHistory();
  5. // run chat
  6. while (true)
  7. {
  8.     Console.Write("Q: ");
  9.     var userQ = Console.ReadLine();
  10.     if (string.IsNullOrEmpty(userQ))
  11.     {
  12.         break;
  13.     }
  14.     history.AddUserMessage(userQ);
  15.     Console.Write($"Phi3: ");
  16.     var response = "";
  17.     var result = chat.GetStreamingChatMessageContentsAsync(history);
  18.     await foreach (var message in result)
  19.     {
  20.         Console.Write(message.Content);
  21.         response += message.Content;
  22.     }
  23.     history.AddAssistantMessage(response);
  24.     Console.WriteLine("");
  25. }
复制代码
尝试运行代码,和自己本地 Phi-3 模型聊聊天
以上为使用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 提供的连接,接下来尝试自己来实现与 SemanticKernel 的对接代码
在 SemanticKernel 里面定义了 IChatCompletionService 接口,以上代码的 GetStreamingChatMessageContentsAsync 方法功能核心就是调用 IChatCompletionService 接口提供的 GetStreamingChatMessageContentsAsync 方法
熟悉依赖注入的伙伴也许一下就看出来了,只需要注入 IChatCompletionService 接口的实现即可。在注入之前,还需要咱自己定义一个继承 IChatCompletionService 的类型,才能创建此类型进行注入
如以下代码,定义继承 IChatCompletionService 的 Phi3ChatCompletionService 类型
  1. class Phi3ChatCompletionService : IChatCompletionService
  2. {
  3.     ...
  4. }
复制代码
接着实现接口要求的方法,本文这里只用到 GetStreamingChatMessageContentsAsync 方法,于是就先只实现此方法
根据上一篇博客可以了解到 Phi-3 的初始化方法,先放在 Phi3ChatCompletionService 的构造函数进行初始化,代码如下
  1. class Phi3ChatCompletionService : IChatCompletionService
  2. {
  3.     public Phi3ChatCompletionService(string modelPath)
  4.     {
  5.         var model = new Model(modelPath);
  6.         var tokenizer = new Tokenizer(model);
  7.         Model = model;
  8.         Tokenizer = tokenizer;
  9.     }
  10.     public IReadOnlyDictionary<string, object?> Attributes { get; set; } = new Dictionary<string, object?>();
  11.     public Model Model { get; }
  12.     public Tokenizer Tokenizer { get; }
  13.     ... // 忽略其他代码
  14. }
复制代码
定义 GetStreamingChatMessageContentsAsync 方法代码如下
  1. class Phi3ChatCompletionService : IChatCompletionService
  2. {
  3.     ... // 忽略其他代码
  4.     public async IAsyncEnumerable<StreamingChatMessageContent> GetStreamingChatMessageContentsAsync(ChatHistory chatHistory,
  5.         PromptExecutionSettings? executionSettings = null, Kernel? kernel = null,
  6.         CancellationToken cancellationToken = new CancellationToken())
  7.     {
  8.         ... // 忽略其他代码
  9.     }
  10. }
复制代码
这里传入的是 ChatHistory 类型,咱需要进行一些提示词的转换才能让 Phi-3 更开森,转换代码如下
  1.         var stringBuilder = new StringBuilder();
  2.         foreach (ChatMessageContent chatMessageContent in  chatHistory)
  3.         {
  4.             stringBuilder.Append($"<|{chatMessageContent.Role}|>\n{chatMessageContent.Content}");
  5.         }
  6.         stringBuilder.Append("<|end|>\n<|assistant|>");
  7.         var prompt = stringBuilder.ToString();
复制代码
完成之后,即可构建输入,以及调用 ComputeLogits 等方法,代码如下
  1.     public async IAsyncEnumerable GetStreamingChatMessageContentsAsync(ChatHistory chatHistory,        PromptExecutionSettings? executionSettings = null, Kernel? kernel = null,        CancellationToken cancellationToken = new CancellationToken())    {        var stringBuilder = new StringBuilder();
  2.         foreach (ChatMessageContent chatMessageContent in  chatHistory)
  3.         {
  4.             stringBuilder.Append($"<|{chatMessageContent.Role}|>\n{chatMessageContent.Content}");
  5.         }
  6.         stringBuilder.Append("<|end|>\n<|assistant|>");
  7.         var prompt = stringBuilder.ToString();        var generatorParams = new GeneratorParams(Model);        var sequences = Tokenizer.Encode(prompt);        generatorParams.SetSearchOption("max_length", 1024);        generatorParams.SetInputSequences(sequences);        generatorParams.TryGraphCaptureWithMaxBatchSize(1);        using var tokenizerStream = Tokenizer.CreateStream();        using var generator = new Generator(Model, generatorParams);        while (!generator.IsDone())        {            var result = await Task.Run(() =>            {                generator.ComputeLogits();                generator.GenerateNextToken();                // 这里的 tokenSequences 就是在输入的 sequences 后面添加 Token 内容                // 取最后一个进行解码为文本                var lastToken = generator.GetSequence(0)[^1];                var decodeText = tokenizerStream.Decode(lastToken);                // 有些时候这个 decodeText 是一个空文本,有些时候是一个单词                // 空文本的可能原因是需要多个 token 才能组成一个单词                // 在 tokenizerStream 底层已经处理了这样的情况,会在需要多个 Token 才能组成一个单词的情况下,自动合并,在多个 Token 中间的 Token 都返回空字符串,最后一个 Token 才返回组成的单词                if (!string.IsNullOrEmpty(decodeText))                {                    return decodeText;                }                return null;            });            if (!string.IsNullOrEmpty(result))            {                yield return new StreamingChatMessageContent(AuthorRole.Assistant, result);            }        }    }
复制代码
如此即可完成对接的核心代码实现,接下来只需要将 Phi3ChatCompletionService 注入即可,代码如下
  1. var modelPath = @"C:\lindexi\Phi3\directml-int4-awq-block-128";
  2. // create kernel
  3. var builder = Kernel.CreateBuilder();
  4. builder.Services.AddSingleton<IChatCompletionService>(new Phi3ChatCompletionService(modelPath));
复制代码
这就是完全自己实现将本地 Phi-3 模型与 SemanticKernel 进行对接的方法了,尝试运行一下项目,或者使用以下方法拉取我的代码更改掉模型文件夹,试试运行效果
本文代码放在 githubgitee 上,可以使用如下命令行拉取代码
先创建一个空文件夹,接着使用命令行 cd 命令进入此空文件夹,在命令行里面输入以下代码,即可获取到本文的代码
  1. git init
  2. git remote add origin https://gitee.com/lindexi/lindexi_gd.git
  3. git pull origin 39a65e0e6703241bdab0a836e84532bddd4385c7
复制代码
以上使用的是 gitee 的源,如果 gitee 不能访问,请替换为 github 的源。请在命令行继续输入以下代码,将 gitee 源换成 github 源进行拉取代码
  1. git remote remove origin
  2. git remote add origin https://github.com/lindexi/lindexi_gd.git
  3. git pull origin 39a65e0e6703241bdab0a836e84532bddd4385c7
复制代码
获取代码之后,进入 SemanticKernelSamples/BemjawhufawJairkihawyawkerene 文件夹,即可获取到源代码

来源:https://www.cnblogs.com/lindexi/p/18257888
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

举报 回复 使用道具