张小明
前端开发工程师
最近在做一些端侧部署一些小参数模型来进行一些自动化操作的尝试发现一个有意思的地方
使用qwen30b-a3b模型直接使用阿里百炼永远比ollama部署的模型toolcall效果要更好
c#调用ollama的模型默认使用ollama sharp这个包
OllamaSharp
https://github.com/awaescher/OllamaSharp
翻阅代码可知
对于方法调用参数的定义非常的奇怪如果参数是引用类型或者存在嵌套的情况则上下文会完全丢失参数细节
这样调用会存在问题也不足为奇了
如果你也遇到类似的问题可以考虑转用Microsoft.Extensions.AI.OpenAI
ollama也部分兼容openai格式的请求
openai-compatibility
https://docs.ollama.com/api/openai-compatibility
WAN2.2文生视频SDXL Prompt风格部署案例：自媒体工作室轻量化生产系统 1. 为什么自媒体团队需要这个轻量级视频生成方案 你是不是也遇到过这些情况： 每天要赶3条短视频，但剪辑配音调色耗掉一整天；外包做一条15秒产品展示视频&am…
李华
5步解锁显卡性能天花板：NVIDIA Profile Inspector参数调节完全指南 【免费下载链接】nvidiaProfileInspector 项目地址: https://gitcode.com/gh_mirrors/nv/nvidiaProfileInspector 你是否遇到过这样的情况：明明配置不算低，游戏却总…
李华
5个技巧教你轻松实现直播内容保存与管理 【免费下载链接】douyin-downloader 项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader 你是否遇到过这样的情况：错过心仪主播的精彩直播，想要回看却发现内容已过期？或是想…
李华
告别工具内卷：重新定义OCR效率的底层算法 【免费下载链接】Umi-OCR Umi-OCR: 这是一个免费、开源、可批量处理的离线OCR软件，适用于Windows系统，支持截图OCR、批量OCR、二维码识别等功能。 项目地址: https://gitcode.com/GitHub_Trending/…
李华
探索WebSite-Downloader：如何高效实现网站本地保存与离线浏览从零开始 【免费下载链接】WebSite-Downloader 项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader 你是否曾遇到过这样的困境：重要的在线文档突然无法访问࿰…
李华
DCT-Net在游戏行业的应用：玩家头像转Q版角色立绘快速生成 你有没有遇到过这样的情况：游戏策划刚定下新角色设定，美术团队却要花两三天才能出一张Q版立绘？或者玩家社区里呼声很高的“上传自拍生成专属角色”功能，因为技…
李华