张小明
前端开发工程师
KIVI：一种无需调优的2位KV缓存量化算法，用于在LLM推理中实现更大的批处理大小
本论文针对大语言模型(LLM)推理中KV缓存成为内存和速度瓶颈的问题，提出了一种名为KIVI的2位KV缓存量化方法。研究发现，Key缓存中存在少量通道具有极大值，应采用按通道量化；而Value缓存无此模式，应采用按令牌量化。KIVI采用分组策略，将KV缓存分为分组部分（量化存储）和残差部分（全精度存储），在解码时通过分块矩阵乘法结合。实验表明，KIVI可将Llama、Falcon和Mistral等模型的KV缓存压缩至2位，减少2.6倍峰值内存使用，支持最多4倍的批处理大小增加，带来2.35-3.47倍的吞吐量提升，同时在多种生成任务上保持接近全精度的性能。
importtorchimporttorch.nnasnnimporttorch<在当今快速迭代的软件开发环境中，测试报告不仅是质量保证的核心输出，更是团队沟通的桥梁。作为软件测试从业者，我们常面临手动生成报告耗时、易错的问题。标题“我把测试报告生成PDF，自动发给PM和CTO”直指痛点：如何通…
李华
在微服务架构中，全链路监控是保障服务稳定性的核心能力，缺乏监控会导致故障定位滞后、性能瓶颈无法感知、线上问题排查困难。Spring Boot Actuator 提供服务自身指标暴露能力，结合 Prometheus 指标采集与 Grafana 可视化，可构建 “…
李华
适用场景：Docker 集成 / WebUI 对接 / 内网统一端口 / 端口冲突解决 关键词：Ollama 端口修改、OLLAMA_HOST、systemd override、Linux 服务配置 系统环境：Ubuntu / Debian / CentOS 等 systemd 系统 Ollama 版本：v0.1.x 及以上&am…
李华
软件获取地址 重复文件清理软件 很多人都会遇到电脑越用越卡，一查看原来是硬盘空间已经严重告急了。 为了彻底解决这个问题，我试用了多款文件清理工具，但很多针对重复文件内容的清理功能都很简陋。而最近想要给硬盘大瘦身，终于找…
！重复图片搜索 / 释放硬盘空间)
李华
微笑服务，终于可以被“量化”了你有没有注意过一个细节—— 在高速公路收费亭里，收费员是否微笑，往往决定了司机对整个收费站的第一印象。但问题来了：“微笑服务”这么主观的东西，真的能被考核吗？过去靠抽查…
李华
Canvas触摸事件是移动端交互开发的核心技术之一，它让用户在触摸屏上直接操作Canvas元素成为可能。与传统的鼠标事件相比，触摸事件更贴近自然交互方式，但实现上也带来了一些独特的挑战和注意事项。掌握好Canvas触摸事件处理，能显著…
李华