news 2026/4/23 17:35:01

前期工作总结

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
前期工作总结

任务:各自把前期工作总结,包括主要使用的模型或技术介绍,附上博客链接。

1. BERT模型的改进

使用模型为bge-large模型替换bert。

bge模型(M3)以及BGE模型使用的预训练方法RetroMAE的具体技术介绍见:《M3-Embedding》汇报-CSDN博客

将BERT模型替换为BGE模型之后,由另一位同学在此基础上加入rerank模型进行重排序。

之后将large+rerank模型与有数据库版本的心法系统进行整合。

测试主要包含以下的不足:

  1. rerank模型会出现多线程错误:由于模型比较大,计算速度很慢,当带搜索框输入一条问题,并删除,再接着输入问题时,会因为前端快速连续搜索导致多个请求同时到达,导致多线程并发问题。但是只要删掉问题,等过一会模型就会自动恢复。(但是测试的结果展示,rerank加入确实有助于问答对的匹配)
  2. 关于速度的问题:模型加载缓慢,代码运行启动时,可能需要半小时。搜索框搜索稳定时,可以需要5分钟时间。
  3. 关于代码部分:进行整合的过程中发现,其实代码里面有一些逻辑问题。比如关于阈值问题,由于rerank模型控制输出5条结果,那么阈值的作用就显得没那么重要了,那么就需要考虑删除的问题。还有一些比较细节的问题,但是由于时间和测试比较麻烦(因为启动时间很长)的原因,没有进行一一排除。但是总体来说,代码是可以跑通的。

2. 标签预测

目前暂时使用利于语义来匹配标签预测:将新添加的问答对进行一个相似度计算,计算出最相似的问答对,将最相似的问答对的标签赋给新进来的问答对。

具体使用的逻辑如下:

  1. 计算问题与知识库中所有问题的相似度,取最相似的5个问题。
  2. 统计这5个问题中每个一级标签的权重(权重为所有属于该一级标签的问题的相似度之和)。
  3. 选择权重最高的一级标签。
  4. 然后,针对该一级标签,统计这5个问题中属于该一级标签的问题的二级标签,每个二级标签的权重为包含它的问题的相似度之和。
  5. 选择权重最高的1-3个二级标签(如果不足3个,则全部选择;如果超过3个,选前3个)。

利用上面逻辑来保证一级标签和二级标签的从属关系。

上面方法的不足如下:

  1. 如果数据集中没有与新问题相似的问题,那么预测可能不准确。

  2. 如果数据集中存在错误标签,也会影响预测结果。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/23 11:31:34

Ubuntu下Qt/C++程序终止全攻略

在Ubuntu系统中,结合Qt和C开发的应用程序可通过以下多种方式安全或强制终止,具体可分为系统级、Qt框架、C标准及线程管理四大类:系统级方法终端命令kill/pkill/killall:通过进程ID或名称发送信号(如SIGTERM正常终止&am…

作者头像 李华
网站建设 2026/4/23 11:31:27

Linux信号处理:SIGTERM的底层机制与应用控制

1.Linux信号处理:SIGTERM的底层机制与应用控制在Linux/Unix系统中,捕获SIGTERM信号的行为是由应用程序自主实现的,操作系统仅提供信号传递的底层机制和默认处理逻辑。以下是技术层面的详细解析:1. 操作系统内核的职责信号传递机制…

作者头像 李华
网站建设 2026/4/23 11:31:41

QCoreApplication::applicationDirPath: Please instantiate the QApplication object first

这个错误的核心原因在于QCoreApplication::applicationDirPath()函数必须在QApplication(或QCoreApplication)实例化之后才能调用。以下是详细分析和解决方案:错误原因分析Qt应用初始化顺序要求Qt框架规定:任何涉及应用程序上下文…

作者头像 李华
网站建设 2026/4/23 11:40:55

12bit 100MHz pipelined SAR ADC模数转换器 设计 65nm工艺,电...

12bit 100MHz pipelined SAR ADC模数转换器 设计 65nm工艺,电源电压1.2V,ENOB11.6 有详细教程原理文档 有工艺库,直接导入自己的cadence [绿圆]结构: 栅压自举开关 CDAC 两级动态比较器 第一级6位SAR ADC 余量放大器 第二级8位SAR ADC 同步和异步SAR l…

作者头像 李华
网站建设 2026/4/23 11:40:17

Emotn TV桌面修改版:三版本满足不同需求,优化时间天气显示与系统性能

Emotn TV桌面作为一款备受用户喜爱的电视桌面应用,经过技术爱好者的优化修改,目前形成了三个各具特色的版本,满足不同用户群体的使用需求。这些修改版在保持原版稳定性的基础上,针对界面显示和系统性能进行了专项优化。 获取地址…

作者头像 李华