立知-lychee-rerank-mm部署教程：支持公网共享（lychee share）配置-深圳市維司達科技有限公司

立知-lychee-rerank-mm部署教程：支持公网共享（lychee share）配置

你是不是经常遇到这样的问题：在搜索引擎里找资料，结果一大堆，但真正有用的却排在了后面？或者，你的智能客服系统，明明有正确答案，却因为排序不准，给了用户一个不相关的回复？

今天要介绍的，就是一个能帮你解决这个“找得到但排不准”问题的轻量级神器——立知-lychee-rerank-mm。它是一个多模态重排序模型，简单来说，就是给你的搜索结果、推荐列表、候选答案“打分”和“重新排队”，把最相关、最靠谱的内容排到最前面。

更棒的是，它不仅支持本地使用，还能一键生成公网链接，方便团队共享。这篇教程，我就手把手带你从零开始，完成部署、配置公网共享，并掌握它的核心用法。

1. 它能做什么？先看几个场景

在动手之前，我们先搞清楚它能解决哪些实际问题。这能帮你判断它是不是你需要的工具。

1.1 核心能力：给内容“打分”和“排序”

想象一下，你问“猫咪玩球”，系统找到了10张图片和描述。lychee-rerank-mm的工作，就是给这10个结果打分（比如0到1分），然后按分数从高到低排序。得分最高的，就是它认为最符合“猫咪玩球”这个查询的。

它的独特之处在于“多模态”：

纯文本：能判断两段文字是否相关。
纯图片：能判断一张图片和一段文字描述是否匹配。
图文混合：能处理既有文字又有图片的复杂内容。

1.2 典型应用场景

搜索引擎优化：让你的站内搜索或知识库搜索，返回的结果更精准。
智能客服/问答系统：从知识库中一堆可能的答案里，挑出最可能解决用户当前问题的那一个。
内容推荐系统：根据用户的历史兴趣（文本或图片），推荐最相关的文章、视频或商品。
跨模态检索：用文字搜图片，或者用图片找相似的文字描述。

2. 三步快速部署与启动

部署过程非常简单，几乎是一键式的。请确保你的环境已经安装了Docker。

2.1 第1步：拉取并启动镜像

打开你的终端（命令行工具），输入以下命令。这个命令会从镜像仓库拉取lychee-rerank-mm的Docker镜像并启动它。

lychee load

执行后，终端会开始下载镜像（首次运行）并启动服务。这个过程通常需要10到30秒，请耐心等待。当你看到类似下面的输出时，就表示启动成功了：

Running on local URL: http://0.0.0.0:7860

2.2 第2步：访问Web界面

启动成功后，在你的电脑浏览器地址栏输入：

http://localhost:7860

如果一切正常，你将看到一个简洁的Web操作界面。这意味着你的lychee-rerank-mm服务已经在本地正常运行起来了。

2.3 第3步：核心功能初体验

界面主要分为三个区域：

Query（查询）：输入你的问题或搜索词。
Document（文档）：输入你想要评分的文本，或上传图片。
操作按钮：点击“开始评分”或“批量重排序”来获取结果。

我们来做个最简单的测试：

在Query框输入：中国的首都是哪里？
在Document框输入：北京是中华人民共和国的首都。
点击开始评分。

稍等片刻，你会看到系统返回一个得分，通常在0.95以上（满分可视为1），这表示系统认为这个文档与查询高度相关。

恭喜你，基础部署和测试已经完成！接下来，我们让它变得更强大。

3. 配置公网共享（lychee share）

只能在本地访问显然不够方便，比如你想让同事测试，或者集成到其他远程服务中。这时就需要用到lychee share功能。

3.1 生成公网访问链接

在终端中，确保服务正在运行（即你之前用lychee load启动的服务未停止），然后新开一个终端窗口，输入：

lychee share

这个命令会创建一个安全的、临时的公网链接。执行后，你会看到类似下面的输出：

Public URL: https://xxxxxx.gradio.live

这个https://xxxxxx.gradio.live就是你的公网访问地址。你可以把这个链接发给任何人，他们就能在他们的浏览器里访问你本地的lychee-rerank-mm服务了。

3.2 公网共享的重要说明

临时性：默认生成的链接通常在72小时内有效。适合临时演示、测试和团队协作。
安全性：该链接是随机生成的，具有一定安全性，但请勿处理高度敏感的数据。
带宽依赖：访问速度取决于你本地的上行网速。如果处理大量图片，速度可能会受影响。
服务保持：共享期间，你本地的lychee load服务必须一直保持运行。关闭终端或服务，公网链接将失效。

4. 功能详解与实战技巧

现在服务已经就绪，我们来深入了解一下它的各项功能怎么用。

4.1 单文档评分：判断相关性

这是最基础的功能，用于判断一个文档与查询的相关性。

操作步骤：

Query框：输入你的问题，例如如何学习Python编程？
Document框：输入待评估的文档内容，可以是一段文字，也可以点击上传按钮传一张图片。例如，输入Python是一种流行的编程语言，适合初学者，拥有丰富的库。
点击：开始评分
查看结果：系统会返回一个0-1之间的分数。

结果解读：

得分 > 0.7：高度相关，可以直接采用。
得分 0.4 - 0.7：中等相关，可以作为参考或补充材料。
得分 < 0.4：低度相关，建议忽略或寻找其他资料。

4.2 批量重排序：给列表重新排队

这是核心功能，用于对多个候选文档进行排序。

操作步骤：

Query框：输入查询，例如人工智能的定义是什么？

Documents框：输入多个文档，每个文档之间用三个减号---进行分隔。

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 --- 今天天气晴朗，适合外出散步。 --- 机器学习是人工智能的一个分支，它使计算机能够在没有明确编程的情况下学习。 --- 我喜欢吃苹果和香蕉。

点击：批量重排序
查看结果：系统会按照与查询的相关性得分，从高到低重新排列这些文档，并显示每个文档的得分。显然，第一个和第三个文档会排在最前面。

4.3 多模态支持：图文混合处理

lychee-rerank-mm的强大之处在于能同时理解文字和图片。

处理类型	操作方法
文本-文本	Query和Document都输入文字即可。
文本-图片	Query输入文字，Document区域上传图片。
图片-文本	Query区域上传图片，Document输入文字。
混合内容	Document可以同时包含文字和上传的图片。

实战例子：图片搜索验证

Query：上传一张“柯基犬”的照片。
Document：输入文字描述“这是一种腿短、屁股圆润的宠物狗。”
点击评分：系统会给出一个高分，表示它识别出图片内容与文字描述匹配。

4.4 高级技巧：自定义指令（Instruction）

系统默认的指令是Given a query, retrieve relevant documents.（给定一个查询，检索相关文档）。你可以修改它来让模型更适应你的具体场景，从而获得更精准的排序结果。

修改方法：在Web界面的“Instruction”输入框中，填入你的自定义指令。

场景化指令推荐：

使用场景	推荐的自定义指令
搜索引擎	`Given a web search query, retrieve relevant passages.`
问答系统	`Judge whether the following document answers the question.`
商品推荐	`Given a user's interest, find the most relevant products.`
客服工单	`Given a customer's issue, retrieve the most likely solution.`

例如，如果你用它来过滤客服答案，把指令改成Judge whether the document answers the question.，模型会更侧重于判断“是否直接回答了问题”，而不仅仅是“是否相关”。

5. 常见问题与故障排查

遇到问题不要慌，这里有一些常见的解决方案。

Q：首次启动lychee load为什么比较慢？A：这是正常的。首次运行时需要从网络下载模型文件（大约几百MB），取决于你的网速，可能需要1-5分钟。之后启动就会快很多。
Q：支持中文吗？A：完全支持。中英文混合查询和文档都可以处理。
Q：批量处理时，一次能处理多少个文档？A：建议一次不要超过20个文档，否则可能会因为内存或计算资源不足导致速度变慢或失败。对于大量文档，建议分批处理。
Q：公网链接lychee share无法访问？A：请按顺序检查：1) 本地服务lychee load是否仍在运行；2) 你的电脑网络是否正常，且没有防火墙阻止；3) 尝试重新运行一次lychee share生成新链接。
Q：如何停止服务？A：在运行lychee load的终端窗口中，按下键盘组合键Ctrl + C，即可安全停止服务。
Q：如何查看运行日志？A：可以通过命令tail -f /root/lychee-rerank-mm/logs/webui.log实时查看日志，这对于排查错误非常有用。