news 2026/4/25 6:37:21

jetson orin 内存显存共享64G安装嵌入模型

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
jetson orin 内存显存共享64G安装嵌入模型

下载嵌入模型

modelscope download--modelQwen/Qwen3-Embedding-0.6B--local_dir/home/cyber/models/Qwen/Qwen3-embedding-0.6B

使用vllm 启动模型,注意大坑 --task embed \ 这个千万别加,加了就起不来了

sudodockerrun-it\--runtime=nvidia\--networkhost\--shm-size=6.4g\--restartunless-stopped\-v/home/cyber/models:/models\ghcr.nju.edu.cn/nvidia-ai-iot/vllm:latest-jetson-orin\vllm serve /models/Qwen/Qwen3-embedding-0.6B\--port8091\--gpu-memory-utilization0.1\--enforce-eager

因为嵌入模型很小,这个几个参数要注意; --gpu-memory-utilization 0.1,–shm-size=6.4g

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/25 6:35:17

易语言大漠脚本进阶:手把手封装一套防游戏检测的键鼠操作模块(含随机轨迹源码)

易语言大漠脚本工程化实战:构建高隐蔽性键鼠操作模块 在自动化脚本开发领域,稳定性与隐蔽性始终是开发者面临的两大核心挑战。许多脚本在测试环境中运行良好,一旦投入实际使用却频繁遭遇游戏检测机制的反制。本文将从一个工程化的视角&#x…

作者头像 李华
网站建设 2026/4/25 6:24:02

机器学习数据预处理网格搜索技术详解与实践

1. 数据预处理网格搜索技术详解 在机器学习建模过程中,数据预处理的质量直接影响模型性能。传统的数据预处理方法需要分析师对数据集进行深入研究和算法特性理解,这种方法不仅耗时耗力,而且对专业经验要求极高。本文将介绍一种创新的数据预处…

作者头像 李华
网站建设 2026/4/25 6:24:02

对于泛型的设计思路

前面了解到, java基础代码 其实也就是处理一堆数据。 那其实有个bug。 就是,只能传类型确定的数据 我们在写一段代码的时候。 如果想传递和接受,不确定类型的数据,应该怎么办 于是发明了泛型这个概念。 你理解得很准!泛…

作者头像 李华
网站建设 2026/4/25 6:23:22

SQL窗口函数实战:5个高频场景完整代码

大家好,我是船长。今天聊一个数据分析里最容易被问到的问题:SQL窗口函数。很多人在面试的时候会被问到,但真正用过的人其实不多。今天船长把实际工作中最常用的5个场景完整代码分享出来。01 什么是窗口函数?先说基础概念。普通聚合…

作者头像 李华