openi启智社区提供大模型在线体验功能,可以根据自己的任务场景选择合适的模型和计算资源,创建模型在线体验任务,从而在线检验模型的反应效果。
网址:OpenI - 启智AI开源社区提供普惠算力!
有很多模型可以选 每个账户可以同时创建3个模型体验任务。
比如这次选择Meta-Llama-3.1-8B-Instruct
选NPU,任务名字:skywalk_llama31_8b
启动:
skywalk_llama31_8b | Meta-Llama-3.1-8B-Instruct | RUNNING | 2025-12-12 22:09:02 | 00:04:57 | NPU | 鹏城云脑Ⅱ | ASCEND910 |
在线体验停止删除 |
可以说效果还是挺不错的。
唯一的缺点就是不能用api来调用,而星河社区的模型部署是可以api调用的。
当然星河社区的主要以文心模型为主。
附:openi还可以使用调试模式来推理大模型
比如:OpenI - 启智AI开源社区提供普惠算力!
使用方式
2、在代码中通过c2net库方式获取模型。
from c2net.context import prepare #初始化导入数据集和预训练模型到容器内 c2net_context = prepare() #获取预训练模型路径 deepseek_r1_0528_qwen3_8b_path = c2net_context.pretrain_model_path+"/"+"DeepSeek-R1-0528-Qwen3-8B"