鲲鹏超节点通过灵衢互联,打破传统的服务器边界,实现以数据为中心的全互联架构,为AI infra而生,具备大带宽、低时延、统一编址、内存语义、内存借用、内存共享、对等互联等关键能力,灵衢软件全面开源开放,让系统创新触手可及。
特性介绍
从当前的业务场景的发展来看,一方面,当前场景传统业务有AI改造需求:传统业务进行渐进式AI改造时,资源弹性以及超大虚机部署、数据处理等需求激增,系统架构承压。另一方面,新兴AI场景面临新挑战:人工智能技术快速发展,系统架构、诉求、问题随之演变,资源灵活组合,数据呈现爆炸式增长。
当前传统方案存在硬件瓶颈:CPU主频提升受限,核数扩展遇到物理极限;跨层协同困难:系统各层级(芯片、总线、内存、软件栈)之间的协同效率低下。因此亟需依托创新的总线技术,构建全互联体系架构,来打破CPU性能瓶颈,突破传统服务器的资源边界,实现资源池化、对等访问、按需分配。
鲲鹏超节点,从硬件系统层面来看,采用分布式紧耦合的架构,节点同构,可复用现有服务器架构,保持规模化部署能力。从软件层面来看,具备大带宽低时延,统一编址,内存语义,内存借用,内存共享等关键能力,可实现AI Agent百亿千维向量检索提升20%,AI Agent 亚秒级冷启动;在搜推内存语义场景下,RPC时延下降50%,内存池带宽4倍提升,KVC/Emb时延下降60%;为大数据、数据库、虚拟化等传统业务,提供全新创新解决方案。
优势分析
五大基础能力,打破传统资源边界:
灵衢低延时:百ns级vs 传统以太10倍↓
灵衢大带宽:单节点TB级互联vs 传统组网10倍↑
内存语义:远程内存直接存取,LD/ST 替代网络语义
内存借用:跨设备借用内存,错峰借用减少资源碎片化
内存共享:多设备共享内存,减少跨节点副本读写
对等互联:DPU、网卡、SSD等设备通过灵衢互联协议对等接入,支持部件之间直接互访或池化共享
基于超节点关键能力,结合应用场景创新:
AI Agent:长链条推理和长期记忆带来存储及访存挑战,Agent多任务多副本带来快速上下文切换与频繁镜像拉取开销。鲲鹏超节点可实现百亿千维向量检索提升20%、AI Agent 秒级千并发,千实例高密部署。
搜推广:RPC通信,基于灵衢内存语义通信等技术,通过Socket over UB透明加速替代传统TCP,时延降低40%;KVCache缓存,基于UB构建分级池化存储,分层解耦实现分布式缓存。
数据库:共享内存服务支持多主架构,提升写扩展能力,线性度大于0.8;OLTP场景扩展数据库缓冲池,构建多级页面缓存,冷热数据亲和,TPC-C性能提升20%;OLAP场景基于全局池化及共享内存服务,加速SQL算子执行效率,TPC-H性能提升60%。基于内存池实现内存弹性扩缩,内存数据库实例单机实现120%超卖。
虚拟化:资源弹性分配,全局内存池使分配率提升至95%;基于UB通信,实现50ms虚机极速热迁;透明内存冷热分级,性能损失≤5%,提升内存利用率;支持3TB+超大内存云主机,满足内存密集型服务需求。
极速交易:极速交易场景透明加速,通过Socket over UB透明加速替代传统TCP,通信时延相比业界最优下降一倍(1200ns→600ns);极速镜像通道,基于共享内存,实现亚us级镜像通道,提供高可用内存池,节点故障内存数据不丢失,镜像时延下降30%。
大数据:资源超分,结合池化算子优化,提升资源利用率,Spark批处理任务执行时长缩短30%; 基于UB通信和网络IO特征,深度优化Spark shuffle性能,TPC-DS标准测试集性能提升10%。
上手教程
灵衢软件开源开放,开发者基于鲲鹏超节点AI创新触手可及,软件生态开源开放,实现开箱即用,开箱即优。
硬件层面:灵衢互联协议社区开放;系列化芯片、部件、整机支持灵衢互联协议,提供底层硬件生态。
软件层面:开放分层API开放,共建开源工具生态,提供场景解决方案参考实现、UnifiedBus SIG以及UB Service Core SIG
社区支持:支持主流社区能力获取,bRPC,mooncake等社区支持,提供原生开发工具(DevKit)
操作系统灵衢组件:
灵衢系统高阶服务:
从系统部署流程来看,通过硬件集成、操作系统以及灵衢管理软件的部署、系统高阶服务部署,即可使能UB集群能力,确保高性能、高易用。
结语
通过灵衢互联打破传统的服务器边界,实现以数据为中心的全互联架构;让多个计算节点通过高速总线互联,跨节点快速实时访问整个超节点内的所有计算资源,甚至通过软件定义的方式,定义逻辑计算节点支持不同层级应用的创新。未来,鲲鹏超节点会继续探索对等互联架构演进,从内存共享到异构算力多元化,并面向AI时代进行持续技术升级。
欢迎大家在灵衢社区、鲲鹏社区参与并体验鲲鹏超节点的特性,欢迎开发者贡献与共建!