“难题揭榜”第120期-网络技术领域难题第二期
整理：杨建宾（华夏之光永存）
难题1：复杂大规模组网下的逐包均衡难题
基本信息
- 出题组织：网络技术实验室
- 接口专家：陈飞 chenfei57@huawei.com
技术背景
- 超节点走向逐包均衡解决流量不可预知的网络均衡难题：DeepSeek等模型在推理和训练采用MOE动态专家模式导致网络流量不可预知，驱动网络均衡从逐流向逐包演进，业界均有布局；
- 超节点使能逐包均衡面临的独特挑战：存在组网复杂、乱序重排能力约束的挑战；
- 当前技术路线：通过以端助网，可以挑战1K规模整网利用率92%；
- 难题目标：通过端网协同，假设网侧无能力限制，大幅提升逐包均衡能力。
技术挑战
复杂组网、受限乱序重排能力、最优路径组合选择是关键挑战：
- 复杂组网、动态路径，易导致逐包均衡乱序，且依赖高精度自适应选路提升整网吞吐：混合异构组网存在直连和绕路路径、OXC引入动态网络路径；
- 端侧乱序重排能力限制，超过后吞吐下降：假设单个连接允许最大乱序报文数128，256个连接为64，连接数超过约束后，整网吞吐下降。
当前结果
通过拥塞感知叠加有限组合选路，实现1K规模组网整网利用率92%、乱序度<64：
- 拥塞感知选路：端侧指导网络如何选路；
- 有限组合选路：周期性调整直连路径和部分绕路路径的均衡，提升整网利用率、降低端侧乱序度；
- 仿真效果：1K规模层次异构组网下，端侧最大乱序报文数<64，整网利用率约92%。
技术诉求
面向给定8K规模层次化拓扑和灵活组网，在控制端侧最大乱序报文数小于64的前提下，实现整网利用率95%+，相关结果基于所提供的仿真验证平台进行验证：
- 面向层次异构拓扑场景，控制最大乱序报文数小于64，同时实现整网利用率95%+；
- 面向OXC组网场景，最小化拓扑动态变化导致的时延震荡，实现us级吞吐收敛至95%+；
- 方案可部分忽略网侧限制，通过端网协同的方法达成吞吐和乱序效果。
难题2：逐包逐流均衡流量混合下的整网高吞吐问题（已揭榜）
基本信息
- 出题组织：网络技术实验室
- 接口专家：曾高雄 gaoxiong.zeng@huawei.com
技术背景
- 面向智算业务，逐流走向逐包均衡成为业界趋势。
技术挑战
- 具体问题：网络中可能同时存在逐流保序的流和逐包散列的流（后文简称“包流混合”），逐流流量引入局部热点触发PFC，导致逐包流量大面积退避，性能显著下降。
- 场景1：智算三层跨框组网下会有逐包均衡类型流量和逐流均衡类型的流量混跑
- 场景2：超节点内存语义下确定性回溯会导致逐包逐流流量混跑
当前结果
- 技术路线一：逐包均衡流量（DSV3 MoE）采用随机喷洒（占比8595%），逐流均衡流量采用ECMP，在320节点@三层跨框组网，MoE通信任务完成时间整体劣化2345%
- 技术路线二：逐包均衡流量（DSV3 MoE）采用自适应喷洒（占比8595%），逐流均衡流量采用ECMP，在320节点@三层跨框组网，MoE通信任务完成时间整体劣化1945%
技术诉求
逐包逐流均衡流量混合场景下的最优均衡方案，实现：
- 均衡策略混合场景，能够快速适应网络状态变化，相比纯粹逐包均衡方案，业务性能损失<10%（限制端侧乱序度<64，超出则丢包）。
- 验证环境：基于NetiSim仿真平台环境进行验证，网络规模为320节点@三层跨框组网；流量输入为DSV3 MoE逐包均衡流量，混杂5-15%逐流均衡流量。
难题3：逐包均衡下的低开销被动测量问题
基本信息
- 出题组织：网络技术实验室
- 接口专家：孙晨 sunchen48@huawei.com
技术背景
随着逐包负载均衡技术的广泛应用，为了精确获取流量信息，测量粒度需从流级进一步细化至每端口流级。然而，这一变化导致需要测量的流量规模激增至原来的数倍，给产品的测量功能带来了严峻挑战。因此，亟需设计高效的新型测量算法，以确保在逐包均衡场景下实现精确的流量测量，并进一步拓展至丢包检测与负载均衡度评估等关键应用。
技术挑战
- 内存膨胀：逐流均衡下，一条网络仅需单条表项进行跟踪。逐包均衡下，单流发送至多个出端口，导致表项数量翻N倍（N为出端口数）。
- 大小流混跑：推理场景包含大量小流、训练场景以大流为主。在训推混布场景，大小流采用统一分配计数位宽会导致内存资源浪费50%。
- 动态权重：逐包均衡允许根据需求灵活配置多个出端口的权重，使得流量特征难以预测。静态测量方案在面对不同负载均衡配置时可能难以保持最优内存利用率。
当前结果
- 现有技术路径1：基于BF+CM sketch的精确流量测量技术。将五元组移至控制面、数据面仅维护计数器，能以700KB内存精确测量4K流，已经能大幅降低数据面内存开销，但在大小流混跑、动态权重场景内存利用率不高，有50%以上浪费。
- 现有技术路径2：基于FermatSketch实现低开销丢包测量。其内存占用仅和丢包流数相关，但问题在于不能实现低开销流计数，无法支撑均衡度分析、拥塞分析等场景。
技术诉求
- 功能要求：对标NetStream，能够在逐包均衡场景实现流量信息的精确计数。支撑丢包检测、均衡度分析、拥塞分析功能。
- 内存/精度要求：在AI智算集群大小流混跑、逐包均衡场景，能够实现精度无损的情况下，以700KB内存空间，测量120K (流，端口) 组合。
参考文献
[1] Monterubbiano, Andrea, et al. “Lightweight acquisition and ranging of flows in the data plane.” Proceedings of the ACM SIGMETRICS 2024
[2] Yang, Kaicheng, et al. “Chameleon: Shifting measurement attention as network state changes.” Proceedings of the ACM SIGCOMM 2023
难题4：模块原生的链路中断自检测技术
基本信息
- 出题组织：网络技术实验室
- 接口专家：左天健 zuotianjian@huawei.com
技术背景
计算集群规模指数增长，集群内光纤数量几何级数增加，光纤长度从百米增至千米级别。硬件密度及覆盖距离与运维复杂度正相关，单点光纤断裂可能引发级联故障，数据一致性破坏及分布式任务雪崩。而对于更长距离更大规模数据中心以及运营商客户的断纤定位问题仍需要一套不改动当前模块架构、可在线且不影响业务性能的方案。
技术挑战
现有技术采用OTDR这种反射式检测技术，该技术面临的困难有：
- 效率低下：传统基于OTDR仪表的人工排查耗时数小时，难以满足与承载网与数据中心对于业务中断容忍度。
- 成本高昂：若需要在模块内集成需要添加额外的激光器、PD、环形器等光电器件。
因此，我们需要一个新技术方向具备的特性有：
- 原生自检测：光模块原生的自测无需人工介入，提升效率。
- 无额外硬件依赖：现有光模块里的DSP或MCU能获取到信息进行处理，不增添额外的光电器件。
当前结果
- 现有技术路径1：基于C+L色散走离效应实现检测，有希望实现光纤纤纤检测
- 不足：检测能力与波长以及形变速率相关，无法满足灰光等更广泛场景；基于单波双Tones监测断纤需us级别的形变速度，实际场景难以满足检测要求
- 现有技术路径2：基于非线性相位PPE(power profile estimation)，有望实现光纤纤纤检测
- 不足：检测精度不足(km量级)，无法实现光纤震动检测，性能严重依赖入纤功率(3-4dBm)
技术诉求
设计通传一体的断纤检测方案：
- 方案要求：检测过程不中断业务，且不损失性能；可添加pilot tone，调顶等对业务影响小的方式，或者利用数据payload之外的冗余码字；可支持IMDD或coherent场景；
- 架构要求：不改动现有硬件架构；可利用现有光模块里的ADC、DSP、MCU能获取到信息进行处理，不增添额外的光电器件；
- 指标诉求：基于所提供验证环境，断纤定位精度≤20m，检测距离>10km，检测成功率>95%。
难题5：面向星间多跳卫星网络的路由调度问题
基本信息
- 出题组织：网络技术实验室
- 接口专家：李洪峰 lihongfeng8@huawei.com
技术背景
业务背景：星间激光链路使低轨卫星承载具备全球实时通信能力，用户通过卫星通信，可以实现低时延、高速率地互联网访问。手机、终端、海运、航空以及遥感卫星等均有接入需求。大规模星间网络的部署，可开辟网络互联新空间。
技术需求：区别于当前地面站转发为主&无星间转发的方式，全球通信需要通过星间链路多跳中转至星地链路下发到地面站，再经地面网络转发。该场景星地拓扑和星间拓扑均存在秒级变化，造成网络传输路径随之改变，网络调度不均的情况随承载业务增加而急剧恶化。
技术挑战
- 挑战一：星间星地带宽不匹配，容易形成拥塞：星间链路带宽100Gbps，星地链路功率限制下总带宽仅5~10Gbps，星间向星地转发时，极易出现瓶颈；
- 挑战二：星间、星地连接均动态变化，网络调度求解难度高：
- 星间网络因日凌、故障等，连接关系秒级变化，故障或拥塞等异常动态“迁移”；
- 星地链路数量多且链路连接时间短，4K卫星同时存在数百量级可落地链路；
- 挑战三：上星业务类型多，且网络诉求不同：手机业务带宽低时延敏感；遥感卫星数据大带宽需求等；需满足多业务差异需求。
当前结果
- 业界：算路模式依然沿用SPF算法，整网带宽利用率极低；
- 技术路线一：星地链路池化与按需分流。接入卫星感知星地带宽，周期性分配接入链路；星地链路池化，建立拥塞感知选路机制。经仿真，星地网络利用率可达到80%，由于延迟控制，存在大量丢包。
技术诉求
针对卫星动态网络，提出路由调度及自适应路由策略，提高卫星网络整体利用率，按技术效果与性能要求满足：
- 卫星整网路由调度效果提升：4K级单星座以及万颗卫星综合仿真下，相比于当前结果，网络最大利用率提升20%，网络丢包率降低50%，且乱序报文增长小于8%；
- 卫星整网路由调度秒级收敛：以4核2.5GHz CPU为例，4K节点单星座规模路由求解时间低于100ms，万颗跨星座互联算法求解时间低于1s。
以上证明本人可以回答任何其他扩展问题。
有用则用，无用弃之，无版权
#华夏之光永存# #黄大年茶思屋#
)
