DeepSeek创新mHC架构，破解大规模模型训练难题

新年之际，DeepSeek发布了一篇聚焦于神经网络架构创新的核心论文，梁文锋以通讯作者身份署名。论文提出了流形约束超连接（manifold-constrained HyperConnection, mHC）架构，旨在解决大规模模型训练中的稳定性问题。

这一成果为中国AI企业在硬件受限的条件下开辟了一条兼顾性能与效率的道路，并与字节跳动在残差流优化方面的早期探索形成了关键呼应，两者均致力于改造模型的基础架构——残差连接。

DeepSeek的研究正是对字节跳动“超连接”技术短板的系统性补位。这一成果不仅为大模型底层架构的工业化落地提供了新的解决方案，还再次验证了硬件约束可转化为创新动力的产业演进逻辑。

自2016年ResNet提出以来，残差连接已成为深度学习的骨干设计。它通过“捷径连接”绕过层层非线性变换，从根本上缓解了梯度消失或爆炸的问题，支撑起越来越深的模型结构。

长期以来，业界的创新多集中于注意力机制、MoE（混合专家）等模块，而残差流本身则处于一种“静默的稳定”状态，直至2024年字节跳动以超连接（HyperConnection）技术打破了这一局面。

字节跳动的超连接技术通过拓宽残差流宽度、构建多路并行信号流，并让模型学习流间的交互模式，显著提升了模型的表达能力。然而，该技术在规模化训练中暴露出信号发散的致命短板。

DeepSeek的测试显示，在270亿参数模型的训练中，约12000步后梯度范数剧烈波动，训练崩溃；更严重的是，信号强度在第60层膨胀至输入值的3000倍。问题的核心在于，超连接为了追求表达力，放弃了残差连接原有的恒等映射约束——在小规模下尚可通过调参掩盖，但在大规模训练中，这一缺陷被急剧放大。

mHC的核心创新在于将可学习的变换矩阵约束在双重随机矩阵（doubly stochastic matrix）构成的流形上。这相当于为信号传播设立了“刚性预算”：矩阵每行、每列元素之和均为1且非负，确保输出信号强度严格介于输入信号的最大最小值之间，从而杜绝信号爆炸。

更关键的是，双重随机矩阵具有组合不变性——多层叠加后仍保持稳定。实验表明，在超连接出现3000倍信号放大的同一场景中，mHC的信号放大峰值仅为1.6倍。为控制计算开销，DeepSeek采用Sinkhorn-Knopp迭代进行投影，仅需20轮迭代即可收敛，额外训练成本被压制在6.7%。

硬件约束不仅倒逼了算法创新，更是全链路的系统级优化。超连接拓宽残差流后，每层数据读写量倍增，在A800/A100的有限互联带宽下，芯片极易陷入“等待数据远多于计算”的效率陷阱。DeepSeek通过三项关键技术破局：

1.算子融合：将内存访问模式相近的操作合并为单一GPU内核，减少数据搬运；

2.反向传播重计算：不存储中间激活值，改为实时重算，以计算换内存；

3.流水线并行优化：重叠跨GPU通信与本地计算，用计算掩盖通信延迟。

这些优化将原本随层数线性增长的内存开销，转化为可由模块大小控制的有界开销。配合基于TileLang编写的混合精度内核（bfloat16为主，float32保关键精度），实现了全参数规模下的稳定性能提升。测试中，30亿至270亿参数模型搭载mHC后均表现优异，270亿模型在BIG-Bench Hard复杂推理任务上提升2.1%，在DROP阅读理解任务上提升2.3%。

此前，V3架构论文对应V3模型，R1推理论文对应R1模型；本次mHC论文在2026年春节前三周发布，外界普遍预期下一代旗舰模型（R2）即将亮相。

这种“论文先行”的策略既通过同行评议建立技术公信力，又在复杂地缘环境中为原创性留下时间戳，更向全球传递一个明确信息：中国AI企业的核心竞争力并非依赖尖端算力芯片。

DeepSeek选择通过arXiv、Hugging Face等开放平台而非传统期刊发布成果。虽牺牲部分学术声望，却换来了技术传播的速度与可达性。这种开放模式加速了知识扩散，也对同行构成直接竞争压力：当mHC的性能增益可量化、实现可复现时，西方实验室要么跟进类似技术，要么必须论证自身路径的优越性。

此前R1型已触发推理模型研发热潮，mHC架构很可能推动残差流优化进入新一轮迭代。更重要的是，这一模式向技术管制者传递了清晰信号：硬件限制并未扼杀创新，反而迫使中国AI企业走向“从数学根源解决问题”的最本质路径。

字节跳动与DeepSeek先后踏入同一条“突破传统残差流”的创新之路。前者率先探路却止步于规模化瓶颈；后者在硬件约束的倒逼下凭借数学约束与系统级优化架起了一座可通航的技术之桥。

距离2026年春节仅剩六周R2模型的发布将检验mHC架构的工业化成色。无论最终基准测试结果如何这条“在约束中创新”的路径已具备里程碑意义——它清晰证明AI竞赛不只有“烧钱堆算力”这一条赛道。硬件限制从不是创新的绊脚石而是催生真正核心突破的催化剂

本文基于公开资料撰写仅作为信息交流之用不构成任何投资建议