IT之家 2 月 4 日音讯尊龙体育网，据“华为计较”当天音讯，跟着谎言语模子迅猛发展，参数目已迈入千亿以致万亿级别，MoE（IT之家注：搀杂众人）寥落架构凭借兼顾模子容量与计较遵循的上风，成为 AI 范畴中枢研讨标的。

在此布景下，南京大学李猛博士团队，依托南京大学鲲鹏昇腾科教改进孵化中心的算力支执，基于华为昇腾，开展众人等价性动手的 MoE 无损显存高效优化研讨，告捷攻克系列时代瓶颈，兑现显存破费镌汰 50% 以上、推理蔓延显耀擢升的要紧龙套。

名堂聚焦 MoE 模子部署的核肉痛点：大参数目模子部署时，高显存占用导致仅能驻留少许热众人，无数参数需时时在内存与显存间切换，激发严重推理蔓延；同期，自主化硬件适配需求日益伏击。

团队基于对 MoE 众人冗余性与等价性的改进不雅察，建议软硬件协同优化决策，通过四项中枢时代构建异构推理搀杂部署框架，兑现全链路遵循擢升。

依托昇腾的硬件特点与 CANN 软件栈，团队针对性研发异构推理加快引擎 MoE-Ascend，涵盖动态众人路由责罚、众人估量预取、算子适配等中枢功能模块，兑现昇腾平台的深度适配与优化。

该引擎可支执昇腾等多硬件环境，在保执模子精度无损的前提下，不仅将显存破费降至原决策的一半，推理速率也较同类次第擢升 2 倍以上，擢升显存缓存射中率到 70% 以上，破解 MoE 模子对海外高端硬件的依赖。

该名堂构建的推理优化用具链规画开源至昇腾社区、DeepModeling 社区及 GitHub，供科研与工程设立者复用彭胀。

将来，名堂恶果将运用于 AI 推理平台、智能客服、语音生成等多个场景，尤其适配昇腾等自主 NPU 部署环境尊龙体育网，为边际侧智能干事提供支执。

　　声明：新浪网独家稿件，未经授权不容转载。 -->