5月30日消息,华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE ,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上 ,华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代 。
你可能想看:
AI早报 | 小米辅助驾驶再迎大将;华为昇腾AI计算平台训练出准万亿MoE模型|界面新闻 · 科技
中科创达:云手机技术已经整合到公司端侧智能计算平台,赋能AI手机、AI PC等领域|界面新闻 · 快讯
华为发布AI-Centric 5.5G系列解决方案|界面新闻 · 快讯
集成DeepSeek和通义千问主力模型,飞猪“AI行程助手”明日上线|界面新闻 · 快讯
搜狐订阅:24小时吃瓜黑料-黑料吃瓜网曝门黑料社-道和通泰与华为联合研发推广AI机器人业务|界面新闻 · 快讯
宝马宣布2026年国产新车将搭载AI模型|界面新闻 · 快讯
还没有评论,来说两句吧...