scaling law 持续见效,让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年,meta、google、微软这些巨头也从 2025
年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 ai 主战场的标配。」
7 月 3 日,摩尔线程在上海重磅宣布其 AI 旗舰产品夸娥(KUAE)智算集群解决方案实现重大升级,从当前的千卡级别大幅扩展至万卡规模。摩尔线程夸娥(KUAE)万卡智算集群,以全功能 GPU 为底座,旨在打造国内领先的、能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台,专为万亿参数级别的复杂大模型训练而设计。这一里程碑式的进展,树立了国产 GPU 技术的新标杆,有助于实现国产智算集群计算能力的全新跨越,将为我国人工智能领域技术与应用创新、科研攻坚和产业升级提供坚实可靠的关键基础设施。
此外,摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司(排名不分先后)分别就三个万卡集群项目进行了战略签约,多方聚力共同构建好用的国产 GPU 集群。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
摩尔线程创始人兼 CEO 张建中表示:“当前,我们正处在生成式人工智能的黄金时代,技术交织催动智能涌现,GPU 成为加速新技术浪潮来临的创新引擎。摩尔线程矢志投身于这一历史性的创造进程,致力于向全球提供加速计算的基础设施和一站式解决方案,为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。夸娥万卡智算集群作为摩尔线程全栈 AI 战略的一块重要拼图,可为各行各业数智化转型提供澎湃算力,不仅有力彰显了摩尔线程在技术创新和工程实践上的实力,更将成为推动 AI 产业发展的新起点。”
AI 主战场,万卡通用算力是标配
大模型自问世以来,关于其未来的走向和发展趋势亟待时间验证,但从当前来看,几种演进趋势值得关注,使得其对算力的核心需求也愈发明晰。
首先,Scaling Law 将持续奏效。Scaling Law 自 2025 年提出以来,已揭示了大模型发展背后的 “暴力美学”,即通过算力、算法、数据的深度融合与经验积累,实现模型性能的飞跃,这也成为业界公认的将持续影响未来大模型的发展趋势。Scaling Law 将持续奏效,需要单点规模够大并且通用的算力才能快速跟上技术演进。
其次,Transformer 架构不能实现大一统,和其他架构会持续演进并共存,形成多元化的技术生态。生成式 AI 的进化并非仅依赖于规模的简单膨胀,技术架构的革新同样至关重要。Transformer 架构虽然是当前主流,但新兴架构如 Mamba、RWKV 和 RetNet 等不断刷新计算效率,加快创新速度。随着技术迭代与演进,Transformer 架构并不能实现大一统,从稠密到稀疏模型,再到多模态模型的融合,技术的进步都展现了对更高性能计算资源的渴望。
与此同时,AI、3D 和 HPC 跨技术与跨领域融合不断加速,推动着空间智能、物理 AI 和 AI 4Science、世界模型等领域的边界拓展,使得大模型的训练和应用环境更加复杂多元,市场对于能够支持 AI+3D、AI + 物理*、AI + 科学计算等多元计算融合发展的通用加速计算平台的需求日益迫切。
多元趋势下,AI 模型训练的主战场,万卡已是标配。随着计算量不断攀升,大模型训练亟需超级工厂,即一个 “大且通用” 的加速计算平台,以缩短训练时间,实现模型能力的快速迭代。当前,国际科技巨头都在通过积极部署千卡乃至超万卡规模的计算集群,以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿,模型能力更加泛化,大模型对底层算力的诉求进一步升级,万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。
然而,构建万卡集群并非一万张 GPU 卡的简单堆叠,而是一项高度复杂的超级系统工程。它涉及到超大规模的组网互联、高效率的集群计算、长期稳定性和高可用性等诸多技术难题。这是难而正确的事情,摩尔线程希望能够建设一个规模超万卡、场景够通用的加速计算平台,并优先解决大模型训练的难题。
夸娥:国产万卡万 P 万亿大模型训练平台
夸娥(KUAE)是摩尔线程智算中心全栈解决方案,是以全功能 GPU 为底座,软硬一体化、完整的系统级算力解决方案,包括以夸娥计算集群为核心的基础设施、夸娥集群管理平台(KUAE Platform)以及夸娥大模型服务平台(KUAE ModelStudio),旨在以一体化交付的方式解决大规模 GPU 算力的建设和运营管理问题。
夸娥万卡智算解决方案具备多个核心特性:
超大算力,万卡万 P:在集群计算性能方面,全新一代夸娥智算集群实现单集群规模超万卡,浮点运算能力达到 10Exa-Flops,大幅提升单集群计算性能,能够为万亿参数级别大模型训练提供坚实算力基础。同时,在 GPU 显存和传输带宽方面,夸娥万卡集群达到 PB 级的超大显存总容量、每秒 PB 级的超高速卡间互联总带宽和每秒 PB 级超高速节点互联总带宽,实现算力、显存和带宽的系统性协同优化,全面提升集群计算性能。
超高稳定,月级长稳训练:稳定性是衡量超万卡集群性能的关键。在集群稳定性方面,摩尔线程夸娥万卡集群平均无故障运行时间超过 15 天,最长可实现大模型稳定训练 30 天以上,周均训练有效率目标最高可达 99% 以上,远超行业平均水平。这得益于摩尔线程自主研发的一系列可预测、可诊断的多级可靠机制,包括:软硬件故障的自动定位与诊断预测实现分钟级的故障定位,Checkpoint 多级存储机制实现内存秒级存储和训练任务分钟级恢复以及高容错高效能的万卡集群管理平台实现秒级纳管分配与作业调度。
极致优化,超高 MFU:MFU 是评估大模型训练效率的通用指标,可以直接反应端到端的集群训练效率。夸娥万卡集群在系统软件、框架、算法等层面一系列优化,有效计算效率(MFU)目标最高达 60%,可达到国际水平。其中,在系统软件层面,基于极致的计算和通讯效率优化等技术手段,大幅提升集群的执行效率和性能表现。在框架和算法层面,夸娥万卡集群支持多种自适应混合并行策略与高效显存优化等,可以根据应用负载选择并自动配置最优的并行策略,大幅提升训练效率和显存利用。同时,针对超长序列大模型,夸娥万卡集群通过 CP 并行、RingAttention 等优化技术,有效缩减计算时间和显存占用,大幅提升集群训练效率。
全能通用,生态友好:夸娥万卡集群是一个通用加速计算平台,计算能力为通用场景设计,可加速 LLM、MoE、多模态、Mamba 等不同架构、不同模态的大模型。同时,基于高效易用的 MUSA 编程语言、完整兼容 CUDA 能力和自动化迁移工具 Musify,加速新模型 “Day0” 级迁移,实现生态适配 “Instant On”,助力客户业务快速上线。
万众一芯,共建大模型应用生态
万卡集群的建设需要产业界的齐心协力,为实现大模型创新应用的快速落地,让国产算力 “为用而建”。发布会现场,摩尔线程携手中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司(排名不分先后),分别就青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目进行了战略签约。
借助摩尔线程先进的夸娥全栈智算解决方案,各方将携手共建强大的全国产智算平台,以加速产业数字化转型和高质量发展。夸娥万卡智算集群项目标志着国产 AI 算力基础设施的又一重大进展,将为各地的数字经济发展注入新活力。
摩尔线程与中国移动通信集团青海有限公司战略签约
摩尔线程与中国联通青海公司、北京德道信科集团战略签约
摩尔线程与中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司战略签约
发布会后,无问芯穹、清程极智、360、京东云、智平方等五家合作伙伴代表纷纷登台,分享了摩尔线程夸娥智算集群如何助力其在大模型训练、大模型推理、具身智能等不同场景和领域的创新,展现了夸娥智算集群在实际应用中的巨大潜力与广泛适用性。
# 青海
# 浮点
# 标配
# 北京
# 这一
# 互联
# 基础设施
# 股份有限公司
# 中国联通
# 显存
# 摩尔线程
# AIGC
# 自动化
# transformer
# 人工智能
# 算法
# 线程
# 堆
# 栈
# 架构
相关栏目:
【
Google疑问12 】
【
Facebook疑问10 】
【
网络优化91478 】
【
技术知识72672 】
【
云计算0 】
【
GEO优化84317 】
【
优选文章0 】
【
营销推广36048 】
【
网络运营41350 】
【
案例网站102563 】
【
AI智能45237 】
相关推荐:
lovemo网页版地址 lovemo官网手机登录
AI语音生成器终极指南:免费工具与逼真语音编辑
如何利用AI优化简历关键词?轻松通过ATS筛选系统
解读诗歌中的女性视角:Shelley Puhak 的作品解析
AI复古纱丽照片编辑:用Google Gemini轻松生成时尚照片
百度AI助手入口在哪 怎么找到聊天入口
Notta AI: 提升效率的智能会议纪要工具
Venggage AI Pitch Deck生成器:快速创建投资者演示文稿
ChatGPT助力Instagram Reels脚本创作:提升内容质量
Base44 AI应用构建器深度评测:Wix 8000万美元收购的秘密
千问如何切换回答风格_千问风格选择正式口语等【实操】
AI助手高效获取谷歌评论:提升本地商家曝光率的终极指南
百度输入法总是弹出ai 百度输入法ai自动弹出关闭
LeetCode算法:最长公共前缀问题全面解析
解锁 Gemini Gems 高级用法:打造专属 AI 专家助手
OpenAI DevDay 2025:开发者必知的七大AI进展
ChatGPT官网免费使用入口 ChatGPT在线版官方地址
国产开源模型Kimi K2 Thinking上线美应用,挑战美国科技巨头!
AI社交媒体自动化:n8n与HeyGen打造个性化内容引擎
Midjourney怎样加参数调细节_Midjourney参数调整技巧【指南】
AI客户服务的最新趋势:个性化与情感智能
生物医学图像分割:U-Net模型训练与应用详解
批改网ai检测工具怎么检测多语言作文_批改网ai检测工具多语言切换与检测支持【技巧】
AI电子书写作终极指南:ChatGPT和Canva实战教程
AI一键生成儿童绘本故事
定价3499炒到1.2万,豆包AI手机遭“封杀”,变革之路何去何从?
AI写作鱼怎么一键生成论文大纲_AI写作鱼大纲生成与逻辑梳理【技巧】
Codova AI:终极动态QR码生成器教程与功能详解
Mermaid Playground: AI驱动的图表秒速创建指南
Foocus:免费AI图像生成器终极指南及 OnlyFans 替代方案
AI视频播客制作终极指南:告别繁琐编辑,轻松发布!
11月电动两轮车线上销售排名出炉:九号份额达26.9%
EdrawMax AI:使用人工智能快速创建流程图和图表
揭秘:发电机咒语的音频魔力与音乐的力量
百度ai助手通知栏怎么关 百度ai助手通知消息屏蔽
ChatGPT如何进行数据可视化构思 ChatGPT图表设计指南
AI海报设计终极指南:工具、技巧与避坑全攻略
Amazon Rekognition: 图像与视频分析的强大AI工具
Google AI Studio:免费AI视频生成器使用指南
千问怎么设置快捷指令_千问指令创建与一键调用【技巧】
通义千问怎样优化提示词减冗余_通义千问减冗余技巧【方法】
人脸识别的伦理困境:Massive Attack的演出引发的思考
AI落地页优化:3个技巧,转化率飙升!
kimi如何收藏回答_收藏功能使用方法【技巧】
5分钟搞定求职信:利用AI工具大幅提升求职效率的实操技巧
P&ID图完全解析:符号、应用及绘制指南
MemeGIF Studio:AI驱动的GIF生成器全面评测与使用指南
DeepSeek分析Excel怎么用_DeepSeek分析Excel使用方法详细指南【教程】
怎么用AI帮你解读复杂的学术论文?快速抓住核心论点和证据
智行ai抢票如何查看抢票进度_智行ai抢票进度查询与状态解读【实操】
2024-07-05
南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。