据文视科技消息
来源:it之家
微软公司出席 hot chip 2024 大会,分享了 maia 100 芯片的规格信息。maia 100 是台积电 5nm 节点上制造的最大处理器之一,专门为部署在 azure 中的大规模 ai 工作负载而设计。
maia 100 芯片规格如下
芯片尺寸:820 平方毫米
封装:采用 cowos-s 夹层技术的 tsmc n5 工艺
hbm bw/cap;1.8tb/s @ 64gb hbm2e
峰值密集 tensor pops: 6bit: 3,9bit: 1.5, bf16: 0.8
l1/l2:500mb
后端网络 bw:600gb/s(12x400gbe)
主机 bw(pcie):32gb/s pcie gen5x8
设计 tdp:700w
provision tdp:500w
microsoft maia 100 系统采用垂直集成方式,以优化成本和性能。它还采用定制服务器板,配备专门设计的机架和软件堆栈,以提高性能。
maia 100 架构
高速 tensor 单元可为训练和推理提供高速处理,同时支持多种数据类型,单元采用 16xrx16 结构。
矢量处理器是一个松散耦合的超标量引擎,采用定制指令集架构(isa),支持包括 fp32 和 bf16 在内的多种数据类型。
直接内存访问(dma)引擎支持不同的张量分片方案。
硬件 semaphores 支持 maia 系统的异步编程。
为提高数据利用率和能效,大型 l1 和 l2 scratch pads 交由软件管理。
maia 100 采用基于以太网的互联技术和类似 roce 的定制协议,可实现超高带宽计算。它支持高达 4800 gbps 的 all-gather 和 scatter-reduced 带宽,以及 1200 gbps 的 all-to-all 带宽。
在软件方面,maia 软件开发工具包(sdk)允许任何人快速将其 pytorch 和 triton 模型移植到 maia。maia sdk 为开发人员提供了多个组件,使他们能够轻松地将模型部署到 azure openai 服务。
免责声明:本文系转载,宝威全站app的版权归原作者所有;旨在传递信息,不代表本网的观点和立场。如侵权,请联系删除。