Graphcore IPU-M2000在首个benchmark测试中显著优于GPU
【TechWeb】12月10日消息,Graphcore为其最新的AI计算系统——IPU-M2000和纵向扩展的IPU-POD64发布了第一套性能benchmark。以下为具体内容。
在各种流行的模型中,Graphcore技术在训练和推理方面均显著优于NVIDIA的A100(基于DGX)。
亮点包括:
训练
EfficientNet-B4:吞吐量高18倍
ResNeXt-101:吞吐量高3.7倍
BERT-Large:与DGX A100相比,在IPU-POD64上的训练时间快5.3倍(比双DGX系统缩短2.6倍)
推理
LSTM:以更低时延实现吞吐量提升超过600倍
EfficientNet-B0:吞吐量提升60倍/时延缩短超过16倍
ResNeXt-101:吞吐量提升40倍/时延缩短10倍
BERT-Large:以更低的时延实现吞吐量提升3.4倍
Benchmark中包括了BERT-Large(基于Transformer的自然语言处理模型)在IPU-POD64的全部64个处理器上运行的结果。
BERT-Large的训练时间比最新的NVIDIA DGX-A100快5.3倍(比双DGX设置快2.6倍以上),这一结果彰显了Graphcore的IPU-POD横向扩展解决方案在数据中心的优势,以及Poplar软件栈管理复杂工作负载的能力,这些工作负载能够利用多个处理器并行工作。
Graphcore软件高级副总裁Matt Fyles在对测试结果发表评论时说:“这一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在许多流行模型上的性能均优于GPU。”
“诸如EfficientNet之类的新型模型的benchmark特别具有启发性,因为它们证明了AI的发展方向越来越倾向于IPU的专业架构,而非图形处理器的传统设计。”
“客户需要能够处理稀疏性以高效运行大规模模型的计算系统,而这正是Graphcore IPU所擅长的。在这种客户需求的趋势下,差距只会不断扩大。”
Graphcore为阿里云HALO定制代码正式在GitHub开源
Graphcore是阿里云HALO的合作伙伴之一,为阿里云HALO定制开发的代码odla_PopArt已经在HALO的GitHub上开源,具体请见https://github.com/alibaba/heterogeneity-aware-lowering-and-optimization
MLCommons
除了发布其AI计算系统的全面benchmark外,Graphcore还宣布,其已经加入新成立的MLPerf下属机构MLCommons,成为MLCommons的会员。
Graphcore将从2021年开始参加MLCommons的比较benchmark测试。更多信息,请参阅MLCommons的成立公告。
现已出货
Graphcore最新benchmark的发布与IPU-M2000和IPU-POD64系统向全球客户的推出时间刚好一致。一些早期发货的产品已经在数据中心安装并运行。
销售工作得到了Graphcore全球合作伙伴网络以及公司在欧洲、亚洲和美洲的销售人员和现场工程团队的支持。
PyTorch和Poplar 1.4
Graphcore用户现在可以利用Poplar SDK 1.4,包括全面的PyTorch支持。PyTorch已成为从事尖端AI研究的开发人员的首选框架,在更广泛的AI社区中也收获了大批的追随者,并且追随者的数量还在快速增长。
PapersWithCode的最新数据显示,在具有关联代码的已发表论文中,47%的论文使用了PyTorch框架(2020年9月)。
额外补充的PyTorch支持,再加上Poplar对TensorFlow的现有支持,这意味着绝大多数AI应用程序现在都可以轻松部署在Graphcore系统上。
与Poplar软件栈的其他元素一样,Graphcore正在将其用于IPU接口库的PyTorch开源,从而使社区能够对PyTorch的开发做出贡献,并且加速PyTorch的开发。
关于IPU-M2000和IPU-POD
IPU-Machine:M2000(IPU-M2000)是一台即插即用的机器智能计算刀片,旨在轻松部署并为可大规模扩展的系统提供支持。
纤巧的1U刀片可提供1 PetaFlop的机器智能计算能力,并在机箱内部纳入针对AI横向扩展进行了优化的集成网络技术。
每个IPU-Machine:M2000(IPU-M2000)均由Graphcore的4个新型7纳米Colossus™MK2 GC200 IPU处理器提供动力,并得到Poplar®软件栈的完全支持。
IPU-POD64是Graphcore的横向扩展解决方案,包括16台IPU-M2000,这些机器使用Graphcore的超高带宽IPU-Fabric™技术进行了预先配置和连接。
IPU-POD64专为需要大规模AI计算功能的客户而设计,既可以跨多个IPU运行单个工作负载以进行并行计算,也可以通过Graphcore的Virtual-IPU软件供多个用户共享使用。
附Graphcore MK2 Benchmarks具体表现:
您可能也感兴趣:
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。
想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
恒大汽车 2023 年净亏损 119.95 亿元,努力改善经营状况
日赚0.82亿 比亚迪2023年净利润300.41亿元,同比大涨80.72%
苹果WWDC 2024将于6月10日举行,或将推出生成式AI技术
苹果A18 Pro芯片细节曝光:采用更大尺寸 以提升AI性能
阿里撤回菜鸟上市申请 拟37.5亿美元收购菜鸟少数股东股权
AI造富能力一流
飞书开启裁员 全员信称会提供补偿方案或转岗机会
消息称小红书2023年首次实现盈利 但IPO前景仍不明朗
更多
- 小米再向前:小米SU7正式发布、引领汽车“智能化”下半场,「人车家全生态」全面开启
- 扬帆起航!小鹏汽车宣布正式进入德国市场
- Google 2023年移除超55亿条不良广告 9成由AI发现
- 中国移动全球首发5G-A商用部署 首批百城 年内扩至300+城
- 紫光同创推出Logos系列高性价比车规级FPGA芯片
- AI驱动营销创新Taboola Agency Award 2023名单公布
- IAR率先支持瑞萨首款通用32位RISC-V MCU
- 小米汽车上市发布会今晚7点召开 雷军确认小米SU7标准版CLTC工况续航700公里
- 最终悬念,小米SU7卖多少钱合适?
- Keep发布全新8.0版本 将投入AI资源提升运动课程生产
更多
- 全球生成式人工智能领域去年或有近700笔投资交易 总额291亿美元
- 华尔街预计特斯拉Q1交付47.1万辆电动汽车 但也有分析师预计低于43万辆
- 苹果WWDC24还有望推出Mac Studio 但Mac Pro可能要下半年
- 亚马逊再向AI初创公司Anthropic投资27.5亿美元 兑现40亿美元投资承诺
- 消息称苹果在测试一款新Apple Pencil 有望用于Vision Pro
- 现代汽车计划到2030年将电动汽车增至31款 韩国年产能增至151万辆
- 消息称苹果没有在iOS 18等新一代系统中引入自研AI聊天机器人计划
- 被美国司法部起诉垄断后 苹果在美国又面临至少3起集体反垄断诉讼
- 航拍显示特斯拉上海储能工厂准备动工 厂区内已有施工设备
- 消息称苹果不会在今晚宣布新iPad Air和iPad Pro 还得再等等