英伟达训练全球最大语音模型 可实现机器与人对话无延迟
英伟达今日宣布,已经成功训练出世界上最大的语言模型。该模型是这家GPU制造商针对一系列会话式AI研发的最新版本。
为了实现这一突破,英伟达利用模型并行性,将神经网络分解成各个部分,并采用了由于过大而无法容纳在单个GPU内存中的模型创建技术。该模型使用了83亿个参数,比BERT大24倍,比OpenAI的GPT-2大5倍。
除此之外,英伟达还宣布了BERT(Bidirectional Encoder Representations,双向编码器表示)的最快训练和推理次数。BERT是一种流行的模型,最初于2018年由谷歌开源,是当时最先进的模型。
英伟达能够利用优化的PyTorch软件和含超过1000个GPU的超级计算机DGX-SuperPOD训练BERT-Large。这些GPU训练BERT的耗时小于53分钟。
“如果没有这种技术,训练其中任何一种大型语言模型都可能耗费数周时间,”英伟达应用深度学习副总裁Bryan Catarazano在与记者和分析师的对话中表示。
英伟达还表示其已实现了最快的BERT推理时间。基于Tesla T4 GPU和针对数据中心推理优化的TensorRT 5.1运行时,推理时间已降至2.2毫秒。Catarazano表示,当CPU运行时,BERT推理最多需要40毫秒,而目前,大量会话式AI的应用使这一过程缩短到10毫秒。
不仅如此,GPU也为微软旗下的必应创造了收益,英伟达硬件的应用使必应的延迟时间缩短了一半。
当前推出的任何一项新技术都旨在强调该公司GPU在语言理解性能方面的提升。为了帮助AI从业者和研究人员探索并创建大型语言模型、加速GPU的推广或推理,上述每项新技术的代码都已开源。
除了单词正确率的急速上升之外,减少延迟一直是各大流行AI助手被采用的主要因素,如亚马逊的Alexa、谷歌的Google Assistat和百度旗下的度秘(Duer)等。
少延迟甚至无延迟的信息交换使机器与人的对话像人与人之间的对话那样,即刻就能得到回应。
与今年微软Cortana、亚马逊Alexa和Google Assistant推出的多轮对话功能相同,与AI助手进行实时沟通可以让互动感觉更自然、无障碍。
会话时AI系统最新的技术发展,大致上围绕着谷歌2017年Transformer语言模型和2018年BERT模型的更新。
自此,以BERT为基础的三款模型:微软的MT-DNN、谷歌的XLNet和百度的ERNIE,均超越了BERT模型。今年7月份,Facebook推出了一款基于BERT的模型——RoBERTa。目前,RoBERTa在GLUE基准测试排行榜上位列第一,在9种语言任务中排名第4。这些模型在GLUE任务数据集上的排名均优于人类标准。
您可能也感兴趣:
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。
想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
5499元起!华为Pura70系列先锋计划开售
iPhone 16 Pro影像规格曝光:超广角将升级至4800万像素
一季度全球智能手机出货近2.9亿部 小米传音出货量同比均有大增
花旗预计“每卖一台SU7亏6800元” 小米高管回应:信息偏差较大
苹果将允许用户和第三方维修商使用二手正品零部件维修iPhone
苹果市值一夜暴涨8113亿元 据称拟升级整个Mac产品线
余承东调侃小米SU7原装手机支架设计?雷军发文回应
OpenAI超蚂蚁集团 胡润榜单上的“中国VS美国”
智己汽车因标注错误发致歉函 但致歉函中也有错误
更多
- 2023年营收165亿元,三七互娱拟提升分红频次至一年四次
- “AI换脸”骗走2亿港元 专家支招如何防范
- 媲美GPT4的开源模型Llama 3怎么用?亚马逊云科技官方教程已上线
- 谷雨“龙井”奶茶外卖量涨5倍,茉莉奶白等多品牌联合饿了么上线“春日收官”新品
- 《热辣滚烫》获北影节“春节档特别荣誉” 出品人侯晓楠:海外票房已破700万美元
- Qorvo 谈 Wi-Fi 7、BMS 及 Sensor Fusion 的技术革新之力
- 三年霸榜 亚马逊云科技为何成为中国AI开发平台顶流?
- 英特尔发布大型神经拟态系统Hala Point
- SHARP MultiSync王牌系列工程投影机发布
- 比亚迪秦L内饰座舱首次曝光 将于北京车展正式亮相
更多
- 消息称特斯拉下周将宣布在印度投资 最多30亿美元
- 特斯拉全球裁员不会影响墨西哥超级工厂建设 当地称正按计划推进
- Meta推出Llama 3大模型 在集成近25000块英伟达H100计算集群上训练
- 消息称苹果12.9英寸版iPad Air将采用mini-LED显示屏 在5月初推出
- 从5nm制程工艺来看 台积电3nm工艺或要明年才能成为最大营收来源
- 台积电一季度营收188.7亿美元 预计二季度会更高
- 分析师称iPhone 17 Plus屏幕将略小于iPhone 15 Plus和iPhone 16 Plus
- 苹果有意代工商在印尼建厂 CEO库克称将评估可行性
- SK海力士Q1营收有望超过12万亿韩元 营业利润重回万亿韩元之上
- 消息称苹果有意在印度生产iPhone摄像头部件 同当地厂商有过接触