百度智能云联合浦发推“数字人” 多模态计算促进智能化飞跃

4月24日凌晨3点，万众瞩目的《复仇者联盟4》首映落幕。开播首日即狂揽10亿票房，但很多老漫威粉丝对过于悲情的结局设定表示无法接受。当然，作为复联中的智慧担当，钢铁侠因其“凡人之躯，比肩贤明”的设定再次圈粉无数。而其智能管家“星期五（贾维斯）”也因智能先进，能打炫酷成为了所有粉丝渴望拥有的神器。

科幻电影吸引人的地方在于，其不仅拓宽了人类在科学领域的想象力，还时常预知哪些黑科技将一步步成为现实。贾维斯这样的超智能软件可以说代表了人工智能的高级形态：不仅拥有视觉、听觉，还有感知、理解和决策能力，同时其在战斗领域还拥有非凡的技能。近两年，人工智能的发展也在从单模态感知向多模态融合交互转变。

4月23日，百度智能云联合浦发银行、中国移动通信集团公司在上海召开了“你好未来”数字人概念发布会，在业内首次提出虚拟“数字人”创新理念。即将推出的浦发“数字人”将具备拟人的3D形象，有真实的表情、语调、肢体动作；能感知环境，做出实时反应；还能进行多轮自然对话，完成用户的各种指令。这是一种融合了视、听、说的多模态融合感官。

从Siri开始，商业化的智能语音助手走入我们的生活已有近10年时间，然而直到2018年，智能语音助手的对话能力才迎来大幅提升，过往语言生硬、前言不搭后语的问题有了明显的改善。在一些特定领域，智能语音助手已经可以通过图灵测试。

在此次发布会上，浦发银行也展示了百度智能云联合浦发打造的金融助手“小浦”与客户的对话。对话的声音和语调十分逼真，在面对客户方言和存在歧义的提问时，“小浦”也能及时有效的回复。可以说，现在的智能语音助手在金融客服方面已经做到“可用且好用”。

人与人之间的沟通，始于情感的联系和羁绊。科技不断进步，能帮助人们完成更多的任务。但是科技总是难以避免给人冷冰冰、不够人性化的印象。伴随着服务场景的复杂化，用户开始渴望观感上的情感诉求，智能语音助手在不断提升语音识别能力的同时，也开始寻求可视化，向多模态进化。

2018年7月，微软语音助手小冰升级到第六代，升级了对话能力的同时，也首次推出了全新的3D模型，可以通过全息或者AR的方式出现。

几乎是同一时间，日本即时通讯巨头Line也推出了拥有全息形象的智能助手-- Gatebox，其目的也是希望可以通过具象化为用户提供家人般的陪伴。

用户对语音助手多模态的需求，在美国科幻电影《她》中，表现的更为直观。电影中，人工智能萨曼莎不仅具有语音交互能力，与男主西奥多随时交流，她甚至还有视觉，可以看到西奥多看到的事物。而西奥多则不止一次表示希望萨曼莎可以出现在其面前，可见文字、语音、视觉的多模态交互一直是我们对机器人的本能期待。

当然，现在看来，萨曼莎还不能马上出现在我们的生活中，但针对某些特定领域的具象机器人则并不遥远。百度智能云联合浦发推出的“数字人”算是一个标杆。

“数字人”是百度智能云和浦发根据金融行业场景，运用ABC智能技术带来的一次全新突破，希望通过融合视觉、声音、自然语言处理、知识图谱等技术，实现多模态交互。浦发银行副行长潘卫东表示，以客户为中心是银行服务的宗旨，基于HUI（Humanized User Interface）人性化服务界面加载的新型金融服务，将更崇尚自然、主张个性、追求精准和通达人心。

据介绍，“数字人”在服务模式上实现了三大创新：这位浦发银行的“虚拟员工”主要有三大创新点：

一是情感感知，通过人脸表情识别技术，实时感知用户情绪变化，让交互沟通更自然；

二是海量信息为用户决策提供丰富的资讯依据，基于自然语言处理、知识图谱等技术，结合金融知识库和数据训练，帮助用户精细化管理个人资产；

三是深度学习，数字人通过实施服务，积累服务经验，为客户规划未来提供支持。综合来看，数字人已经无限接近于一个“银行客服版”的萨曼莎。

作为浦发“数字人”的技术提供者，百度智能云不只是提供存储和计算的基础能力，更是全程参与了整个数字人模块系统集成、技术优化以及实施把控与支持。

以“多模态深度语义理解”为核心的百度大脑3.0为“数字人”提供了AI技术支持。在应用中，感官技术的融合与调用绝非易事。在构建浦发“数字人”的过程中，百度智能云攻破种种难题，实现了四大技术的创新，才让“数字人”可以跃然纸上。

1.虚拟人物的绘制：相比于微软小冰、Gatebox偏向于二次元的少女形象，作为客服人员，“数字人”必须有接近于真人的形象，这就要求制作的形象要形神兼具。因此，在人物的绘制过程中，百度智能云为浦发提供了真人三维扫描、扫描模型修正、制作模型贴图、模型绑定、动作捕捉，以及与AI动画相关的开发，以及虚拟角色的引擎互动开发等专业服务。

2.“数字人”像AI驱动引擎：该引擎创新性地实现跨越传统人机交互的体验，实现真正意义上的人与人交互体验。其中，百度智能云以深度神经网络的分析与预测能力，利用语音/语义等多维度的信息，实现高仿真人像的口型、表情、动作与对话的关联，让 “数字人”具备“人人”交互的技术基础。

3.多模融合感知引擎：依托于感知技术多年的积累，在多样化的感知硬件的配合下，百度智能云为浦发“数字人”构建了一个全面面向于服务过程的多维度的感知引擎。可以提供包括客户侧的生物特征识别信息、情绪识别与分析、人体姿态与属性分析、动作与行为分析各个关键信息，让“数字人”真正实现情感化的陪伴。

4.数字人对话与应用系统：在现有的ChatBot服务基础上，百度智能云通过打通与“数字人”的人像与感知技术部分的功能，实现完整体现“数字人”交互能力、沟通能力与专业能力的工程技术平台，并支持“数字人”在创新场景下的原型小规模试点。

发布会现场展现了“数字人”的诞生过程纪录片，时间从第1天到第76天，从模型制作到动作捕捉，一位美丽知性的银行“数字雇员”已经出现在我们眼前，面向上海标志性的城市天际线景象，她给大家留下一个充满希翼的背影。 “数字人” 预计在今年10月诞生。

据悉，浦发“数字人”将应用于浦发银行APP、网银以及各类移动终端，还能融入到智能家居、智能交通。

除了浦发“数字人”，百度智能云未来还计划推出“数字人工厂”，打造更多专业领域的“数字人”，工作助手，海底捞服务员，甚至是全职伴侣都有可能由“数字人”来扮演。而在建造这些数字人的过程中，百度智能云也会融入更多的技术，让“数字人”变得更加逼真。

“数字人”时代真的要到来了，你准备好了吗？