中科深智本月推出虚拟人开放平台motionverse,并启动DevBoost赋能计划(即让开发者飞速成长的数字人中台赋能计划),受到引擎开发者、动画从业者的喜爱,经过一段时期的试用,并从开发者处获得了反馈。


(相关资料图)

精准赋能元宇宙AI数字人

对于开发者,目前很难找到一款SDK或者API,可以帮助他们一站式完成从语音识别,到语音合成以及口型生成等这些数字人必备的功能。

作为游戏/元宇宙空间的开发者,他们需要一款产品,快速的帮助他们解决数字人语音合成、口型生成等问题。

目前在语音合成领域还能找到比较多的解决方案,但在数字人驱动领域,单就口型一个问题,就很难找到合适的产品,尤其是适合中文的就更寥寥无几,更不要说身体的驱动,市面上少之又少。

开发者之前只能通过拼凑语音合成,找一些面向英文的,准确度很低的口型插件,再配上极少的和说的话术无关的动作库,来完成交互数字人的开发。

开发者加入了中科深智DevBoost赋能计划后情况有了很大改观。首先,一站式解决了数字人从开口说话,到动作表情生产的问题,不但有多种音色选择,还可以直接生成对应的口型、表情,以及肢体动作;其次,口型准确度高,完全符合中文口型规律;更为重要的是,我们提供了生成式的肢体动作,整体表现自然流畅,和语音配合度非常高。

同时还有多种动作风格可以选择,通过云端,直达本地直接使用。motinverse一套组合方案下来,极大的提升了引擎开发者的开发效率,可以在超短的时间内,完成自己内容中交互数字人的制作。

为绝美的外表轻松赋予精彩动作

对于动画从业者,通常使用虚幻UE5引擎,虽然有着很棒的数字人制作能力,但从业者本身团队没有过多的研发基因,因此,在今年数字人落地场景井喷的时代,无法顺利的让自己的数字人动起来,拥有交互对话能力。此时,一款使用方便,功能强大的虚幻引擎插件,是必不可少的。目前虚幻商店提供的插件,一个是使用门槛很高,一个是服务器都在海外云端,返回速度极慢,根本无法满足实时交互的需求。

motionverse的虚幻插件,极大的方便了动画从业者。首先,动画从业者只需导入插件,通过简单的蓝图连接,就可以完成数字人交互功能,让数字人轻松拥有声音、口型和动作;其次,整个推理过程速度非常快,完成一个交互时间在2秒内的数字人应用,会非常方便。让动画从业者,专注于艺术创作。

让每个数字人拥有智慧大脑

除了提供一站式的语音合成及数字人口型动作的驱动外,motionverse更是结合自研的姜尚大语言模型,提供强大的专业垂直数据问答功能,极大的方便了各行各业的开发者。一站式打造一个交互式数字人,分分钟即可完成。

在后台完成了向量数据库和大模型的连接。用户在使用的时候,只要在后台配置好自己的私有垂直数据,后台会将数据嵌入存储在向量数据库中,非常方便的帮助用户管理私域数据。在使用过程中,用自研的姜尚大模型和向量数据自动结合,搜索这些嵌入以找到最相关的上下文,并将其提供给姜尚大模型,来完成相关的推理,最终高效且准确的完成了专有垂直知识问答功能。

电子城占北京英诺创易佳科技创业投资中心(有限合伙)13.39%。英诺创投资了中科深智。


推荐内容