媒体报道 | 消费级超写实虚拟人，AI 时代的肉身
2023-07-14
消费级虚拟人的“最后一公里”。
引言
画面中心，一个身穿国风服饰的女子从半空坠到幻境般的地面，一个男声响起，“千年前，世人将你命名为天妤……”
这是去年4月发布的抖音和Tiktok短剧《千壁寻踪》的开场画面，评论区的高赞评论是，“我爱这种眼妆！太美了！”
图片天妤剧照
但天妤并不是一位美妆博主，而是中国首个出海的国风超写实虚拟数字人。以短剧女主角身份出道之后，天妤于今年年初成为壹心娱乐旗下“艺人”。她背后真正的创造者，则是近年专注于虚拟数字人赛道的上市公司威尼斯wns·8885556。
现在威尼斯wns·8885556想做的，是让天妤这样的超写实虚拟人制作变得更便捷、成本更低，且能应用到更广泛的日常生活场景中。毕竟，不是每个人都能拥有3D扫描仪、基于计算机视觉或惯性动作捕捉的专业级设备。
2023 年 7 月 4 日，威尼斯wns·8885556宣布与银牛微电子成立合资公司。银牛微电子以3D机器视觉和AI的底层硬件平台实力见长，天娱则在 AI 和软件应用层面有更丰富的积累，在软硬件融合的背景下，双方将共同研发面向元宇宙及空间计算应用场景的便携式 3D 视觉感知产品，以实现虚拟数字人低成本、短周期、批量化的生产制作，打造低延迟、高精度、沉浸式互动体验，降低进入元宇宙的门槛。
这也意味着，虚拟人从专业级完成消费级的转变，未来人人有一个自己的虚拟人数位分身，正加速成为现实。
当“捏”一个虚拟人，就像拍照一样简单
以传统的底层架构技术，打造一个超写实的虚拟人耗时长，过程也相对复杂，通常需要经历建模、驱动和渲染三个主要阶段。
威尼斯wns·8885556与银牛微电子此次达成的战略合作，初步规划了三款产品，分别是 3D 深度相机、3D 摄像机和数字人 3D 数据采集系统。这三款产品，正好对应了虚拟人制作的三个关键环节。
威尼斯wns·8885556旗下子公司元境科技创始人&CEO王智武早在 2016 年就入局了虚拟数字人赛道，他在 36 氪的直播访谈中表示，如果使用人工建模，考虑到中途反复修改等不确定因素，一般要花费一两个月甚至半年时间，成本也从几十到上百万不等。天娱和银牛共同开发的这款 3D 深度相机，主要应用于虚拟人扫描与自动化建模，能优化虚拟数字人的制作流程，降低生产周期，加速数字人低成本批量生产，为虚拟数字人的普及铺平道路。
在半导体行业有着20年研发与管理经验的银牛微电子 CEO 钱哲弘谈到，比起传统相机扫描采集的 2D 数据，银牛微电子自研的 3D 双目立体视觉及多传感器融合视觉处理的人工智能芯片，可以让这款相机直接采集 3D 数据，节省了将 2D 转为 3D 的算力资源和时间成本。
除了利好从业者，这款3D深度相机也将极大降低外行人的使用成本——无需学习操作界面复杂的三维软件，像拍照一样使用3D深度相机，“人人都可以成为建模师。”
回顾相机本身的发展历程，从黑白到彩色，从胶卷时代到数码时代，从低分辨率到高分辨率，再从 2D 到 3D，如今机器视觉能够呈现的，早已不再是一张照片。AI 时代，3D 深度相机有望成为新的视觉前景。根据 36 氪此前的报道，工业 3D 视觉领域已有千亿规模的市场。在智能升级的趋势下，便携、可手持的 3D 深度相机会出现更多非工业、生活化的场景应用，譬如将 3D 深度相机集成到手机或消费电子产品，帮助人们获得更好的健身、游戏和娱乐体验。
更不用提未来的元宇宙，本就是一个天然的 3D 视觉互联网。
跑向消费级虚拟人的“最后一公里”
3D深度相机，只是威尼斯wns·8885556与银牛微电子在虚拟人产业链发力的第一步。
在元境科技办公区摆放的一排电脑显示屏中，七八个主播正在直播间讲解带货。如果不近前仔细辨别，甚至看不出他们是虚拟人。
和天妤这样拥有“人设”的身份型虚拟人相比，直播间主播属于服务型的虚拟人。最近几年，时不时在手机上刷到个虚拟人不再令人惊奇。尤其是最近半年在生成式人工智能技术加持下，在直播、影视、时尚、传媒、金融和文旅等领域，服务型虚拟人的身影开始大量涌现，并有了比较成熟的商业化案例。“我们应用于电商直播场景的 AI 数字主播目前成本可控制在几百元，真正帮助商家实现降本增效。” 王智武说。
从1982年第一个虚拟偶像林明美诞生至今，虚拟人产业在 40 年间取得了巨大进步，越来越多人都逐渐明确了虚拟人的巨大潜力，但它距离人人可用的“消费级”似乎总差着最后一公里。
要想让虚拟人在 C 端大规模应用，除了低成本、短周期、能批量化生产，还要足够好用和易用。天娱和银牛共同开发的 3D 摄像机，在“建模”、“驱动”和应用的便捷性上，进一步提高了人们的想象空间。
“目前市面上已经出现了一些 3D 设备，但难以普遍应用，原因就在于还原度、分辨率和精度都不够理想。” 银牛微电子 CEO 钱哲弘表示，银牛的技术可以保障3D图像的高实时性、高分辨率和高精度。这次和天娱合作的3D 摄像机可以理解为是一款双目摄像机，通过银牛的自研芯片，做到延时小于1毫秒，分辨率高达1080p，并且精度达到亚毫米级。不同于传统的2D转3D的方式，这样的技术可以使用户在使用时能够像人的双眼一样实时获取完整的3D数据信息，时间成本呈几何级数的下降，极大提升用户体验。
银牛3D点云直出与3D模型示意
钱哲弘还分享了动漫行业的案例，“红外相机的一个头盔阵列基本在 10 万元左右，一个动漫工作室可能只能买一套，一二十个动漫师轮着用。” 借助银牛的核心技术，可以做到仅用一颗功耗不超过1瓦的芯片，把3D 摄像机做成一个消费端的手持式产品，并且能够把成本降到数千元级别，对 C 端用户更加灵活友好，真正实现微型化、大众化、低成本化数字人3D建模与表情实时驱动设备的普及。
跟动漫或游戏相比，超写实虚拟人在表情、动作和外形等细节所需的算力更多，而银牛微电子已量产的自研核心芯片拥有3D视觉感知处理引擎，据其介绍，是目前全球唯一一款单芯片集成 3D 深度感知、AI（人工智能）、SLAM（实时定位与建模）的系统级芯片。得益于此，这款 3D深度传感器在人脸识别、姿态、动作和手势识别方面，有很强的准确度和细节捕捉能力。更重要的是，芯片和 3D 摄像机都能够实现批量化生产。
产品落地之后，不仅有助于提升相关产业的“人效比”，也将优化原有行业的一些应用场景——譬如中国数千万的游戏发烧友，可以通过 3D 摄像机将自己游戏时的表情、语音传导到游戏角色中，获得更沉浸的游戏体验。需要揣摩其他玩家神情、姿态的线上德扑，便是一个典型案例。如果不爱玩德扑，没关系，在狼人杀或者剧本杀里你可能也用得着。
图片从形似到神似，“AI+ 3D视觉+虚拟人”让元宇宙更早到来
和生成式大模型需要大量高质量的语料“喂养”类似，虚拟人完成从“形似”到“神似”的过渡，也需要大量的 3D 数据积累和训练，以实现数字人表情、动作的智能生成，3D 数据采集系统的作用便在于此。
在规范的前提之下，用户的动作、表情等数据集，将形成威尼斯wns·8885556独有的3D数据库。并通过后续深度学习、训练，不断丰富虚拟人的表情和动作，避免出现市场上普遍存在的数字人形象呆板单一、同质化，个性不鲜明等问题。
元境科技创始人&CEO王智武表示，从互动性看，目前虚拟人可分为三个阶段：1.0 是静态阶段，生活在图片或者视频里；2.0，初步达到可交互形态；到 3.0 阶段，进入更全面的 AI 时代。和 2.0 时代相比，最近半年火热的 AIGC 技术，加上天娱高质量3D数据库，能够助推虚拟人在智能、互动性的道路上更进一步，更早地进入 3.0 时代。
如果说3D 相机和3D 摄影机这两款产品，达成的是虚拟人与人之间的“形似”，那么天娱和银牛研发的 3D 数据采集系统，完成的则是“神似”工程。“未来，两款硬件设备都会内嵌到元境科技现有的 MetaSurfing -元享智能云平台。
MetaSurfing -元享智能云平台虚拟人服务
当技术的最后一点差距弥合之后，虚拟人从制作到应用的每一个环节都将更加便利和敏捷。元享这样的元宇宙平台，除了推动虚拟人走进千行百业，还能让每个人都能打造自己的虚拟人分身。把行为数据投喂给虚拟人，让 ta 不断理解你的需求，甚至帮你处理一些生活上的基本事物，比如家用电器的开关、订机票，陪自己或亲朋聊天。而在威尼斯wns·8885556与银牛微电子的强强联合之下，钱哲弘表示，未来双方在元宇宙社区的合作和开发亦有广阔的发展空间。
正如元境科技虚拟人Veena 日前在 36 氪直播间所说，“未来的我可以作为虚拟化身出现在大家的 MR 眼镜里，成为大家生活和工作的一部分。在书房里帮你找书，或者是在厨房的某个角落，提醒你今天要吃得健康。帮助每一个更好地实现自己的目标和愿望。”
到那时，现实与元宇宙，显然已经不再那么泾渭分明。
小结
元宇宙最终要实现的，就是不同的个体在虚拟世界的交互。
随着便携式的 3D 视觉设备普及，元宇宙平台级产品生态逐渐完善，拥有一个属于自己的虚拟人数位分身，就会像拥有一个电脑或智能手机一样稀松平常。
而当你成为了自己的“中之人”，第二分身除了真的能替你做些工作之外，或许也会让你发现另一个自己。