淘宝虚拟电商技术分享

虚拟电商探索历程

淘宝虚拟电商的探索经历，主要包括三个维度：3D，AR 和 VR。

最早从 2013 年开始，在营销的节点上做了一个AR抓蝴蝶；2016 年被业界誉为 AR 元年，后面陆续做了很多AR相关的尝试，包括 2016 年的 AR 集五福等；从 2018 年开始着力于把技术规模化，做了 HomeAI 方面的尝试一直到现在；2019 年除了 HomeAI，还重启了 AR 试的工作；2021年元宇宙的声音非常响亮，我们开始了虚拟直播等尝试。未来整个阿里的形态会是怎样的，现在犹未可知，大家敬请期待。

上图展示了几个有代表性的工作。

第一个是 2016 年的时候我们做了 VR Buy+，主打沉浸式的足不出户购遍全球，VR 确实可以提供很好的沉浸感，在一些购物场景下的购物转化效果不错。比如一个卖牛奶的场景，在一个牧场里面，牛奶旁边有牛在不停走动，这样的 VR 场景带来了很好的销量。当年整个 PC 加 mobile 的峰值 DAU 有几百万。

第二个是 2017 年做的 AR 捉猫猫。适应新零售的背景，让线上线下联动，这个应用是把线上的用户引导到商场，让其做线下有高体验的成交。比如买口红即使有 AR 试，在线上也是不太方便的，所以期望是引导到柜台去尝试。当年做了这个 AR 的体验，总体的峰值 DAU 有几千万。

完成了以上两个尝试后，我们发现 XR 设备远远还没有做到普及的阶段，而且也不会很快普及，同时相关内容的制作成本也很高。但是基于这两个应用做出的判断是这个方向对用户是有价值的，要持续做。针对 XR 设备不普及和成本高的问题，我们选择了积累内容生产要素，通过 AI 算法降低内容池生产成本的这条路。基于此，我们切入了一个具体业务类目：家居家装。它对 3D 体验是强需求，大家在家装的时候都会由设计师做出一个 3D 的效果渲染图，所以从 2018 年到 2022 年我们一直在做 HomeAI 这个事情，到目前为止积累了几百万的 3D 模型。

02

结合电商优势我们的行动和切入点

第二部分介绍下结合电商优势，在 3D 内容上，我们的切入点和行动路线。我们的切入点是“场景既商品”，行动路径分为两条，一个是效率线，一个是体验线。

首先请大家看一下这 3 个视频，哪个场景对用户是最有用的。

第一个是通过 3D 360° 互动去看一个商品的细节；第二个是把你的家重建成 3D 效果，方便房子的销售，用户可以足不出户查看房子，这也是现在贝壳上应用的比较广泛的AR看房；第三个是虚拟生成的场景，把商品放在场景中，方便用户去找到自己喜欢的风格的商品。

第一个应用中，3D 的商品展示，在同成本下用户得到的商品细节是比不过图片和视频的；但是后两个应用的特点是以场景为主，切实解决了一些用户的问题，所以我们总结出目前手机端上，场景既商品的业务是 3D 应用的很好的切入点。

2. 行进路线

有了切入点以后，我们具体的行进路径分为两条线：

第一条是效率线，主要是让 3D 的内容作为生产的原材料，生产出来的媒体格式都是现有的，并且表现终端都在手机上，这条线的核心是业务是现有的，我们只是提高了现有业务生成内容或者素材的效率，不需要去创建一个全新的业务形态。生成内容的效率我们对它的定义是边际成本为零，因为原来的图片和视频的复用成本是很低的，但是 3D 模型只要把原始的模型传上来，有足够好的AI算法，就可以生成各种各样不同的场景。举个简单的例子，比如要卖一个沙发，我可以用 3D 模型搭上 10 个不同风格的样板间，生成图片，在搜索端给每个用户做个性化的投放，这是可以很大程度的提高用户搜索点击率的。再举个例子，如果现在大家的风格偏好转向北欧风，日式风等，这些新的风格出现的时候，传统的做法需要把沙发拿到新的场景再拍一遍，有了 3D 模型，就可以自动渲染出需要的风格图片，这就是边际成本为零。

第二条线是体验线。体验线可以提供沉浸式的体验，有全新的交互方式。这类场景主要是在 XR 设备上进行。这条线是一条探索的线，目前也没有人做出规模化的应用，也就是说没有成熟的业务体系在这里。

这两条线的布局对于技术也有很大的影响，效率线需要的引擎主要是离线渲染引擎，体验线需要一个实时渲染引擎。这里面还带来一个核心问题就是效率线离线渲染积累起来的那些模型，到底能不能在体验线的实时渲染引擎中使用，这是我们面临的一个核心的挑战。

整体来说，我们会用效率线去贴近房产和家装行业的业务，去持续的位业务产生价值，体验线会结合市场公关不断探索未来形态，把体验线积累的技术反哺到效率线，两条线相辅相成。后续主要解决的问题是 3D 的素材在这两条线上能通用的问题，这个问题后面再详细讨论。

03

技术上的积累和探索

第三部分是本文的核心点——技术架构，在上述切入点和行进路线上，我们的技术到底做了哪些事情。

1. 效率线——技术架构

上图是一个简单的技术架构示意图。从下往上看，最下面是 3D 服务商体系，这套体系可以完成 3D 的原始素材，就是将真实物品转化成 3D 的过程，我们定义了标准和规范的流程，可以让 3D 服务商的集群做出各种各样我们想要的 3D 资产。

上面一层是 3D 生产资料库，这个库完成 3 个方面的事情；第一是管理分发，第二是基于此再做挖掘，比如 3D 商品的风格、颜色、材质等；第三是做一些部件分割和知识提取，例如把一个沙发的靠背、坐垫等更详细地切分开来，让一个商品的数字化程度更高。

有了这些 3D 资产以后，我们会在上面做场景的数字化和智能设计。场景的数字化与商品的 3D 化是异曲同工的，比如你的家怎么数字化生成 3D 的。智能设计是针对虚拟的情况，用当前的 3D 生产物料库，比如用户提供一个户型，利用算法能力提供具体的硬装和软装的完整设计。

3D 的导购平台做的事情是，生成素材后将其组成各个渠道需要的内容，将生成的结果进行智能化的投放。

最上面就是当前做出来的一些规模化的应用：VR看房、样板间、智能头图、放我家和设计服务。

3D 的研发生态和传统的电商的研发生态是不一样的，没有一个很好的工具，所以我们开发了一套工具 Trescope 去辅助整体的研发。

接下来会重点介绍其中的场景数字化、智能设计和 Trescope 部分。

2. 场景数字化

首先来看场景数字化的第一个场景，2D 图片的数字化。

用户输入一张自己家的图片，我们会把它的 2D Layout 预测出来，再预测它的 3D Layout。预测出来后的用处如视频所示，当你放一个地毯的时候，可以实现近大远小的效果，可以确保是放在地板上而不是墙上；挂画的时候可以确保它不会挂在头顶上去。这就可以大大提升用户的搭配体验。

上图是对整个 2D 图片数字化技术过程的解释。最下面是用深度学习的方式，对 2D图进行 3 类分析：语义线条，语义分割和消隐点。结合消隐点估计出相机的焦距和地面的法向量，再初始化出一个平面三维结构，通过 2D 的线段约束和曼哈顿假设去优化重投影。曼哈顿假设是指墙面与地面、以及两个墙面之间都是垂直的。最后会得出几个结果：图像拍摄姿态，某个墙的中线和中间点，以及房间的 3D Layout。

在整个模型的训练过程中，初始的时候很难拿到用户家真实的图片，因为大家都比较重视隐私，所以我们用 3D 的数据自动生成了很多仿真数据，基于深度网络做出了模型，上线以后测试整个 3D Layout 的恢复，在使用仿真数据的情况下精度大约是 57%，在上线以后通过一些用户真实上传的场景进行优化，优化后的结果大约是 72% 左右。

另外一个场景数字化的应用场景是 AR 搭配。

当我们要去买一个挂画的时候，AR 可以很好的完成挂画这个商品和实际房间的搭配。但是这个应用的一个主要问题是，大部分用户买的时候并不在场景现场，比如一个人要给家里买一副挂画的时候可能在办公室。所以这个 AR 投射大部分情况都不在现场，我们把它定义成了一个近场和远场的问题。

场景数字化之后解决了什么问题呢？右边这个就是举了一个很好的例子，用户把图片上传以后，我们把它场景恢复成 3D 场景，挂画贴的时候可以看到这不是一个特别正的场景，挂画仍然可以比较契合的贴上去，它的透视图是对的。原来的 2D 的图片贴上去的话，只能是在一个特别正的平面上贴上去，它的透视图才能是对的，现在把场景 3D 化以后，即使在斜的平面上，或者拍摄的角度很扭曲的情况下，也可以很好的贴上去这个挂画。这也就很好的满足了当用户想要买挂画时不在现场的场景。

下面介绍场景数字化的第二套技术场景，数字孪生。

上图中展示了三个例子，第一个是基于顶位识别的户型恢复，用语音引导的方式，指引用户完成户型的扫描，户型的点扫描完成后，再指引用户扫描门窗，这样整个户型就被恢复出来了，加上我们的智能设计，就可以帮用户出一套很好的设计方案。但这个方案作为一个 C 端的方案看上去比较复杂，所以接下来我们优化了第二个方案。用户只要站在房间的中间，360 度扫描一圈就可以了，就可以整个恢复出来 3D 场景，这个时候的体验就更好一点。我们觉得整个体验还是不够好，因为最后的房屋中的语义识别还是要一步一步做的，所以我们也把这个诉求提给了苹果的同学，最近苹果根据我们的诉求上线了一个 RoomPlan。RoomPlan 的效果应该是达到了 C 端可规模化应用的级别。在 quest 2 中有一个类似的应用 Oculus Quest Mixed Reality Capture，我把这个功能按照需求提给了苹果。在新版的操作系统中，只要带雷达都可以做到实时重建。通过实时扫描就可以把整个房间 3D 化出来，甚至部分的物品也可以 3D 化出来。

那么为什么我们一定要做一个 2C 端的方案呢？前文提到过，场景数字化的 PGC 的场景在业务的实际情况下是不可能发生的，因为家是一个比较隐私的场景，所以此类业务要规模化，就必须有一个 C 端的数字化产品，我们才能做到把这个技术的价值发挥到最大。

3. 智能设计

下面介绍技术上的第二个主题：智能设计。刚才的场景数字化有针对单图片和实际空间两套方案，智能设计也分两个方向，一个方向相对容易一点，另一个则相对挑战大一些。智能头图就是技术上相对容易一些，规模化大一些的技术。

智能设计的整个过程是，在上传 3D 模型后，自动帮助 3D 模型，比如说挂画匹配到合适的场景，然后把挂画挂上去，通过机位微调、渲染等手段，渲染出不同风格的图片。然后再结合个性化投放的算法，在搜索里面，我们可以比商家自己生产的图片点击率高 6%。

具体的做法是，首先在商品上提取一些基础的信息，比如这张挂画的轮廓、主体、尺寸和色盘，然后用轮廓、主体和尺寸去自动建模，加上 3D 画框，自动去生成挂画的模型，然后通过色盘和尺寸去选择对应的样板间。中间会解决一个生成图片需要差异化的问题，所以在选出的样板间中，我们会替换其中的硬装和软装，以得到更好的搭配，做好这些以后就是摆机位，然后就是出渲染图，再去做个性化的投放。

智能设计中相对比较复杂的是设计服务，它是以用户的户型为基础，产出兼具功能性和美观性的方案。

功能性指的是比如家中有双胞胎，那么自动生成的设计中应该是小孩的上下床；如果家中养狗，需要放一些宠物用品，整体家具摆放完毕以后，人的行动轨迹和插电板的各种位置应该是合适的，这些都属于功能性。美观性则是看设计漂不漂亮。

解决功能性和美观性是截然不同的方法，解决功能性问题我们是通过把专家建议提炼成知识图谱这种方式去解决；美观性方面，因为美没有统一的标准，我们现在的解法是把美的这一部分剥离出来，让用户自己去选择，会让用户在提供户型的基础上，选择一个他喜欢的样板间。然后我们会根据这个样板间的风格，去恢复他认为美的部分，具体做法是尽量多的把样板间的设计迁移到用户的户型里面去，以此生成一个用户喜欢的设计。再接下来的步骤就是和头图生成一致的，如机位、光照、渲染和投图等。

上图右边是一个我们上线的场景，用户选择一个自己家的户型，对北上广深这些核心的城市，我们引进了比较全的户型库，大概是百分之七八十的用户上线都可以搜到自己家的户型。在搜到户型以后，我们会默认生成三个方案，就可以进行查看，如果对方案不满意，也可以点进去自己做个性化的调整和设计。

智能设计中还有一个非常有趣的东西，在我们完成整个初步版本以后，设计师说我们出的设计方案没有灵魂。我用左边这两个图片来给大家做一个解释，上面是我们做完软装的东西以后空荡荡的房间，下面是做了一个摆件的算法，给书架上摆上书，给书桌上摆上电脑、笔记本和一些小摆件，这个时候一看就是有生活气息的，所以我们就做了一个智能的小摆件。右边是我们在不同家具上摆上小摆件的效果，这样子看上去整个场景就比较有温度一些。

我们具体的做法是，找到目标家具以后，先把它的承载区域寻找出来，就是哪个是支撑面，再根据一些约束把小摆件的模板找出来，然后放上去以后做一些微调。

这一步就是我们如何找各种各样家具的承载面，找出来的面有桌面、几面等，有的面比如说柜子上过高的一些面是过高的顶面，这些面实际上是放不了东西的。

找到这些面以后，要把这些面打上标签，比如这张是一个书桌面，这张是一个茶几面，这是一个柜子，是一个封闭柜还是一个开放式的柜，我们结合了人体工程学和模型本身的特征去做分类，做完分类以后，我们就知道它应该摆什么类型的小摆件。

4. TRESCOPE 研发辅助工具

电商体系里面，诸如交易、优惠领域已经有很多很好的研发工具来辅助，但是 3D 方向还是一穷二白。因此，我们就做了 Trescope 这样一个开发工具。我们将其定义为面向 3D 机器学习领域的研发工具，辅助多种算法任务的开展，包括 3D 数据的可视化，比如在做出一个 3D 设计以后，如何更方便地查看；此外也可以在 3D 数据上做一些标注；还有过程中的单步调试，比如放置了一个沙发以后，再放一个茶几可能会影响沙发的位置，沙发的位置调整又会影响挂画，如果只看到最终的结果，那么中间是哪一步出了问题以及出了什么问题，都是不知道的，所以我们还需要一个调试的工具。所以 Trescope 整体分为两部分，第一部分将原始的异构化数据，通过知识图谱的定义，领域定义，统一抽成一个室内设计专家知识库，存在 GDB 里面，有了这个库以后就可以去操作 3D 数据，比如要放一个沙发到一些合适的样板间里面去，那么就可以直接用这个沙发的风格和大小，以类似写 SQL 的方式在库中匹配出需要的 3D 样板间，把目标的沙发放进去做替换，就可以得到各种各样的图片和场景。

多角色协作的基础，具体的事情分为几部分，一部分是数据的准备，因为很多算法核心就是定义数据和准备数据，这部分我们提供了 cypher 以后就可以很容易的把数据准备出来；第二部分就是 IDE，也是刚才提到的断点调试；第三部分是质量中心，我们会用现有的 3D 数据构建一个质量评估的中心，对当前的算法做评估，可以判断当前算法到底在多少的数据范围内是适用的，适配性是怎样的，如果通过了就把这个知识沉淀到专家体系中。这个工具已经开源，开源链接在图片中。

接下来就是对这个工具的演示，这些语句都是 cypher 的语法。大家感兴趣也可以直接加入我们的开源项目。

5. 模型建模效率

接下来讲一下 3D 建模的效率问题，当前的建模效率的问题并不是通过图片或者视频的自动建模来解决的，因为目前还没有单个技术可以普适性的解决 3D 建模问题。

3D 建模的时候，对于透明的、刚性的、柔性的物体的建模方式都是不一样的，甚至渲染引擎都是不一样的，所以业界还没有一个完整的方式，可以大幅度的下降建模成本。所以我们将建模成本降低的重心放在模型的后处理链路，原来用各种各样的工具，建模后如何将其转化成我们的标准，怎样减面和 UV 重映射这一类的事情，游戏或者影视行业的建模技术从几何、拓扑、UV 展开、材质、法线烘焙到 AO 都是手工做的，我们做了一个电商的建模链路，把这些拆出来做成自动化，用这部分自动化去降低整个建模成本，因为后处理部分工作量本身也很大。这是一个提升建模效率的角度，大家也可以关注一下 nerf，可以有机会去大幅减少建模的成本。

6. 模型建模成本

关于建模成本，如果我们发布商品的时候选择用 3D 模型去发布，相比于实拍做图发布成本会下降很多。所以我们现在做了一个 3D 智能发布的应用，用 3D 模型去做发布，会比商家用商品做实拍固定成本下降 50%，边际成本有数量级的下降。

固定成本为什么会下降呢？当上传一个模型后，后面所有的图片，包括商品的主图，或者是 3:4 的图片，4:9 的图片等，都可以自动生成，省去了拿一个真实的商品在各种各样搭建的场景中去拍摄的成本。边际成本下降的逻辑是，拍摄的图片在后面无法再变化，比如和其它商品组合起来就做不到，想在新的风格中再去搭配也做不到，需要重新拍摄，成本就很高，所以我们说边际成本是数量级下降。

04

产品体验展示

最后，为大家展示一些产品的体验，主要分为：VR 看房、3D 样板间、放我家和智能头图四个方面。

下面是我们做的一个实景看店，就是用 VR 看房的技术实现的，左边是实拍画面，右边是建出来的商场，可以看到对应的场景和视角都是一模一样的。

下面 4 个场景，第一个是理想家，因为在手机端 3D 的渲染性能和交互不太能被用户接受，所以我们在生成 3D 设计以后，将其生成序列帧，用户的整体体验还是 2D 搭配，用户的反馈效果很好，但有一个比较可惜的点是，我们的 3D 模型的丰富度还是不能完全满足用户的诉求。

第二个场景是主材替换，当买地板的时候可以快速放到家里面看看是怎样的效果。

第三个场景是 3D 样板间，我们可以将商品自动生成到一个展厅里面去，让大家比较好的去看这个商品和这类环境搭配起来的效果。

最后一个场景是我们现在主力推的“放我家”，因为前面的三个事情对 3D 模型的依赖是非常大的，它的规模受限于 3D 供给的进度，我们又希望所有的用户都可以享受到搭配的体验，解决用户两个大的问题，一个是商品和环境的搭配，另外一个是商品和商品的搭配，这个功能上线以后用户的反馈非常好，有 11% 的用户上传了自己家的图片去完成搭配。目前市面上还没有一个 C 端的应用可以完成这两个搭配的动作，用户的动力是非常强的。

最后是场景数字化和智能设计的 demo，前面也已经介绍过了。

05

问答环节

Q1：您刚才展示的图片是拍的家里的图片还是挂画的图片？

A1：这个应用已经在淘宝上线了，大家可以去搜一下沙发，搜索的右下角有一个放我家的入口，可以上传一张自己家里的照片，无论是什么视角，然后挂画贴上去的时候，可以看到它的透视是对的，这样解决了你在办公室想给家里买挂画的场景。

Q2：最后的智能设计大概多久能生成？

A2：智能设计生成和户型的大小，和其中的灯光都是有关系的，同时渲染的格式也会影响到时间，比如渲染全景图和几张图片都不一样，智能设计的部分是以秒级别衡量，渲染部分是以分钟级别衡量。

Q3：可以讲一下nerf的前景吗，什么时候可以取代传统的 3D 建模？

A3：我的看法是它不会取代 3D 建模，就像有 3D 以后不会取代原来的图片文字和视频，因为它是一个补充的过程。Nerf 按照本质来说不是一个建模工具，其实是一个渲染工具，粗暴的来说它其实是提供了几个视角的图片，然后用 Nerf 深度学习的工具它可以推出其它你没有拍到的视角的图片，中间有一个简单的模型的产物，不是一个 3D 模型，在当前 3D 的生态中不是应用非常好，当然这也是有希望的，大家可以去尝试攻破。

Q4：理想家是先建模再试家装吗？

A4：对，是的，它是一个先建模再出图的过程。

Q5：3D 模型减面的主要原理是什么样子的？

A5：减面是有很多的技术，刚才模型处理中，是一个组合的过程，包括变态三角的剔除，孤立点的删除等，这些都会在里面。

Q6：主材替换是指材质替换吗？反光问题怎么办？

A6：我们现在的做法是比较暴力的，在当前的灯光底下，会把所有的主材都渲染一遍。

Q7：减面是自动的吗，线的合理性和疏密性是平均减面还是有算法自动识别？

A7：不是平均减面，各种补位的减面算法都是不一样的。

Q8：现在的智能设计是用什么引擎渲染的？

A8：我们目前使用的渲染引擎云上有两款，端渲染引擎有一款，云渲染引擎一款是商业的，一款是自研的，端渲染引擎是自研的。

Q9：Nerf 在淘宝中的应用场景和优点有哪些？

A9：目前我们在搜索上出了一个应用叫智能主图，就是会通过一张图片搭上场景，去生成各种各样个性化的图片做个性化的投放，这个应用起来还不错，因为这个场景相对小一点，nerf是一个渲染引擎，如果这个图片比较小，渲染效果的细节就可以被忽略，主要是看场景。它对小物件的刚体效果也不错。

Q10：什么情况下自研渲染引擎比较好呢？

A10：首先在淘宝里面我们只能用自研的渲染引擎，因为它有包大小的限制；第二个是在一些针对性的场景，比如说家居的渲染，自研可以针对一个类目去做优化，商业的是为了普适化场景，就无法达到。

Q11：桌子上自动排布，是大量模板还是算法自动分布，逻辑是什么？怎么避免不合理性的情况？

A11：首先我们还是一些模板，这些模板来自于设计师的组合，这是模板的来源，通过它在原来场景中的风格等约束，和现在的场景做匹配，然后再去做一些增删改的操作。

Q12：刚才房屋扫描是苹果的技术吗？用户通过自主的扫描就可以完成对房屋的建模吗？

A12：是苹果提供的 SDK，名字叫 RoomPlan，大家升级到最新的操作系统以后可以体验这个功能。

Q13：用户寻找和自己家一样的样板间，就可以自定义的设计家居吗？

A13：这里的逻辑不是找样板间，其实只要通过我们的户型搜索就可以，找到以后会默认生成三个方案，大家可以自己去 DIY，北上广深 70% 左右的场景都可以看搜到的。

Q14：怎么提供 3D 建模服务？

A14：我们当前在淘宝的服务市场上已经提供了，大家可以去找服务商，这些服务商建过来的模型可以在我们的体系中使用。

Q15：异形房间智能快搭家居摆放的工作量会增加吗？正确率如何？

A15：诸如三角，圆弧这类的场景，我们目前的适配还比较差。

Q16：您演示的是 iOS 的适配，安卓的有吗？

A16：除了苹果的 RoomPlan 之外，其它的都会有。

Q17：知识图谱是怎么服务智能设计的？

A17：一块是应用层，另外一块是知识提取。首先知识图谱的构建过程是和设计师聊完以后，到底有哪些业务领域，领域之间的关系是什么，我们会抽象出一个行业的专家和我们之间通用的语言体系，完成图谱的 schema 的定义，方便我们去和设计师交流；第二个方面是如何去实现搭配的诉求，假设客厅中已经有了茶几，椅子等以后，然后要去找一个合适的样板间，把这组商品放进去，找样板间的过程就可以用知识图谱解决，它会通过商品的风格、尺寸，甚至一些价格的约束，像写 SQL 的方式一样去找到一个样板间，这就是一个比较简单的场景。

Q18：这些家具的识别是标注是手工添加的吗？

A18：都是自动标注的。

分享嘉宾

INTRODUCTION

胡晓航

淘宝

架构师

7年的3d、ar、vr从业经验，在三个赛道都有规模化的应用结果，3d模型库几百万，ar 峰值dau几百万，vr峰值dau几百万。