同城约炮 阿里Motionshop：一键AI自动替换视频东谈主物形象

原创 破狼 破狼 2024-02-04 00:16 四川同城约炮

阿里Motionshop：一键AI自动替换视频东谈主物Motionshop简介

阿里通义实验室发布了用3D扮装替换视频中东谈主物扮装的框架Motionshop，旨在结束AI自动识别视频中的洞开主体东谈主物，并一键替换成情理的3D扮装模子，生成一鸣惊人的AI视频。

Motionshop框架由两部分构成：

· 视频经管过程，用于索要树立后的布景视频序列。

· 姿态评估和渲染过程，用于生成头像视频序列。通过并行化两个过程，以及使用高性能的色泽追踪渲染器TIDE本领，结束了悉数这个词过程在几分钟内就能完成。

Motionshop职责旨趣

图片

Motionshop包括以下阶段：

全色网

· Character Detection: 通过将文本信息与现存的闭集检测器致密交融同城约炮，基于Transformer框架，结束零样本目标检测。

· Segmentation & Tracking: 在检测到目标后，使用一种视频对象分割追踪次第来追踪像素级的目标区域，该次第由粗鄙使用的零样分内割次第SAM启动化和优化。与径直使用SAM比拟，时序对应性能得回了擢升，以更好地经管视频分割任务。

· Inpainting: 对图像区域进行视频树立。具体，使用一种轮回流完陋习律来复原损坏的过程，使用双域传播次第在图像域和特征域上增强全局和局部的时序一致性，同期，使用一种寥落计谋，只考虑一部分token，提高遵循，缩短内存豪侈，同期保合手性能。

· Pose Estimation: 对扮装视频序列哄骗CVFFS次第来估算巩固的东谈主体姿态。使用SMPL东谈主体模子来示意3D东谈主体，这是一种粗鄙使用的参数化模子，用于东谈主体口头和姿态测度。

· Animation Retargeting: 将评估的口头和姿态再行映射到选拔的3D模子上。然后，将这个模子像原始视频中的扮装相通当然暴露地播放。

· Light Estimation: 在新的3D模子替换扮装时，需要与原始视频的光照条目保合手一致。Motionshop哄骗光照评估来更好地将新的3D模子和原始场景交融。

· Rendering: 使用一种旅途追踪渲染引擎TIDE来渲染新的3D模子。与精准系统采蚁合，辅以motion blur, temporal anti-aliasing, temporal denoising等算法。

· Composing: 临了，将渲染的图像与原始视频合成，生成最终的视频。

Motionshop在线体验

用户不错在modelscope体验。

· 体验地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

· 名目主页：https://aigc3d.github.io/motionshop/

体验口头

· 1：上传一个包含圆善东谈主物的视频。

· 2：选拔视频中要替换的东谈主物。

· 3：选拔要替换的虚构扮装模子并点击生成，大约恭候10分钟即可生成终局。

体验后果

图片

输出视频后果：视频中东谈主物被替换为可儿3D猪猪的形象同城约炮

本站仅提供存储就业，悉数实践均由用户发布，如发现存害或侵权实践，请点击举报。