新鲜AI产品点击了解:https://top.aibase.com/
2023年，我们看到了扩散模型推理速度方面的一些重大理论改进，例如Song等人的原始一致性模型论文，以及最近的LCM。（另外，对抗扩散蒸馏。）我们已经开始看到使用这些想法的项目，例如Dan Wood的Art Spew(每秒77512×512图像，在单个4090上)、Modal的Turbo.art(基于SDXL Turbo) 和fal.ai的30fps脸部交换。
引入了感知遮挡的场景参数化，将场景解耦为遮挡、人体和背景三个部分。提出了一种新的渲染框架，分别渲染这三个部分，并设计了新颖的优化目标，以确保遮挡的清晰解耦和更完整的人体呈现。在具有挑战性的遮挡密集野外视频上对方法进行了评估，展示了其在呈现遮挡人体方面的有效性。Wild2Avatar通过与Vid2Avatar（基线）和原始视频的对比，呈现了其在解决被遮挡人物渲染挑战方面的独特性能。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。
特色功能: