# TransPixar:为 AI 视觉效果带来透明度的创新技术 来自 Adobe Research 和香港科技大学(HKUST)的团队开发了一种人工智能系统,可能会改变电影、游戏和互动媒体中视觉效果的制作方式。 这项技术被称为 TransPixar,为 AI 生成的视频增加了一个关键特性:创建透明元素(如烟雾、反射和空灵效果)的能力,这些元素可以自然地融入场景中。当前的 AI 视频工具通常只能生成实体图像,这使得 TransPixar 成为一项重大的技术成就。 “Alpha 通道对于视觉效果至关重要,它允许透明元素(如烟雾和反射)无缝地融入场景中,”Adobe Research 的项目负责人、该论文的作者之一 Yijun Li 说。“然而,由于数据集有限以及难以适应现有模型,生成包括透明度的 RGBA 视频仍然是一个挑战。” 这一突破正值娱乐、广告和游戏行业对视觉效果的需求持续飙升之际。传统的 VFX 工作通常需要艺术家付出艰苦的努力来创建令人信服的透明效果。 TransPixar 的透明度效果演示展示了一个具有复杂反射表面和无缝 alpha 通道融合的逼真机器人,使图像能够集成到任何背景中。(来源:Adobe Research) # TransPixar:将透明度引入 AI 视觉效果 TransPixar 特别值得注意的是,它能够在使用非常有限的训练数据的情况下保持高质量。研究人员通过开发一种新颖的方法来实现这一目标,该方法扩展了现有的视频 AI 模型,而不是从头开始构建一个模型。 “我们为 alpha 通道生成引入了新的令牌,重新初始化了它们的位置嵌入,并添加了一个零初始化的域嵌入来区分它们与 RGB 令牌,”香港科技大学的主要作者和研究员 Luozhou Wang 解释说。“使用基于 LoRA 的微调方案,我们将 alpha 令牌投影到 qkv 空间,同时保持 RGB 质量。” 在演示中,该系统展示了从简单的文本提示生成各种效果的令人印象深刻的结果 - 从旋转的风暴云、神奇的门户到破碎的玻璃和滚滚的烟雾。该技术还可以为具有透明度效果的静态图像制作动画,为艺术家和设计师开辟了新的创意可能性。 研究团队在 GitHub 上公开了他们的代码,并在 Hugging Face 上部署了一个演示,允许开发人员和研究人员对该技术进行实验。 TransPixar 生成的红色飞机展示了 AI 系统创建具有精确透明度效果的对象的能力,此处显示在棋盘背景上,揭示了无缝的 alpha 通道集成 - 这是 AI 生成视觉内容的关键技术进步。(来源:Adobe) # 为创作者改变 VFX 工作流程 早期测试表明,TransPixar 可以使视觉效果制作更快、更简单,特别是对于无法承担昂贵效果工作的小型工作室。虽然该系统仍然需要大量的计算能力来处理较长的视频,但其对创意产业的潜在影响是显而易见的。 这项技术的重要性远远超出了技术改进。随着流媒体服务需要更多内容和虚拟制作的增长,AI 生成的透明效果可能会改变工作室的运作方式。小型团队可以创建曾经需要大型工作室的效果,而大型制作可以更快地完成项目。 TransPixar 对于实时应用可能特别有价值。视频游戏、AR 应用和现场制作可以立即创建透明效果 - 这在今天需要数小时或数天的工作。 这一进步对于 Adobe 来说是一个关键时刻,因为像 Stability AI 和 Runway 这样的公司正在竞相开发专业的效果工具。大型工作室已经在寻求 AI 来降低成本,这使得 TransPixar 的时机非常理想。 娱乐业面临着三个日益增长的挑战:观众想要更多的内容,预算紧张,而且没有足够的效果艺术家。TransPixar 通过使效果更快地创建、更便宜和质量更一致来提供解决方案。 真正的问题不是 AI 是否会改变视觉效果 - 而是传统的 VFX 工作流程是否在五年内甚至还会存在。