OpenAI 首个视频模型将如何影响游戏行业？
2024-02-1613:49
* 转载本文，请附上所有参考文献链接
*本文 1600 字左右
OpenAI 新推出的首个视频生成模型 Sora，基本刷屏了朋友圈。但是，笔者发现了一个新的现象——那就是，引发了科技圈外很多专业电影人的关注。可见文生视频，对于当今的应用场景是多么的重要。
但更值得阅读的是 OpenAI 发布的关于 Sora 的技术报告《作为世界模拟器的视频生成模型》（Video generation models as world simulators）》。
其中提到了一些重点细节：
补片技术：视觉数据的创新转化。先将视频数据压缩到低维度潜在空间，再将它分解成时空补片，从而实现视频到补片的转化。 视频压缩网络：OpenAI 开发了能够处理原始视频数据的降维技术，生成在时间和空间上都进行了压缩的潜在表征。Sora 会在这种压缩的潜在空间中接受训练，继而生成新的视频内容。OpenAI 还开发了一个解码器，能够将这些潜在表征还原为像素级的视频 + 图像。 时空补片技术：通过处理压缩后的视频输入，OpenAI 具备提取出一系列时空补片的能力，这些补片在模型中扮演着类似于 Transformer Tokens 的角色。值得一提的是，这套方案同样适用于图像处理，因为从本质上来说，图像可以被视为单帧的视频。采用基于补片的表现形式，Sora 能够适应不同分辨率、持续时间及宽高比的视频和图像。在生成新视频内容时，OpenAI 可以通过将这些随机初始化的补片，按照需要的大小排列成网格，来控制最终视频的大小和形式。 视频生成的 Transformer 扩展技术，Sora 是一种扩散模型，能接受带有噪声的图像块（及条件信息如文本提示）作为输入，并被训练，从而能够预测出原始的“清晰”图像块。值得注意的是，Sora 属于扩散型 Transformer。
参考资料：
1.Video generation models as world simulators (openai.com)
2.OpenAI’s Sora video-generating model can render video games, too | TechCrunc
【阅读更多】
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
在 App 打开
