你真的看懂 Sora 了吗?
现有的短视频创作生态(抖音等),极大可能被Sora率先颠覆,很快将会出现基于AI视频的新型互联网平台。
OpenAI 的文生视频模型Sora可以生成一段 60 秒的高度逼真的视频。
这个模型的疯狂之处,
在于让非技术人员感到难以置信!
在于让技术人员瑟瑟发抖的说:“请不要让我失业。”
以下用四句话简述Sora的技术原理:
1、AI从一个视频中解析出每一帧图片,
2、AI为每一帧图片打标签(比如:红色小狗雪地中快跑),
3、AI把每一帧打标签图片中的图像元素(比如红色小狗、雪地)以加密、可控的形式勾勒出来成图像元素流。
4、AI根据关键词把不同视频中图片的图像元素流叠加形成新的视频。
图像元素流被压缩并转化为所谓的“Patch”——一种随时间变化的色块。
Patch 是 Sora 的基本单元,就像 GPT-4 的基本单元是“Token”。
Token 是文字的片段,而 Patch 则是电影的片段。
GPT-4 被训练以处理一串 Token,并预测出下一个 Token。
Sora 遵循相同的逻辑:它处理一系列的 Patch,并预测出序列中的下一个“Patch”。
Sora模型 之所以如此强大,在于它让 OpenAI 能够在大量的图像和视频数据上训练。想象一下从每一个现有的视频数据中剪出的Patch(海量的图像元素流)按算法叠加后输入到模型,这个过程对算力、存储的需求是不可想象的。
Sora模型 使用的架构是Diffusion Transformer 模型,与其他模型的巨大不同之处在于,他可以使用GPT4的技术预测视频的下一段内容,可以完全模拟现实中的任何场景,强大的模拟能力基于他模型的训练模式,因为处理的对象是Patch,他不需要对训练用的视频进行大小剪裁等预处理工作,所以,可用的视频数据量海量增加,理论上,所有视频均可用于Sora模型训练。
Sora将对现有产业链、就业模式、投资方向进行重构。
OpenAI Sora于16日推出,刚刚三天,国内已有大量机构发布了相关研究报告。相关机构纷纷给予Sora极高评价,“AI生成视频的里程碑”、“跨越式发展”、“全新的时代”等溢美之词不绝于耳。Sora模型推动AI多模态领域飞跃式发展,AI创作等相关领域将迎来深度变革,Sora显著领先于其他文生视频模型,推动AI视频生成进入了一个全新的时代,AI视频将快速进入大规模应用期。
现有的短视频创作生态,极大可能被率先颠覆,很快将会出现基于AI视频的新型互联网平台。
新型AI视频互联网平台对AI算力的需求将是巨大的,因此AI算力提供商也将是未来需要重点关注的行业方向。
因互联网上已有大量的评述,对影视动画行业的冲击这里不再赘述。
当很多人还在懵圈的时候,第一拨靠Sora赚钱的人已经出现了。
我们长着七窍玲珑心的国人研究前沿技术不行,但是研究赚钱的路子那绝对是世界一流。
Sora培训班!就问你服不服!
Sora应该只是OpenAI暴漏出来的想让我们看到的一个模型。相信OpenAI手里还有大量的能力没有透漏给外界。
一年前,OpenAI推出ChatGPT后,国内几大公司也快速跟进,推出了自己的各类大模型应用,但经过这一年的对比使用,相信所有人都有一个共同的结论,国内公司的大模型应用与ChatGPT根本不是同一级别的。
一年后的今天,OpenAI又推出Sora,我猜,国内的几大公司在可预期的几年内是不可能推出类似的文生视频能力的,因为没有充足的算力,没有自己的技术模型。
一年的时间,我们与OpenAI的差距不是缩小了,而是以级数级的速度扩大中。。。