VBench直接干到了第一！这一次，视频生成「压番」全场的是家央企
机器之心原创
高难度武打视频，也能「手拿把掐」。
TeleAI-VAST在VBench榜单上表现亮眼。
项目链接：https://huggingface.co/spaces/Vchitect/VBench_Leaderboard
视频质量同样出色，以 88.60% 的总分独占鳌头。无论是画面稳定性、时序连贯性，还是视觉风格的把控，均表现不俗。
它算是把物理玩明白了
作为中国电信 2024 年数字科技生态大会的重要环节，今天的 TeleAI 开发者大会展示了一段令人印象深刻的 AI 视频。
这段 3 分钟的视频不仅能从容驾驭 4 个主角，还能流畅切换多个场景。
提示词：An overhead view of a parrot flying through a verdant Costa Rica jungle, then landing on a tree branch to eat a piece of fruit with a group of monkeys. Golden hour, 35mm film.
而随着视频时长延长、主体数量增加，一致性难度会呈指数级上升。但从 VBench 评测榜单可见，TeleAI 的模型在主体一致性（subject consistency）方面表现出色，对付这一技术难点自然有一手。
从大会展示的视频效果看，四位女主角在多场景切换中保持了高度的形象稳定性，也印证了这一点。
下面两个视频展示了视频生成大模型在多场景连续性上的实力。
从公交车、大街，再到酒吧和餐厅，目标主体的外观始终保持一致：面部特征（包括佩戴墨镜）、服装、发型都很稳定，没有出现不连贯的情况。
从坐在教室听课的学生到穿学士服领毕业证，服装、造型随着场景在变，但一眼就能认出「这就是那个姑娘」。
更值得注意的是，凭借强大的语义表达能力，模型还展现出了类似 Sora 的镜头调度能力。
它能在一个视频中创建多个镜头，并准确保留角色特征和视觉风格。这种多镜头叙事的手法让画面具有了强烈的电影叙事感。
这段 AI演练视频也展现了令人印象深刻的多镜头叙事。
一会儿在天上俯拍，把整个舰队尽收眼底；一会儿从航母甲板上，特写舰载机起飞的瞬间。还有从摄影船上水平拍摄、空中跟拍，甚至水下拍摄。
一套「组合拳」打下来，确实玩出了大片的味道。
事实上，与目前 Sora 生成的默片相比，这个 AI 演练作品还有一个更胜一筹的地方。
Sora 虽然在画面生成上表现出色，但缺少声音确实削弱了视频的感染力。TeleAI 视频生成大模型在这方面实现了突破，能够同步生成与画面完美契合的音频效果。
不过，当前的视频大模型除了要应对目标一致性的挑战，还面临着一个更基础的问题：对物理规律和常识的理解还很肤浅。这导致它们经常翻车。
人在跑步机上莫名其妙地倒着跑。
体育视频更是重灾区。体操运动员四肢横飞、身体扭曲、与单杠、垫子的交互完全脱离物理法则，场面非常恐怖。
TeleAI 视频生成大模型在遵循物理和常识方面展现出突出实力，在 VBench 测试中的人体动作和物体分类两项指标都拿下了满分。
就说这个跳水片段。人物从悬崖边腾空到入水的整个过程，动作姿态流畅自然，符合物理定律，也没有 AI 生成常见的扭曲变形。悬崖边的浪花效果也很逼真。
TeleAI 开发者大会秀出的视频中，女主跃入大海时，肢体没有横飞和扭曲。
跳水还只是单人项目，再看这段打戏，难度可就更大了。
一个是动作要协调。两个人打起来，一个出拳另一个要躲，动作配合要天衣无缝。其次，距离感也得把握好，打近了怕穿模，太远又显得够不着。
这段视频展现了 AI 在多主体互动场景中的出色表现。
武器碰撞、进攻防守都很到位，真假美猴王和武器也没有穿模，打斗场面比较自然流畅。即使在高速运动中，美猴王的外貌、服装和武器也没走样。
回看此前的 AI 演练视频，模型在多主体场景的物理模拟方面同样表现出色。
无论是空中编队飞行，还是多个主体的动态位置和姿态，都保持了合理的空间关系，避免了穿模问题。
火焰和烟雾的形态与扩散过程，也都严格遵循物理规律，呈现出真实可信的视觉效果。
而这个摘头盔的片段，特别能说明大模型处理复杂动作序列时的能力。
人的手指与头盔的交互准确自然，摘头盔时头发的晃动效果逼真，整个动作序列显得连贯流畅。画面中没有出现「六指」或手指穿模等常见缺陷。
场景的远近层次感也处理得当。远处的火山爆发场景自然虚化，而近处的人物保持清晰，使整个画面看起来层次分明又不显呆板。
TeleAI 在保持目标主体一致性和还原真实世界细节方面的突破性进展，可不仅仅是为了玩视频生成，他们盯上了一块更大的蛋糕：AI 短剧市场。
短剧近年来太火，打开 App Store ，榜首基本被短剧应用霸占。用户就爱这种几分钟的「快餐」，剧情快，看着过瘾。
要说市场规模，去年短剧就已经到了 373.9 亿，比前年暴增 267.65% 。这数字已经顶得上电影票房的七成了。今年预计还要突破 500 亿，直逼电影市场。
目前已有创作者使用 AI 制作短视频，一些作品播放量轻松突破百万。业内普遍看好视频生成在中国的发展前景，认为 AI 将为短视频产业，特别是短剧行业带来重大机遇。
不过，要说用 AI 拍完整短剧，还有不少坑要填。短剧制作很复杂，要搞定剧本、人物、视频、音频，最后还得串成完整的故事。现在创作者得在各种 AI 工具间倒腾，连 Sora 都做不到「一条龙」服务。
TeleAI 在这件事上拿出了态度：
他们已经完成了语义、语音、视觉、多模态等技术的全模态布局，目标是将这些能力整合，实现用户输入故事构思即可「一键生成」短剧的愿景。
在具体实现上，他们的星辰大模型可将创意构思转化为成熟剧本，通过文生图技术塑造人物形象，根据剧本生成分镜图，最后基于这些素材生成外观统一、情节连贯的视频片段，最终合成完整短剧。
就拿这个视频模型来说，为了做短剧，TeleAI 没跟着 Sora 走一样的路，而是另起炉灶，全自研了二阶段视频生成技术 VAST。
通过两阶段生成框架——先画分镜，再生成视频，这项关键技术显著提升了短剧创作过程的可控性。
说得更具体一些。
第一阶段就像导演画分镜，借助多模态大模型和自回归技术，将文字描述转换成一系列分镜头。这些「分镜」包含了人物姿势、场景分布、远近关系等关键信息，相当于给后面的视频生成打好了草稿。
第二阶段如同真实拍摄，让扩散模型根据这些「分镜」开始生成视频画面。通过将「分镜」作为条件输入，并结合文本描述和目标主体的外观特征，生成能够精准控制主体位置、动作和外观的视频内容。
比如短剧的一场打戏，大模型会先规划出完整的动作编排：从出手角度、躲闪走位到环境互动，都在分镜中预先设定。
当系统生成实际画面时，就能严格按照这份草稿来呈现，确保每个出招防守都准确到位，武打场面既符合物理规律，又富有观赏性。
TeleAI 视频生成大模型的进化仍在加速。它的下一步规划令人期待：多目标控制、镜头运动、3D 渲染全面升级。而这一切，都将在即将到来的一站式 AI 短剧平台中实现。
想象一下：一个创意、一台电脑，就能完成从剧本创作到视频生成的全流程。当 Sora 还在实验室里磨练时，为什么不先来尝试已经触手可及的创作利器？
对于每个怀揣故事梦想的创作者来说，TeleAI 正在让「一个人拍一部剧」成为现实。这扇通向 AI 短剧时代的大门已经打开，而你，准备好成为下一个创作先锋了吗？
