视频版 GPT-Live 来了!事事有回应,时时它都在

网易专栏3周前发布 admin
12 0 0

🤖 AI总结

主题

形界智能发布Genesis-1.0,实现视频双工与24小时长时交互的AI互动娱乐基础设施。

摘要

Genesis-1.0通过解耦架构实现低延迟视频双工交互,支持24小时稳定生成,成本低于行业平均,为AI陪伴和虚拟人直播提供新基础设施。

关键信息

  • 1 Genesis-1.0将规划层与感知渲染层解耦,实现低延迟视频双工交互。
  • 2 支持24小时稳定生成,解决长时误差累积与IP漂移问题。
  • 3 定价0.003美元/秒,成本低于行业平均水平,适用于AI陪伴、虚拟人直播等场景。

视频版 GPT-Live 来了!事事有回应,时时它都在

视频版 GPT-Live 来了?

似乎,我们正在见证一个「长时、智能的AI互动娱乐基础设施」的诞生。

麦克卢汉说过,媒介真正塑造的,是「人类关联与行动的规模和形式」。

未来最成功最有代表性的公司或个体,很可能都将呈现同一种特征:一半媒体,一半机器;既生产产品,也生产现实。

从文本到语音,到视频,再到世界模型,AI正在从回答问题走向陪伴用户,以及用新交互创造新世界……

视频版 GPT-Live 来了!事事有回应,时时它都在

上面的这些感受,都来自于形界智能这次发布的 Genesis-1.0。

实时,持续互动,模型能在一个开放环境里不断理解我、回应我,还能维持住自己的状态。

视频版 GPT-Live 来了!事事有回应,时时它都在

官网:https://www.frame-x.ai/models/genesis

过去的AI产品,用户一次打开,是为了得到一个答案;

但在AI陪伴、虚拟人、直播互动等新场景里,用户正在逐渐进入更长时间、更高频的持续互动。

而这一切背后的模型基础设施,也在构建一个更精彩的沉浸式娱乐宇宙的雏形。

当我发现,可以像跟真人主播一样,在直播间实时互动,事情变得越来越有趣了……

视频版 GPT-Live 来了!事事有回应,时时它都在

01视频版 GPT-Live,非常有想象力

之前做过不少视频生成和数字人测评。

很多时候,生成的片段给我一种预制菜的感觉,像视频片段拼接起来的回应,缺少一个稳定世界。

Genesis-1.0 提出的新架构里,有一个点我很感兴趣。

它把规划层和感知渲染层解耦。

Genesis-1.0 具备视频双工能力,负责感知用户、渲染画面,实现极低的端到端角色行为延迟,包括动作和表情。

Genesis-1.0-Brain 则负责处理语言风格以及 MCP 调用等。

视频双工场景里,语言智能和视觉行为智能需要不同的优化路径。

Brain 处理内容、风格、工具调用,渲染层处理看和动。两者解耦,开发者更容易理解,也更容易接入。

视频版 GPT-Live 来了!事事有回应,时时它都在

基于新的视频双工架构,从数据和效果看,Genesis-1.0 已经在生成时长、响应速度、应用成本上达到业内领先的 Interactive Avatar 水准。

全身渲染支持;端到端画面延迟最佳 1.2 秒;最大生成时长是 24 小时。

效率和成本还能有很好的平衡,Pricing 是 0.003 美元每秒,行业平均价格在 0.006 美元每秒……

相比HeyGen LiveAvatar,Runway Avatar等上一代的数字人产品,我想说已经来到了新的竞争维度。

视频版 GPT-Live 来了!事事有回应,时时它都在

对于开发者来说,纸面参数还在其次,关键这是产品能不能成立的边界。

我在想,一个 AI 陪伴产品,如果每 5 分钟就要重启一次世界,用户体验会断。

一个虚拟人直播,如果响应超过 2 秒,互动感会明显下降。

同样,一个互动娱乐应用,如果成本压不下来,商业模型就跑不通。

Genesis-1.0 作为一个长时、智能的AI互动娱乐基础设施,已经悄悄把很多背后的技术支持做到了更好。

我之前的创业项目,意识永藏,是一个面向老年富豪群体的意识上传以及定制化陪伴,一度因为模型能力和配套设施的限制,在家族形象传承、数字人交互上,存在各种问题。

但现在,长时陪伴、类人交互,新的可能性因为Genesis-1.0重新打开了。

02新交互带来全新体验,类人交互有了行为闭环

类人的感觉,外表、静态视觉还在其次,行为才是关键。

体验下来给我的感觉是,Genesis 能感受到我的存在。

Genesis-1.0 同时具备主动感知与生成能力,支持和用户摄像头直接交互,并以极低的端到端延迟,实时反馈角色的行为。

很多数字人产品,它们能说话,能对口型和能做预设动作,但一旦打开摄像头,它们就露馅了。

这种交互本质上还是 Chatbot 加一层视频的皮。

真正的视频双工,需要模型持续看到用户,并把视觉理解直接转化为下一步行为。

Genesis-1.0 在视频双工场景中,展现出类人交互和端到端推理能力。

看起来是一个视频,其实背后包含了三个交互效果。

我说话时,它会思考,能互动打招呼、倾听,甚至还会模仿人:

聆听是感知,思考是推理,反馈是决策,表达是生成。

四个环节都要在极低延迟下完成。更低的的响应速度,放在这个闭环里,才有意义。

在我看来,这个能力会直接影响 AI 社交和陪伴产品的形态。

过去的 AI 陪伴更多是文字和语音,用户想象对方的形象。

视频双工加入后,用户直接看到一个角色,角色也直接看到用户。互动从语言扩展到表情、动作、视线和环境。产品设计空间会变大。

虚拟人直播可以实时回应观众动作。AI 陪伴可以感知用户情绪和状态。互动娱乐可以让用户成为场景的一部分。

这些场景都需要模型持续看到用户,并且把视觉理解转化为下一步行为。

0324h 形象不崩,视频双工有了长度的跃迁

24 小时,我觉得不只是生成时长变长。

过去实时视频生成,主要采用 Auto-Regressive 方式连续生成,模型以前序生成结果作为上下文,持续预测后续内容。

随着生成时间拉长,微小误差不断累积,最终会导致 IP 漂移和场景状态崩溃。

所以实时视频从分钟级走向长时生成,核心难题在于更长的时间尺度上保持世界状态稳定。

生成更多内容只是表面,真正难的是让模型始终知道世界现在是什么样,下一刻应该发生什么。

视频版 GPT-Live 来了!事事有回应,时时它都在

形界智能的Genesis-1.0,他们认为视频模型最终应该自己学会理解和维护世界状态。

不需要把世界拆成一套额外的 3D 表示,可以直接在视频表征中学习世界的结构、状态与变化规律。

这种统一的视频表征也更符合 Scaling 规律。

随着模型规模、数据规模和训练规模提升,模型可以持续学习更复杂的世界与交互,而无需同步扩张一套外部的结构化世界表示。

形界想走的路,是让视频模型自己在表征里学会世界状态。

Genesis-1.0 针对长时误差累积与生成一致性进行专项优化,将业界约 5 分钟级的互动时长,提升至稳定 24 小时。

视频版 GPT-Live 来了!事事有回应,时时它都在

因为长时生成最怕只看开头。开头漂亮没有意义,24 小时后的状态才说明问题。

人物身份是否一致,服装是否漂移,场景结构是否稳定,物理交互是否合理,行为逻辑是否连贯。这些才是世界状态稳定性的真实考题。

这让我想到长上下文 LLM 的能力演进。长上下文是在更长的历史中,依然能够正确理解当前状态并做出下一步判断。视频世界模型也是如此。

长时生成是在更长的时间里,始终知道世界现在是什么样,以及下一刻应该发生什么。

Genesis-1.0 让视频生成从生成一段内容,走向持续维护一个状态。

对于我们这些开发者、参与者,也意味着虚拟人直播、AI 陪伴、互动娱乐等产品,可以从每次生成一段内容,真正升级到一个角色持续存在。

新的关系感、养成感、陪伴感,体验也会得到大的升级。

04模型即产品,下一代 AI 社交与陪伴的基础设施

Model is Product 的时代,Genesis 本身就是一款高成熟度的产品。

不管是开发者还是普通玩家,拿到的不再只是一个视频生成能力,是一套全新的互动内容生产方式。

Genesis-1.0 把规划层和感知渲染层解耦,也是降低门槛的一部分。

Brain 处理问答内容、语言风格和 MCP 调用。

视频双工层负责感知用户、渲染画面,实现极低的端到端角色行为延迟。

开发者可以更灵活地接入自己的业务逻辑。需要工具调用,交给 Brain。

视频版 GPT-Live 来了!事事有回应,时时它都在

需要视觉交互,交给视频双工层。

需要长时稳定,交给 Genesis-1.0 的世界状态维护能力。

分工很精准也很实用。

背后的团队,年轻、快、务实、一直在向市场交付东西。

从产品到模型,都给我一种很有突破创新精神的感觉。

持续在场、持续感知、持续回应。

未来一两年,视频模型的竞争会从单次生成质量,转向持续互动质量。

谁能在一个更长的时间尺度上维持世界状态,谁能让角色持续存在,谁能以极低延迟理解用户并回应,谁就能拿到下一代互动娱乐和 AI 陪伴的入场券。

尼尔·波兹曼,Neil Postman,美国著名媒介理论家,《娱乐至死》的作者,长期在纽约大学研究媒介生态学。

他有一个极其重要的判断:技术变化不是叠加式的,而是生态式的。

他的意思是,一项新技术进入社会,并非在原来的世界上多加一个工具,它会把整个环境一起改掉。

Genesis-1.0 就在改变一整套环境,在构建一个新的AI原生的娱乐及陪伴生态。

视频版 GPT-Live 来了!事事有回应,时时它都在

官网:https://www.frame-x.ai/models/genesis

快去官网看一看!还有24小时无人在线的直播间,数字人主播全天侯陪你互动!

也许,这将是我们和AI深度关系的开始……

视频版 GPT-Live 来了!事事有回应,时时它都在

朋友圈会发一些具体的案例和商业化日常~

© 版权声明

相关文章