Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

网易专栏4周前发布 admin
12 0 0

🤖 AI总结

主题

Seed-2.1-pro-0915版本升级,提升多模态Coding和Agent任务能力。

摘要

Seed-2.1-pro-0915升级大幅提升多模态Coding和Agent任务的可靠性与效率,能处理复杂仓库编码和交叉验证任务,降低成本。

关键信息

  • 1 工具调用幻觉得分从38.4%提升到64.8%,搜索幻觉改善近50%。
  • 2 Coding复杂仓库评测集提升12.4%,deepswe提升33%。
  • 3 Token效率优化,工具调用次数降低43%,Coding任务成本节省40%以上。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

最近Seed-2.1-pro又更新了。

上一次记得还是6月下旬,Coding能力有了一大波刷新,带来了很多有意思的场景落地。

最新升级到了0915,Doubao-Seed-Evolving同步更新到同一版本。

静态视觉和动态交互,都有了新的水准。给大家看看我做的网页质感:

提示词:

Use React + Tailwind + Framer Motion. Prioritize visual fidelity, lighting, animation and premium aesthetics. Avoid generic SaaS cards, purple gradients, stock images and excessive rounded corners. Make it fully responsive.

不过这次我更关心的,是复杂场景和Agent任务,可控性和综合能力到底如何。

尤其是多模态Coding和Agent场景的落地,市面上以往的SOTA模型,完成度相对一般。

视觉理解归视觉理解,代码生成归代码生成,两者之间的衔接经常断掉。

比如给它一张设计图让它还原成前端页面,它能把图描述得很准,也能写出结构不错的代码,但图和代码之间的对应关系经常错位。

更麻烦的还有Agent场景,工具调用幻觉严重,模型还没等到返回结果就开始编,编完还告诉你任务完成了。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

火山方舟:https://ark.volcengine.com/region:cn-beijing/model/detail?_vtm_=a441938.b75322.0_0.0_0.0.174_7680087491668166163&name=doubao-seed-2-1-pro

看到这次Seed-2.1-pro-0915的升级,工具调用幻觉专项得分从38.4%提升到64.8%,搜索幻觉改善接近50%,Coding复杂仓库评测集提升12.4%,deepswe提升33%。

看起来,模型已经开始学会等一等,学会确认了再说话。

跑了一些case,带大家来具体看看。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

01从视觉到互动,这一次很有味道

尝试了一些从静态网站到视频结合的场景,效果都不错。

用代码的方式,来实现一些好的设计。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

比如说,我上传一张潦草的手绘,希望能用代码实现透明、阴影、深蓝色渐变的官网展示效果。

提示词:

    print(f"生成失败: {e}")

Seed-2.1-pro这次还是很让人满意的,审美和视觉理解非常到位,对于我想要的网站效果,从手绘到代码呈现,中间的演绎很有艺术性。

一张很潦草的手绘图,它也能还原成完成度很高的前端页面。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

那么动态的、立体的效果怎么样呢?3D旋转、多图融合、高精度控制的场景,有可能实现吗?

我也试了试,希望有大写的橙色FW字母,以及一个360度旋转的魔法,魔法每一个面上都有一个时尚杂志的图片。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

提示词:

- Make the cube and FW the visual focus, with smooth premium animations and responsive mobile layout.

还有特别有意思的,是Seed-2.1-pro和Seedance视频能力的碰撞。

我用「Seed-2.1-pro+Blender MCP + Seedance」尝试了一下视频创作。

先用Seed2.1pro生成3D白膜的预演视频,作为参考来用Seedance生成最终视频。

在3D空间构图、场景布局、复杂人物动作、运镜控制等场景,可以得到非常好的控制。

似乎,从静态网站,到动态立体交互,再到视觉视频,在Seed-2.1-pro的能力辐射下,很多场景可以打通,产生了新的化学反应。

从一个超级SOTA模型,到和其他模型的联动,产生更多炫酷好玩的效果,这是很让我有惊喜的。

比如说下面这个视频,放以前可能我需要反复抽卡,但现在,创意实现在Seed-2.1-pro的辅助下就方便了很多。

02让Agent变得更好用

最新的Seed-2.1-pro,在Agent复杂任务的处理上,有了特别明显的提升。

经常看到海外一些关于AI的最新资讯、报告、研报,有些消息似是而非。

我有一个需求,是要让模型去做交叉验证,不只看文本,还要看领英人员轨迹和X伤的动态,以及硅谷活动的水下信息。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

这个任务的难点,在于信息降噪和证据溯源。

互联网上相关的花边消息铺天盖地,低信息密度的内容占绝大多数。

模型需要自己判断哪些信息值得信,哪些需要绕开。

我通过API调度了100多个子Agent并发检索,模型自主识别并剔除了大量PR软文。

模型把底层数据、社媒影像和财报文本做了交叉拟合,输出了一份机构级别的尽调报告,推导出已投产并量产发货的结论。

搜索工具不可用的时候,它没有编造,很果断换了另一条路去验证。

最近的工作日常,除了通过火山引擎调用Seed-2.1-pro的API,在豆包工作里,也已经可以选择最新的版本,来执行各项具体任务。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

还尝试了一下,复杂仓库的Coding能力。

我选了一个开源游戏项目Luanti,约38.7万行代码。

从2018到2026年的真实合并记录里筛选了1000个任务,覆盖渲染、网络、物理、存档、脚本API等13个模块。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

每个任务开始前,代码仓库回退到修复前版本,隔离官方补丁和后续Git历史,确保模型接触不到标准答案。

还有值得说的是Token效率。

平均任务输出Token减少5%,思考Token减少11%,工具调用次数降低43%。

工具调用次数下降这么多,说明模型不再反复试探,它看完代码结构之后能更快锁定目标。

这对实际开发成本的影响很直接。

我粗算了一下,综合峰谷价格,Coding任务平均成本节省40%以上。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

这个Case跑完,我对更懂复杂代码仓库这句话有了具体的体感。

模型不是靠上下文长度硬吃,它在项目结构、模块关系和上下文理解上做了优化。

面对长程跨文件的问题,定位根因和完成修复的能力比上一代明显增强。

03一些行业感受

能感受到,模型能力的提升曲线正在发生变化。

过去大家比的是谁更聪明,现在比的是谁更可靠。

聪明体现在单点任务上的惊艳表现,可靠体现在长程任务里不编造、不提前宣告完成、不返工。

Seed-2.1-pro-0915这次升级,在我看来核心就是可靠性。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

工具调用幻觉从38.4%到64.8%,这个提升幅度说明技术团队在定向优化模型的行为模式。

搜索工具不可用时诚实说明而不是编造,等待真实结果返回再下结论,检查返回内容再声明完成。

这些行为听起来很基础,但在Agent场景里,它们是区分玩具和工具的分水岭。

多模态Coding和Agent这个方向,我认为接下来会分化出两个赛道。

一个是视觉理解加代码生成的短链路,比如设计图转前端页面。

另一个是视觉理解加工具调用加长程执行的复杂链路,比如尽调分析、跨应用操作、复杂环境感知。

Seed-2.1-pro-0915在两个赛道上都有布局。

VLM的3D物体识别和密集图文文档解析能力在增强,Computer Use和VLM Agent的能力在把视觉理解接入实际操作。

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

豆包大模型2.1发布时有一个说法,面向生产级任务的新起点。

从0915版本的表现来看,这个起点正在变成一条实线。

Seed LLM基模的发力方向很清晰:不是做最会聊天的模型,是做最能交付任务的模型。

对开发者来说,现在终于可以认真把更复杂的任务交给模型了。

对行业来说,Agent的落地门槛也在降低,更多的场景正在打开。

对Seed,接下来我很期待……

Seed-2.1-pro的品味,让我觉得多模态Coding和Agent能力就该是这样

朋友圈会发一些具体的案例和商业化日常~

© 版权声明

相关文章