跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

9 条精选近 30 天 9 条共收录 32 条

更新

多模态的精选

10月16日周五第 1–9 条
  1. The Decoder82

    Meta 发布 Muse Spark Open,816B 参数重返开源权重赛道

    Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,面向编码与智能体任务,拥有 8160 亿参数(420 亿激活)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开源权重赛道,给出 816B 参数、百万 token 上下文与本地部署条件,可对照 Qwen、GLM、Kimi 看开源格局变化。

  2. NVIDIA Blog72

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,120B 参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,并称其精度接近 NVIDIA 最大推理模型而参数量约为五分之一。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出量化规格与部署入口,便于判断本地智能体的选型边界。

10月14日周三
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Argon,主打复杂工程与科研任务

    Google DeepMind 发布前沿模型 Gemini 4 Argon,即日起通过 AI Studio 和 Gemini API 面向开发者与企业开放,Google AI Ultra 订阅者可在 Google Antigravity 使用,Gemini app 与 Search 的 AI Mode 面向 Ultra 和 Pro 订阅者开放。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,读者可据此判断前沿模型在长程任务上的落地程度。

10月8日周四
10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、采用 Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可将文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用,可据此判断端侧多模态检索的落地门槛。

10月1日周四
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者,起价每百万输入 token 2 美元、输出 token 10 美元。

    推荐理由:官方给出 Argon 在编码、企业知识与网络安全上的基准与内部落地案例,可据此判断前沿模型的能力边界与分阶段开放节奏。

9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的生物世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind72

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言切换等具体细节,可据此判断企业级多模态交互的落地形态。

9月23日周三