跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

8 条精选近 30 天 8 条共收录 43 条

更新

端侧 AI的精选

10月16日周五第 1–8 条
  1. NVIDIA Blog62

    NVIDIA 发布 RTX Spark,面向创作者、玩家与 AI 智能体的 Windows PC

    NVIDIA 发布 RTX Spark,定位为面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。

    推荐理由:NVIDIA 官方公布 RTX Spark 面向本地 AI 的定位与全球发布活动,并汇总多家媒体对性能的早期评价。

  2. The Decoder80

    Black Forest Labs 发布开源图像模型 FLUX 3 Image Klein,8 GB 显存即可运行

    Black Forest Labs 发布 FLUX 3 Image Klein,这是一个 5.6B 参数的开源权重模型,支持文生图、图像编辑以及最多十张参考图的生成,原生支持 4K 输出、像素级编辑和用于元素定位的边界框。

    推荐理由:5.6B 参数开源图像模型在 8 GB 显存消费级显卡上出图,可据此判断本地部署门槛。

  3. NVIDIA Blog72

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,120B 参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,并称其精度接近 NVIDIA 最大推理模型而参数量约为五分之一。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出量化规格与部署入口,便于判断本地智能体的选型边界。

10月14日周三
  1. Google DeepMind62

    Google DeepMind 与新加坡政府合作推出端侧诈骗检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查消息,再用微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时会在设备上实时提醒用户。

    推荐理由:原文给出了端侧反诈模型的微调方式与两阶段流水线,读者可据此判断隐私与检测如何兼顾。

10月13日周二
  1. NVIDIA Blog76

    NVIDIA RTX Spark 笔记本 10 月 16 日上市,首发配套本地 AI 智能体与 Nemotron 3.5 Bolt 74B

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存、1 petaflop AI 算力,首发覆盖数百款游戏与 130 多个加速应用。

    推荐理由:NVIDIA 官方一次性列出 RTX Spark 首发日的本地智能体、模型与开发工具清单,可据此判断本地 AI 工作流的可用边界。

10月8日周四
  1. NVIDIA Blog78

    NVIDIA 与 Microsoft 发布 RTX Spark 笔记本及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断 Windows 端侧智能体的落地路径。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、采用 Apache 2.0 许可的开源多模态嵌入模型,参数量 740M,可将文本、图像、音频和视频映射到统一嵌入空间。

    推荐理由:官方给出 740M 参数、模块化编码器与量化后内存占用,可据此判断端侧多模态检索的落地门槛。

10月2日周五
  1. NVIDIA Blog60

    NVIDIA DGX Spark 推出 64GB 版本,双机集群可跑 200B 参数模型

    NVIDIA 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,单机支持最高 1000 亿参数模型。

    推荐理由:原文给出 64GB 新配置的定价、上市时间和双机集群性能数据,可据此判断本地跑大模型的门槛变化。