GPT-6-Astra 在 TheoPhysEval 中解出 50 道物理研究题中的 49 道,每题约 2.40 美元
一项新基准测试让商用 AI 智能体在无人类提示下求解 50 道理论物理研究题,OpenAI Codex 环境中的 GPT-6-Astra 答对 49 道(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:通过 TheoPhysEval 的 50 道理论物理题,读者可以看到各家智能体在真实科研计算上的差距与成本。
一项新基准测试让商用 AI 智能体在无人类提示下求解 50 道理论物理研究题,OpenAI Codex 环境中的 GPT-6-Astra 答对 49 道(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:通过 TheoPhysEval 的 50 道理论物理题,读者可以看到各家智能体在真实科研计算上的差距与成本。
微软研究院推出 StudentSim,一个在真实学习者测试之前评估和改进 AI 辅导系统的研究系统,它基于公开的去标识化学习记录训练个性化学生模拟器,每个模拟器对应一名学生。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和团队形式在中等与最高推理强度下运行,团队成本是单智能体的 1.8 倍到 5.1 倍。
Epoch AI 用基准 InnovationEval 测试 AI 智能体能否独立做研究,任务是发明一种改进语言模型训练后阶段的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 的单词加法测试。
GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含 219 个 pull request、覆盖 19 种语言。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解离线指标与线上实验的对应关系。
Aleph Alpha 用自建基准测试了阿里 Qwen、DeepSeek 和月之暗面 Kimi 等中国模型,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统仅将 17% 至 41% 的回答评为平衡,其余为重复官方立场、回避或拒答。
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准的 100 个随机任务上评测多个模型,GLM-5.3 在 4% 的试验中实现了完整的控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力门槛已被跨过。
微软研究院推出 MindTopo,一个评估多模态大语言模型拓扑推理能力的基准,覆盖连通性、分离、顺序、包围和绳结五类拓扑关系,并区分静态推理与交互规划两个认知层级。测试显示,当前专有与开源模型在静态识别上明显强于交互规划,且均远低于人类水平,失败多发生在规划阶段而非感知阶段。图像与视频生成仅在单帧关系可见时偶有帮助,跨多步操作时仍不可靠。