测试Qwen3.8 27B用英文单词做加法
热点事件观察中
测试Qwen3.8 27B用英文单词做加法
1 篇报道1 个报道来源2 天前更新
先了解这件事
报道摘要
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 的单词加法测试。
摘自 Simon Willison
最新进展10月5日 07:34
Qwen3.8 27B 用英文单词做加法的基准测试报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- Simon WillisonQwen3.8 27B 用英文单词做加法的基准测试
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 的单词加法测试。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。