研究解读 科学出版 · arXiv 2611.20003
作者 Bahaeddin Türkoğlu
The novelty exposed: ablation, reproducibility and transparency in 40 technical reports of open-weight large language models (LLMs)
Daily Papers 收录于

论文从 40 份技术报告中辨认出 73 项关于架构或训练的新主张。其中 19 项有控制其他条件、分别加入和移除该改动的实验。这样的对照有助于回答“究竟是哪一处修改带来了提升”。

只有 4 份报告明确提到多次训练,1 份同时披露数据混合比例、词元数和算力。统计反映读者凭报告能复现到什么程度,并没有给模型本身排序。缺少一组对照,也不足以断定作者提出的改动没有效果。

研究对参考代码的比对,同样有一条边界。论文观察到 Hugging Face 的实现从约 2024 年起更常用已有模型作为新模型的起点,这会提高公共代码中的重用比例。看到两个注意力模块代码相似,只能描述这份实现的关系,不能据此指认原团队的研究路径。

原始资料