研究解读 测评方法 · arXiv 2611.26073
作者 Nagham Omar 等
AltRA-Test: An Alternative Annotator Test for LLM Judges Without Shared Annotators
Daily Papers 收录于

真实标注项目里,同一位评委通常不会看完所有样本。研究者反复抽取样本和人类标注,配成两组评委会:一组全由人组成,另一组把其中一个人的判断换成模型答案,两组在同一批材料上比较一致程度。

研究覆盖 20 个涉及文字、图像、音频和视频的数据集。模型约在一半的实际设置中通过检验,结论随任务改变。通过意味着在这一组任务上保留了标注者的共同信号,人类也可能一致地犯错。

统计检验里还包含一个判断标准:允许混合组的一致性最多降低多少。先定出可接受差距,再估计观察到的变化是否落在范围内,和仅仅发现“两组差异不显著”是两回事。对于分歧原本就很大的主观标注,这一点尤其影响如何解释测试通过。

原始资料