一位Meta高管周一否认了一个传言，即该公司训练其新的人工智能模型在特定基准上表现良好，同时隐瞒了模型的弱点。

梅塔生成式人工智能副总裁艾哈迈德·达尔(Ahmad Al-Dahle)在X上的一篇帖子中说，梅塔在“测试集”上训练其骆马4 Maverick和骆马4 Scout模型“根本不是真的”在人工智能基准测试中，测试集是用来评估模型训练后的性能的数据集合。测试集上的训练可能会误导性地夸大模型的基准分数，使模型看起来比实际更有能力。

上周末，一个未经证实的谣言开始在X和Reddit上流传，称Meta人为提高了其新模型的基准测试结果。该谣言似乎源于中国社交媒体网站上一个用户的帖子，该用户声称已从Meta辞职，以抗议该公司的基准做法。

关于Maverick和Scout在某些任务上表现不佳的报道助长了这一谣言，Meta决定使用一个实验性的未发布版本的Maverick，以在基准LM Arena上获得更好的分数。X上的研究人员已经观察到公开下载的Maverick与LM Arena上托管的模型在行为上的明显差异。

Al-Dahle承认，一些用户看到了Maverick和Scout在托管模型的不同云提供商之间的“混合质量”。

Al-Dahle说:“由于我们在模型准备就绪后就放弃了它们，我们预计需要几天时间才能实现所有的公共实现。”“我们将继续努力解决我们的漏洞修复和入职合作伙伴。”