AI实验室已将声誉押注于模型基准测试——一套本应中立且准确的评估体系，旨在衡量一款AI产品是否优于另一款。
然而，Hugging Face首席政策官艾琳·索莱曼（Irene Solaiman）上周在TechCrunch Disrupt的一场讨论中表示，这些评估背后的方法复杂且仍在成熟之中。如果业界未来要依赖这些评估，测试就需要整合为一门更一致的科学。
有鉴于此，我们能信任目前发布的测试吗？
“信任是一个很有分量的词，”索莱曼说。“就可否信任结果而言，很大一部分在于你能否复现评估结果？你能否获得所需的模型访问权限——这正是开放权重发挥重要作用的地方，”她补充道。
模型评估的可复现性长期以来一直是基准测试中较为棘手的问题之一，并且仍是业界激烈辩论的话题。
除了单项测试的有效性之外，还有一个额外问题：该测试与其他评估相比如何。
“它们是一门不断发展的科学——我们尚不知道如何有意义地将它们相互比较，”索莱曼说。
“它们相对较快地开始失效，而我们还没有所需的繁荣生态，”她补充说。“现在人们渴望一个嵌入式评估器生态，但决定谁能在哪些任务上成为有效评估者的资质，需要更多标准化。”
嵌入式评估器的理念——即把据称“中立”的第三方观察者派驻到AI组织内部——在过去几个月里流行起来，原因是AI实验室正应对一连串安全事件，这些事件引发了人们对其技术潜在危害的担忧。Hugging Face就曾因成为此类事件的目标而广受关注。
实验室没有推动积极的政府监管来识别和缓解模型安全担忧，而是力推第三方解决方案。然而，这些评估器实际上会有多中立、多有效，仍存疑问。Anthropic决定聘请埃森哲（Accenture）作为其首个评估方，引发了大量反对，一些批评者嘲讽这家咨询公司有资格完成手头任务的想法。
评估如今正从仅测试模型本身，转向测试围绕模型的整个系统——包括运行框架和智能体。索莱曼分享道，运行框架——即用户访问模型所使用的工具——尤其与模型表现密切相关，一个较弱的模型搭配更好的运行框架，很可能轻松胜过前沿模型。
“智能体评估非常困难，也非常昂贵，”索莱曼说。“我们只是有更多针对模型的评估……针对运行框架的评估没有那么多，而我们正在为整体智能体开发更好的评估——因为很多人正从中获得价值，”她补充道。
换言之，目前的评估领域有些各自为战；如果基准测试要继续被视为行业领导者的有用工具，可能就需要一种更统一、全行业一致的做法——让所有人达成共识。
