【新智元导读】AI频频刷新基准测试纪录，却算不清「strawberry」里到底有几个字母r，在人类看来很简单的问题却频频出错。这种反差促使创意测评兴起，例如由一名高中生开发的MC-Bench，用Minecraft方块「竞技场」模式评价AI能力。这种新的测评范式，或许更贴合人类对AI直观、创造性能力的实际期待。
「strawberry中有多少个r」和「在LSAT法学考试中获得88分」哪个更难？
对于现如今的LMMs来说，通过各种人类「听着就头痛，看又看不懂」的基准测试似乎已是家常便饭。
比如DeepSeek-R1发布时在6大基准测试（包含AIME、MMLU、MATH-500等）中超过o1取得领先。
但是对于人类来说依靠直觉和下意识就能回答的问题，LLM们似乎集体有点「发懵」。
很难理解OpenAI的GPT-4能够在LSAT考试中获得第88百分位的成绩，但却无法数清楚「strawberry」中有多少r。
除了复杂的基准测试，另外一种评价模型好坏的方式就是「竞技场模式」。
比如可以在Chatbot Arena进行上提问投票，选出面对相同问题时的「最佳模型」。
但是这种依靠Chat模式的评测依然不太直观，于是各种各样的创意评测就诞生了。
创意评测的魅力
Minecraft Benchmark（或 MC-Bench）像一个竞技场，在一对一的挑战中针对相同提示生成Minecraft作品。
「对决双方」由用户投票选择哪个模型做得更好。
并且只有在投票后才能看到每个Minecraft建筑是由哪个AI制作的。
目前MC-Bench的榜单上，Claude3.7暂时领先，deepseek-r1位列第5，但是考虑到DeepSeek-R1的发布时间，Claude3.7、GPT-4.5和Gemini2.0都相当于是「新一代」的模型了，期待DeepSeek-R2出来后的榜单！
像MC-Bench这样的创意评测，优势非常明显：普通人也能轻松参与，像「选美」一样简单直接。
创造MC-Bench项目的仅仅是一名高中生Adi Singh，在将Minecraft用于AI评测这件事情上，Adi Singh觉得Minecraft的价值不在游戏本身。
而是作为有史以来最畅销的电子游戏，即使对于没玩过Minecraft游戏的人来说，仍然可以选择自己更喜欢的「方块样子」。
MC-Bench是合作开发的，除了Adi Singh外，贡献者还有7位，包括了「提示词创意官」、技术主管和开发者们。
并获得了Anthropic、Google和阿里巴巴等公司的技术支持。
传统LLM评测：严肃认真但未必管用
因此AI构建者正在转向更有创意的方法来评估Gen-AI模型的能力。
再比如，claude-3.7-sonnet有一个令人印象非常深刻的Minecraft模型，根据提示「韩国友谊之钟」生成。
游戏测评AI似乎依然是「主流创意」
那么如何评测新模型的「思考」能力呢？
