2 月 28 日，由大众近 1，000 名顶尖学者打造的 AI 新基准“东说念主类临了一次施行”（HLE，Humanity's Last Exam）的相关论文发在 Nature。这套新试卷遮蔽数学、物理、化学、历史、谈话、医学，每一起题王人来景观家我方的推断领域，每一起题王人有惟一正确的谜底，每一起题也王人经过 AI 的教授，如若哪个 AI 大概答对，这说念题就会作废。

　　截止呢？GPT-4o 只拿了 2.7%，Claude 3.5 Sonnet 4.1%，OpenAI 最先进的 o1 模子，8%。发布之后，更强的 Gemini 2.5 Pro 和 GPT-5 也来挑战，一个 21.6%，一个 25.3%。可谓是扫地以尽，莫得一个能合格。

　　之是以出这套新卷子，是因为现时最灵巧的大模子在那些曾难倒无数学生的施行里，也曾大概考到 90 分以上。MMLU 这么一个包含 57 个学科、14，000 说念题盘算超难测试，AI 早就拿到了接近满分的收成。

　　因此，“东说念主类临了一次施行”的推出恰是为了跟上和妥当 AI 的发展。那么，这套题到底有多难？

　　有一起题是一张古罗马墓碑的像片，上头刻着帕尔米拉翰墨，条款 AI 把它翻译出来。帕尔米拉是古代叙利亚的一个城市，有我方的谈话和翰墨，然而咫尺也曾没东说念主说了。翻译这种翰墨，需要懂古闪米特语、懂考古学、懂历史学。

　　另一起题问：蜂鸟身上有一块特殊的籽骨，位于某块肌肉的腱膜里，这块骨头撑握着几根肌腱？谜底是数字。这就需要 AI 知说念蜂鸟的剖解结构，知说念那块骨头长在哪儿，知说念它连着几根肌腱，NBA篮球下注app最新版差小数王人不行。

　　还有一起题是数学，对于当然变换和余端，内部充满了 Σ、∞、Hom 这些符号。题目自身也曾复杂到让大大批数学系学生径直跳过，但谜底条款却是精准数字。

　　这套题的遐想逻辑很骄慢。每一起题提交之前，王人要让 AI 先作念一遍。如若 AI 作念对了，这说念题就不要。如若 AI 作念错了，才会插足东说念主工审核递次。审核要过两关，第一关是几个推断生水平的审稿东说念主提观念，第二关是大众拍板。通盘流程下来，1，000 个大众蹧跶几个月，从几万说念题里筛选出了这 2，500 说念题。

　　如前所述，MMLU 也曾无法得志现时 AI 的发展。2020 年，MMLU 刚出来的时候，AI 只可考三四十分。到了 2023 年，GPT-4 径直飙到 86 分。咫尺，开云app粗率一个开源模子王人能考到 90 分以上。当施行分数王人溢出来了，怎么测量 AI 的灵巧进程呢？因此，得换一套更难的新卷子。

　　“东说念主类临了一次施行”这套基准测试名字听着吓东说念主，但并不是字面原理，而是说这是 AI 临了一次可能考过的施行。比及 AI 哪天也在这套题上拿到 90% 的收成，阐述它也曾具备了大众级的学术才能。

　　那么，AI 咫尺不错考若干分？前边提到，最是非的 AI 也就施行 25% 傍边，距离 90% 还有很大的差距。何况更特别义的是，AI 不知说念我方不会。推断团队在让 AI 回报的同期给出信心分数，截止大大批 AI 明明答错了，却给出 80%、90% 的信心。这种过度自信畸形危急，如若 AI 用在医疗和法律这些领域，而它不知说念我方不知说念，就会出现大问题。

　　还有小数值得雅致。推断团队发现，推理模子在回报这套题的时候，念念考时辰越长，正确率越高。但当念念考时辰跳跃一定长度，正确率反而下落了。这阐述不是想得越久就越好，当念念考时辰跳跃某个临界点，可能便是 AI 在瞎绕。这也给 AI 拓荒提了个醒，以后不可光拼推理时辰，还得拼推理后果。

　　这套题咫尺也曾在网上公开了一部分，网址是 lastexam.ai。任何东说念主王人不错去望望这些题目长什么样，也不错望望我方能不可答对几说念。固然，大部分东说念主可能不太能答对，因为题目底本便是给大众出的。

　　那么，这说念题对于 AI 拓荒有什么用？

　　它就好比一面镜子，不错照出来 AI 到底有几斤几两。以后谁再声称我方的 AI 多是非，先拿这套题目考一下。考不外 25%，就谈不上越过东说念主类。透过这套题也不错看知道 AI 擅长什么和不擅长什么。比如，从咫尺的得分来看，AI 在数学和有计划机上的推崇稍好，然而在历史停火话上推崇得目不忍视。

　　这阐述 AI 的智能和咱们设想得还不雷同。论文里有一句话写得很克制，AI 在这些大众级问题上推崇很差，阐述真的的智能还需要深度、需要落魄文、需要专科常识。那些认为 AI 有时就要总揽宇宙的东说念主，通过尝试一下这套题目，可能就不邂逅那么悲不雅。

　　好意思国德克萨斯 A&M 大学的助理涌现阮东（Tung Nguyen，音译）参与了出题，他写了 73 说念，是孝顺第二多的作家。他告诉媒体，这套题是一种融会 AI 的递次。它就好比是 AI 的入学施行，通过建造这套门槛，咱们不错知说念 AI 强在那里、弱在那里，才能造出更安全、更可靠的时刻。同期，也阐述了东说念主类的专科常识依然伏击。

　　参考贵寓：

　　相关论文 https://www.nature.com/articles/s41586-025-09962-4

　　https://techxplore.com/news/2026-02-dont-panic-humanity-exam-begun.html#google_vignette

　　排版：胡巍巍

• AI
• 所有
• 开云app
• 学者
• 扫地以尽