高管简报 · 利奥波德·阿申布伦纳（Leopold Aschenbrenner）· 2024 年 6 月
态势感知未来十年
一篇 165 页的长文，论断层层递进：AGI 约在 2027 年到来，一年左右后超级智能接踵而至，而收官之局将由美国国家安全体系执掌。全文精要，尽在此页。
结论先行
五句话读懂全文
- 细数数量级。算力、算法效率与 Unhobbling（松绑：解除模型身上的人为束缚，类似于让天才从“只许口答”变成“纸笔电脑任用”）三股趋势叠加，2027 年实现 AGI（通用人工智能：在绝大多数脑力工作上能与人匹敌，类似于一位样样都能上手的全能同事）的可能性“高得惊人”。届时的模型将胜任 AI 研究员的工作。 I
- 随后骤然加速。数以亿计的 AGI 副本投身 AI 研究，可能把十年的进展压缩进一年之内，约 2030 年抵达 Superintelligence（超级智能：全面远超人类的 AI，差距好比博士之于一年级小学生）。 II
- 这是一场工业级的大建设。到 2030 年，单个训练集群造价逾 1 万亿美元、耗电 100 GW，全球 AI 年投资约 8 万亿美元，电力需求相当于美国当前的全部发电量。 IIIa
- 实验室还没准备好。安保只有“随便一家初创公司”的水准，而如何可靠地驾驭比人更聪明的 AI，至今无人知晓。 IIIb IIIc
- 于是，AI 成了国家安全问题。超级智能在军事上具有决定性意义，自由世界必须保住领先。约 2027/28 年，由美国政府主导的 The Project（“项目”：作者预言的 AGI 国家工程，类似于曼哈顿计划或“两弹一星”）将接管全局。 IIId IV
阅读说明。本页概述作者 2024 年 6 月发表的论点与估算，不代表认同，也不另作预测。引号内的话译自原文，详情栏里附有英文原句；每章标题旁均有原文链接。关键术语首次出现时标作“English（中文：简释）”，也可随时查阅下方的术语速查。
术语速查
读懂全文的十六个关键词
- AGI通用人工智能
- 在绝大多数脑力工作上能与人匹敌的 AI。类似于一位样样都能上手的全能同事。
- Superintelligence超级智能
- 在几乎所有领域都远超人类的 AI。差距好比博士之于一年级小学生。
- OOM数量级
- Order of magnitude，每一级就是 10 倍。类似于存款后面再添一个零。
- Effective compute有效算力
- 硬件算力 × 算法效率。类似于“马力 × 油耗”共同决定一辆车能跑多远。
- Unhobbling松绑
- 给模型配上工具、思考时间和自主执行的能力。类似于让天才从“只许口答”变成“纸笔电脑任用”。
- RLHF人类反馈强化学习
- 由人给模型的回答打分，以此调教模型。类似于师傅按评分带徒弟。
- Chain-of-thought思维链
- 让模型先写出推理步骤再作答。类似于考试时要求“写出解题过程”。
- Data wall数据墙
- 可供训练的优质文本即将用尽。类似于富矿快被挖空。
- Intelligence explosion智能爆炸
- AI 研发出更强的 AI，形成自我加速的循环。类似于利滚利的复利。
- Model weights模型权重
- 训练得来的海量参数，也就是模型本体。类似于可口可乐的配方，一旦外泄，人人可照方复制。
- Algorithmic secrets算法机密
- 训练方法上的关键诀窍。类似于晶圆厂秘而不宣的工艺诀窍。
- Superalignment超级对齐
- 让比人更聪明的 AI 依然按人类意图行事。类似于给一匹越跑越快的烈马配好缰绳。
- H100-equivalentH100 当量
- 以英伟达 H100 GPU 为单位折算的算力。类似于用“标准煤”折算各类能源。
- SCIF敏感信息隔离设施
- 美国政府处理绝密信息的屏蔽工作间。类似于涉密单位的保密室。
- The Project“项目”
- 作者预言的、由政府主导的 AGI 国家工程。类似于曼哈顿计划或“两弹一星”。
- e/acc有效加速主义
- 主张全速推进 AI、尽量少设限制的一派。类似于“科技狂飙派”。
论证链条
六环相扣，每一环的软肋都由作者自己点明
一条轴看全局
2024–2030：文中预言的路线图
汇总自各章。今天标记的是当下落在作者 2024 年时间表上的位置，并不代表其中哪些里程碑已经实现。
从 GPT-4 到 AGI：细数数量级
“2027 年实现 AGI，可能性高得惊人。”
从 GPT-2 到 GPT-4，短短四年，AI 从“学龄前儿童”长成了“聪明的高中生”。沿着同样的三条趋势线（算力、算法效率、松绑）外推，到 2027 年还会有一次同等幅度的跃升：模型将能完成 AI 研究员或工程师的工作。
细节与原话
松绑：从聊天机器人到智能体
- RLHF（人类反馈强化学习：由人给回答打分来调教模型，类似于师傅按评分带徒弟）：经过 RLHF 的小模型，在人类评分偏好上可与大 100 多倍、未经 RLHF 的模型打平。
- Scaffolding（脚手架：搭在模型外围的工具与流程，类似于给员工配齐工作流和工具箱）、工具与后训练：相当于 5–30 倍的有效算力（Epoch 调研）。
- Test-time compute（推理时算力：作答时让模型多想一会儿，类似于给考生延长答题时间）：推理阶段多投 4 个 OOM，约等于预训练多投 3 个 OOM。
- 智能体任务（METR 评测）：基础模型约 5% → GPT-4 发布时约 20% → 2024 年中约 40%。
- SWE-Bench（真实代码修复基准，类似于让 AI 去修开源项目里的真 bug）：GPT-4 约 2% → 配上 Devin 式脚手架后达 14–23%。
基准测试
- MMLU（多学科知识测验，类似于横跨 57 门学科的综合大考）（2020 年推出）：三年后已达约 90%。
- GPQA（博士级科学难题，类似于连搜索引擎都查不到答案的考题）：Claude 3 Opus 约 60%，本领域博士约 80%，“再过一两代”便可追平。
- MATH：仅靠后训练，GPT-4 就从约 50% 升至 72%。
- 进步速度约为儿童成长速度的 3 倍。
最大的变数：Data wall（数据墙：优质训练文本即将用尽，类似于富矿快被挖空）
- Llama 3 的训练用了逾 15 万亿个 token（词元：模型读写文字的基本单位，一个英文单词约合 1–2 个）；Common Crawl（公开网页抓取库，近乎整个公开互联网的存档）经简单去重后约 30 万亿。
- 重复使用数据会失灵：约 16 个 epoch（训练轮次：把同一份数据完整学一遍算一轮，类似于反复刷同一本习题集）之后，“收益迅速递减，直至归零”。
- 作者预计各实验室能翻过这堵墙（合成数据、自我对弈、强化学习），但也承认进展确有停滞的可能。
“我们正走在 2027 年实现 AGI 的道路上。”"We are on course for AGI by 2027."
“到 2027 年，顶尖 AI 实验室只需一分钟，就能训练出一个 GPT-4 级别的模型。”"In 2027, a leading AI lab will be able to train a GPT-4-level model in a minute."
“这十年，我们一路狂飙，连跨数量级；过了 2030 年代初，便只能缓步跋涉。”"We've been racing through the OOMs this decade; after the early 2030s, we will face a slow slog."
从 AGI 到超级智能：智能爆炸
“AI 的进步不会止步于人类水平。”
一旦模型会做 AI 研究，实验室就能同时运行上亿个副本，昼夜不停。十年的算法进步（5 个以上 OOM，约合一次 GPT-2→GPT-4 的飞跃）将被压缩到一年甚至更短。这便是 Intelligence explosion（智能爆炸：AI 研发更强的 AI，自我加速，类似于利滚利的复利），也是从“人类水平”到“远超人类”的那一跃。
作者逐一检验的瓶颈，及其结论
| 瓶颈 | 结论 |
|---|---|
| 实验算力有限 | 最关键 仍可突破，效率至少能提升 10 倍 |
| 互补环节 / 长尾工作 | 会拖延 全面自动化可能推迟一两年 |
| 算法存在固有极限 | 不太可能 现有架构看起来仍很低效 |
| 好点子越来越难找 | 被抵消 研究队伍扩大了 10 万倍 |
| 收益递减 | 扛得住 哪怕只是一次性提速，也足以再跨多个数量级 |
超级智能将带来什么
- ⚔军事：决定性、压倒性的优势，包括全新类别的武器
- ⚗科学：不到十年，走完相当于整个 20 世纪的科技进程
- ⚙机器人：作为机器学习问题被攻克，至多晚上几年
- ⚖权力：谁掌握了它，谁就能压倒超级智能问世前的一切力量
细节与原话
算一笔账
- 假设人“思考”的速度约为每分钟 100 个 token。
- 副本数量与运行速度可以互换，例如约 100 万名研究员，每位以约 100 倍人速工作。
- 当前算法进步约为每年 0.5 个 OOM，攒够 5 个以上 OOM 通常要十年。
- 自动化研究能把这十年压缩到一年以内。
主线时间表
- 2026/27：准自动化工程师登场，研究提速 1.5–2 倍。
- 2027/28：准自动化研究员承担九成以上的工作，提速 3 倍以上。
- 2028/29：研究速度达 10 倍以上，抵达超级智能。
- 从完全自动化的研究员到远超人类：“一年，至多几年”。
“第一台超智能机器，将是人类需要做出的最后一项发明。” I. J. 古德，作者引用"the first ultraintelligent machine is the last invention that man need ever make"
“人类历史上最动荡、最紧张、最危险，也最狂野的时期之一”"one of the most volatile, tense, dangerous, and wildest periods ever in human history"
奔向万亿美元集群
“一场空前的技术与资本大加速，已经启动。”
最大训练集群的规模约每两年扩大 10 倍。到 2030 年，单个集群造价逾 1 万亿美元，耗电 100 GW，超过美国当前发电量的 20%。真正卡脖子的是电力，而不是芯片。
集群阶梯：最大的单体训练集群条长代表功耗（对数刻度，每格 10 倍）
| 2024 | ~2026 | ~2028 | ~2030 | |
|---|---|---|---|---|
| 加速芯片出货（H100 当量） | 500–1000 万 | 数千万 | 约 1 亿 | 数亿 |
| 电力（占美国发电量） | 1–2% | 5% | 20% | 100% |
| 芯片（占台积电先进制程产能） | 5–10% | 约 25% | 约 100% | 产能的 4 倍 |
作者的判断
- 电力问题可解。10 GW 只需美国天然气产量的几个百分点，建 100 GW 燃气电厂约需 1000 亿美元。真正的障碍是审批、监管与气候承诺，因此放松管制是国家安全的当务之急。
- 芯片：需要几十座造价约 200 亿美元的 Gigafab（超级晶圆厂，类似于把台积电最大的厂再复制几十座），资本开支逾 1 万亿美元。近期瓶颈在 CoWoS 与 HBM（先进封装与高带宽内存：AI 芯片的两道产能关口，类似于高端发动机离不开的特种零件）。
- 选址是战略抉择：要建在美国本土，而不是海湾地区的专制国家。
细节与原话
“去哪儿找 10GW？” 每位 AI 公司 CEO 都在问的问题"Where do I find 10GW?"
“电力约束能够、必须、也终将被解决。”"The power constraint can, must, and will be solved."
“唯一的问题是，它们会不会建在美国。”"The only question is whether they will be built in America."
“我们会把 AGI 数据中心拱手送往中东，任由残暴而反复无常的独裁者摆布。” 作者警示：若美国自己不建"We're going to drive the AGI datacenters to the Middle East, under the thumb of brutal, capricious autocrats."
“系紧安全带，准备迎接过载。”"Brace for the G-forces."
电力账：美国年发电总量约 4250 TWh（太瓦时）。一个 10 GW 集群全年运转耗电约 87.6 TWh，100 GW 约 876 TWh（约占 20%）。电力公司如今预计未来五年增长 4.7%，此前的预期是 2.6%。
锁紧实验室：AGI 的安防
“美国顶尖的 AI 实验室，向来把安保当作事后才想起的小事。”
有两样资产至关重要：Model weights（模型权重：训练所得的海量参数，即模型本体，类似于可乐配方，一旦外泄便可照方复制），以及此刻正在被发明的 Algorithmic secrets（算法机密：训练方法上的关键诀窍，类似于晶圆厂的工艺诀窍）。两者对国家级对手几乎门户大开。修补后者的窗口只剩 12–24 个月，修补前者则需要提前数年布局。
安保差距谷歌 DeepMind《前沿安全框架》中的安保等级（按原文描述）
必须保护什么
“一个装满数字的大文件。”偷走它，就能跳过全部训练投入。一旦自动化研究员的权重被盗，对手便能发动自己的智能爆炸。
那些翻越数据墙的“后大模型时代”方法，估计可带来 10–100 倍的算力效率，相当于凭空多出一个大得多的集群。应当优先保护：它们此刻正在研发之中。
文中援引的证据
- 一名中国籍员工把谷歌的 AI 源代码复制进苹果备忘录，导出成 PDF 再上传，直到他在别处露了马脚才被发现。
- 据报道，字节跳动曾以高管级待遇招揽 Gemini 论文的作者。
- 俄罗斯黑客窃取了微软高管的邮件；美国人事管理局（OPM）泄露事件曝光了 2200 万份安全审查档案。
- 能接触核心信息的人数以千计，背景审查与分级隔离几近空白，机密甚至会在“旧金山的派对上”被谈起。
对策
- 训练与推理数据中心实行 Air-gapped（物理隔离：与外网彻底断开，类似于涉密单位的内网），配备军事级物理安保
- 机密计算与硬件加密，供应链严格审查。加密仍可能被侧信道攻击破解，因此要 Defense in depth（纵深防御：多道防线层层设防，类似于城墙、护城河加瓮城）
- 研究人员在 SCIF（敏感信息隔离设施：处理绝密信息的屏蔽工作间，类似于保密室）中工作
- 全面背景审查、诚信测试与信息隔离
- 运行代码须多方密钥共同签核，尽量减少外部依赖
- 持续进行美国国家安全局（NSA）级别的渗透测试
- 政府介入：唯有国家才能抵御国家级对手
关于代价：严格的安保会拖慢实验室。作者视之为“公地悲剧”（人人指望别人出力，最后无人出力），并认为放慢约 10% 的代价值得付出。
原话
“这件事若不尽快解决，我们在国家竞争与 AI 安全上做的其他一切，基本都将付诸东流。”"Basically nothing else we do—on national competition, and on AI safety—will matter if we don't fix this, soon."
“AI 实验室的安保，比‘随便一家初创公司’强不了多少。”"AI lab security isn't much better than ‘random startup security.’"
“我们没走在正轨上”"We are not on track"
超级对齐
“可靠地驾驭远比我们聪明的 AI 系统，是一道尚未攻克的技术难题。”
这便是 Superalignment（超级对齐：让比人更聪明的 AI 依然按人类意图行事，类似于给越跑越快的烈马配好缰绳）要解的题。当今的主力技术 RLHF，前提是人能看懂模型在做什么；系统一旦超越人类，这个前提便不复存在。而在智能爆炸中，这个交叉点可能不到一年就会到来。作者认为此题可解，但在仓促的 takeoff（起飞：AI 能力急剧跃升的阶段，类似于火箭点火后的那几分钟）中，也可能铸成大错。
乐观，但一分为二
审慎乐观，乃至相当乐观。唾手可得的成果很多，而且深度学习的泛化方式比担心的更温和。
深感忧虑。投身此事的人寥寥无几，实验室不愿付出高昂代价，世界将“跌跌撞撞”地闯进智能爆炸。
智能爆炸为何让问题更棘手
- 速度：从“RLHF 管用”到“RLHF 失灵”，不到一年
- 赌注：第一次严重失误就可能是灾难
- 信任：人类无法验证超人类的工作
- 陌生架构：推理过程可能不再是人类读得懂的
- 动荡：军备竞赛的压力，加上模棱两可的证据
押注的研究方向
“超级防御”：纵深防御由外到内
- 安保 物理隔离的集群，严防 self-exfiltration（自我外泄：模型设法把自身权重偷运出去，类似于“越狱”）
- 监控 由可信的较弱模型盯住输出、推理过程与网络活动
- 能力限制 从训练中剔除生物与化学知识，或让模型“遗忘”它们
- 训练约束 优先模仿学习，慎用长周期强化学习，绝不拿监控器当训练目标
- 分阶段部署 先在隔离环境里做研发，只放出经过验证的技术
原话
“我们会像一群一年级小学生，试图管住几位身怀多个博士学位的人。”"We'll be like first graders trying to supervise people with multiple doctorates."
“智能爆炸更像是指挥一场战争，而不是发布一款产品。”"The intelligence explosion will be more like running a war than launching a product."
“在这件事上，我们把太多希望押在了运气上。”"We're counting way too much on luck here."
自由世界必须胜出
“超级智能将带来决定性的经济与军事优势。”
中国仍在赛道上：7 纳米芯片“够用”，电力建设能压过美国，还能窃取算法。自由世界领先多少，不仅决定谁会赢，也决定还有没有时间稳扎稳打。
领先多久，安全余量就有多大
赛况一旦胶着，双方都会偷工减料。军备控制难以稳固，因为 breakout（突破：一方暗中越过约定红线、抢先冲刺，类似于核领域的“核突破”）太容易。作者主张由美国领导一个民主国家联盟，凭借领先优势推行安全规范，并建立类似核不扩散的机制。
中国的三张牌
采用中芯国际 7 纳米工艺的华为昇腾 910B，性价比比英伟达差约 2–3 倍，而芯片只占数据中心成本的一部分。
中国十年间新增的发电装机，约等于美国的全部装机；同期美国装机几乎原地踏步。
西方的领先相当于多出一个大 10–100 倍的集群，但实验室安保薄弱，这份领先连同权重随时可能被偷走。
现状（2024 年中）：中国大模型最多与美国第二梯队的实验室相当，有些还建立在美国开源模型之上。作者眼中的威权风险：机器人警察、全面监控与 AI 忠诚度审查，可能让一个政权永久固化。
原话
“超级智能将是人类有史以来最强大的技术，也是最强大的武器。”"Superintelligence will be the most powerful technology—and most powerful weapon—mankind has ever developed."
“领先两年还是两个月，很可能就是天壤之别。”"A 2 year vs. a 2 month lead could easily make all the difference."
“一个世纪的军事技术进步，压缩在不到十年之内。”"the military technological advances of a century compressed to less than a decade."
“在这场竞赛中，自由世界必须战胜威权势力。”"The free world must prevail over the authoritarian powers in this race."
“项目”
“没有哪家初创公司驾驭得了超级智能。”
当 AI 能力强到无可否认，国家安全体系便会入场。作者预计 2027/28 年前后会出现一项政府主导的 AGI 工程，即“项目”。它的组织方式更像国防承包，而非字面意义上的国有化。作者强调，这是预测，不是愿望。
“项目”如何成形条形覆盖作者给出的时间窗口
为何不能交给实验室
- 安保初创公司扛不住中国全方位的间谍活动
- 指挥链不该让 CEO 或非营利董事会掌握核武级别的能力
- 安全商业激励逼着实验室竞速，而监管总是慢半拍
- 军事平衡现有的军火库可能一夜过时
- 稳定超级智能问世后要防止扩散，离不开美国牵头
形态与先例
- 结构：由云服务商、实验室与政府组成的合资体，类似波音、洛克希德·马丁与军方的关系。实验室“自愿”并入，国会拨款建设芯片与电力，关键官员须经参议院确认。
- 新冠疫情，2020 年 2 月：官员起初反应迟钝，随后的应对规模大、速度快，却“姗姗来迟、粗枝大叶、简单粗暴”。
- 曼哈顿计划：西拉德起初无人理睬；费米只拿到 6000 美元；英国的报告被搁置了好几个月。
终局
- 结盟 仿照 Quebec Agreement（魁北克协定：1943 年美英共享核研发的秘密协议），与英国、日本、韩国及北约结盟
- 利益共享 仿照 Atoms for Peace（原子能和平利用：1953 年美国倡议，以分享民用核技术换取不扩散承诺）：他国放弃自建项目，换取使用权
- 防扩散 不让流氓国家和恐怖分子拿到借超级智能打造的武器
保留意见与原话
作者承认政府激励不佳、能力有限，也自称对国家深度介入科技心存疑虑。他反对开源最前沿的模型，因为那等于拱手送给对手；但预计落后几年的开源模型依然有用。他预计，初期的危险一过，民用领域将由私营部门百花齐放。“项目”能否被称职地运作，是“关键的悬而未决之问”。
“再过几年，‘项目’就将启动。”"In a few years, The Project will be on."
“想象一下，当年要是让 Uber 随性发挥去造原子弹，会是什么光景。”"Imagine if we had developed atomic bombs by letting Uber just improvise."
“但在我们手头的所有选项里，‘项目’是唯一理智的那个。”"But of the options we have, The Project is the only sane one."
临别赠言
“万一我们是对的呢？”
作者既不认同 Doomers（末日派：认定 AI 大概率毁灭人类、主张叫停的一派），嫌其过于笃定、方案行不通；也看不上 e/acc（有效加速主义：主张全速推进、少设限制，类似于“科技狂飙派”），嫌其不够严肃。他提出第三条路，称之为 AGI 现实主义。
“人类有史以来造出的最强大的武器。”比这一领域的人将从事的任何其他工作都更重要。
“若让习近平率先拿到 AGI，自由的火炬将无以为继。”暂停并不现实。要壮大美国实力、锁紧实验室，并把核心基础设施牢牢握在美国手中。
认真对待滥用与失控的风险，靠周密的工作，而不是临场发挥。
“不会有什么精锐小队从天而降来收拾局面”"there is no crack team coming to handle this"
按作者的说法，真正明白即将发生什么的，不过几百人，几乎都与他只隔一层关系。在他看来，中局的成败就系于这些人：“他们是伟大而正直的人。但他们终究只是人。”
作者自己的保留：他“很可能把一些重要细节弄错了”，误差范围也很大。