顶尖风投a16z：顶尖人才涌向AI基建，基础设施设计将“推倒重来”
顶尖风投a16z：顶尖人才涌向AI基建，基础设施设计将“推倒重来”
董静
a16z核心合伙人认为，随着巨头明年CapEx预估迈向1万亿美元，GPU和存储等核心硬件订单已排至2028年。由于现有计算架构逼近物理极限，机架功率激增数十倍，数据中心的芯片、电力（转向800V直流电）和液冷系统正面临“推倒重来”的全面重构。顶尖创业者涌入硬件的比例已从不足5%跃升至20%至30%以上。
全球AI基础设施正面临一场"供需大裂缝"：需求以千倍速扩张，而芯片、内存、电力、数据中心的供给最快也要三到五年才能跟上——顶尖风投a16z认为，在需求呈现指数级增长、核心组件订单已排至数年后的背景下，传统的计算堆栈已被推至物理极限，一场围绕AI时代的基础设施重构正在全面开启。
近日，硅谷顶级风险投资机构a16z（Andreessen Horowitz）正式宣布推出"机器时代基金"（Machine Age Fund），专注投资AI基础设施领域。a16z联合创始人Ben Horowitz、普通合伙人Martin Casado，以及前VMware CEO、科技顾问Raghu Raghuram，在一场公开视频对话中系统阐述了这只基金的战略逻辑——而其背后，是一幅AI算力需求与供给能力之间正在急剧拉大的裂口图景。
三位核心人物的判断高度一致：AI基础设施的短缺，已不是某一个环节的问题，而是从芯片、内存、网络互联、数据中心，一路延伸至电力、冷却、变压器，乃至铜矿——"这个影响范围，已经延伸到了铜矿，就是这么大的一件事。"Raghu说。
与此同时，Ben Horowitz给出了一个简单但有力的判断：
"任何你有的问题，都可以用足够的基础设施来解决——本质上是GPU加上钱。只要问题还没解完，需求就不会停。"
需求"无限"，供给"全线告急"
a16z认为，这轮AI基建热潮与此前互联网时代的基础设施泡沫有着本质区别。
"记得暗光纤吗？那时候大量铺进地下的，其实是投机性的，是暗的。而今天，基本上每一块GPU在生产出来之前就已经被预售了。"Martin Casado说。
数据层面，信号同样鲜明：
超大规模云厂商（Hyperscalers）的资本开支今年约为7000亿美元，明年预计将集体突破1万亿美元。
关键组件供应已全面排期至2028年。Martin透露，他们甚至见过"为数千块GPU举行多日拍卖"的情况，而黄牛价格是原价的四倍。
头部内存厂商在行业旗舰会议Hot Chips上公开表示："他们今天已有的需求订单，需要三年的产能才能全部交付"——这还只是当下的存量需求，不包括未来新增需求。
GPU价格也罕见地出现反弹。"GPU价格一向是往下走的，走到这个价格之后，又回来了。"Raghu表示，这在历史上几乎从未出现过。
在电力侧，矛盾同样尖锐。2028年前，新数据中心预计需要新增约44吉瓦电力，而电网预期新增供给仅有25吉瓦左右，缺口巨大。Ben Horowitz补充："我们既缺GPU，也缺电力，也缺冷却，也缺内存——你说什么，我们都缺。"
"不是工程问题，是资源瓶颈"
为什么需求会持续膨胀而没有天花板？Martin Casado给出了一个核心判断：
"过去，你要构建什么东西，那是一个工程问题——你堆工程师，但这不会线性扩展，存在'人月神话'的规律制约。而现在，这真的是一个资源限制问题。我们把大量资金投入系统，系统产出结果。当前的瓶颈，是这些系统真正匹配我们投入资源的能力。"
从Chatbot到推理模型，再到Agent、多Agent，每一代AI应用对token的消耗都呈指数级上升。Raghu的描述更直接：
"如果聊天需要100个token，那么一个Agent可能需要几千个token。需求在两个维度同时膨胀：单个任务消耗的token越来越多，同时使用AI的人群也在不断扩大——从开发者，到知识工作者，再到更大范围的普通用户。"
Ben Horowitz给出了他的预判："对token的需求，可能每年增长接近1000%。这种速度是基础设施供给根本跟不上的。"
"AI用来变得更好的唯一方式，就是使用更多AI。推理是它反复调用的基本构建模块，这就是token数量不断倍增的原因。"Raghu说。
整个计算体系需要"从零重建"
a16z认为，现有AI基础设施面临的核心挑战，不只是"量不够"，而是"整个架构就不是为AI设计的"。
Raghu系统性地梳理了这一重建逻辑：
"你要一个类别接一个类别地去审视：计算需要什么？内存需要什么？它们之间如何互联？每一块需要多少功耗？如何散热？如何把这些东西组合在一起？这就是整个行业现在正在做的事——把问题分解到最基础的组件，然后从第一性原理重新构建。"
Martin Casado则用一个商业逻辑来佐证重建的紧迫性：
"训练一个前沿模型，现在大概要花30亿到50亿美元。推理侧需要至少2倍于此来回收成本，也就是约100亿美元。如果你能在推理上省20%的效率，那就是20亿美元。而20亿美元完全可以支撑一个ASIC的研发。
这意味着，为单个模型专门定制一块芯片，在经济上已经是完全成立的。这在行业历史上从未出现过——我们从未用50亿美元去创造一个单一的数字化产物。"
在物理层面，重建的压力更为具体：
机架功耗从过去的5到10千瓦，正在向100到150千瓦跃升；
计算密度提升约70倍；
冷却方式从风冷向液冷强制迁移；
机架电压升至800伏特，已属高压范畴——全美仅有约2%的电工取得了直流电认证；
超高密度机架对数据中心地板承重提出全新要求；
混凝土等建材价格也随之快速上涨。
Ben Horowitz直言：
"我们已经过了那个时代——大多数现有数据中心，一旦进入下一代算力时代，都将彻底过时。"
顶尖创业者正在大规模回流硬件
这种结构性机会，已经在创业生态中产生明显信号。
Martin Casado透露，a16z内部有一个非正式的统计：过去，来自顶尖创业者的deal中，涉及硬件的比例大约只有3%到5%；而现在，这一比例已经超过20%甚至30%。
"创业者社群通常比VC社群聪明，他们已经识别出这是一个非常活跃的创新领域，并开始行动。"
这些"硬件创业者"的画像也与传统软件创业者有所不同。Raghu描述称，这类公司的创始人必须是"系统型创始人"——"你不能只是一个研究员或优秀的计算机科学家。你得能架构和设计芯片或系统，还要想清楚这东西怎么制造、供应链怎么搭——这些是软件创业者通常不需要考虑的问题。黄仁勋就是这种思维方式的极致体现，他从一开始就在思考整个生态。"
与此同时，前沿AI实验室因为需求太过迫切，已经开始直接与早期硬件创业公司签署协议，"甚至在硬件产品还没有出来之前"。Martin认为，这是一个重要的信号变化，大大降低了硬件初创公司的早期商业化风险。
资金环境也在转向：初创公司的首轮融资规模已达数亿美元量级，这在以往的硬件投资中极为罕见。
从"机器智能"到"机器时代"
谈及这只新基金的命名，Martin Casado坦言，"人工智能（Artificial Intelligence）这个词，其实从一开始就叫错了——它应该叫机器智能（Machine Intelligence）。"
"这是一个有70年历史的计算机科学术语，带着太多科幻小说的包袱。而且，它并不是真正模拟人类的思维方式——它是把人类已经学到的一切加以利用，而不是从零开始重建语言。"他说。
而"Machine Age（机器时代）"这一命名的另一层深意，在于向硬件致敬。"这里有一种深刻的反讽：'软件吞噬世界'的那批人，走到最后发现，真正的限制来自软件之下的实体机器。这个名字是在承认，这一轮浪潮中，硬件的分量，前所未有地重要。"
Martin给出了时间尺度上的判断："我们才刚刚开始——语言和代码，再加上刚刚起步的计算机使用。但未来30年、40年，科学、材料、生物、创意……都将是把算力投入问题的领域。我们处于一段很长征程的极早期。要做好准备：这种算力需求，将持续几十年。"
a16z访谈全文实录（由AI辅助翻译）:
开场白
Ben Horowitz（a16z 联合创始人）：
我们正处于一项全新技术的时代，这是有史以来最重要的技术。而要支撑它，你需要一套全新的基础设施。
Raghu Raghuram（前 VMware CEO / 科技高管与顾问）：
通常我们说的基础设施，无非是服务器、存储、网络这些东西。但这一次，它一路延伸到了矿山——铜矿。你就能感受到，这件事的影响范围有多广。
Martin Casado（a16z 普通合伙人）：
以前你做一个东西，核心是工程问题。但现在，感觉真正卡脖子的是资源。不管是算力还是别的，我们正在把大量的钱砸进这些系统，系统也在产出结果。但问题是，现在系统消化资源的能力，根本跟不上我们往里砸的速度。
Raghu Raghuram：
头部内存厂商说，他们现在手上的订单需求，要用三年的产能才能满足。
主持人：
Ben、Martin、Raghu，欢迎。谢谢你们。好的，谢谢。我想先引用Marc（Andreessen）的一句话来介绍这只新基金：
"这是我这辈子见过的最大的技术革命。这显然比互联网还要大。可以类比的是微处理器、蒸汽机、电力，甚至可能是轮子。"
各位，这就是Machine Age Fund（机器时代基金）。请介绍一下。Ben，你先来。
Ben：
简单来说，我们现在拥有了一项全新的技术，而且是有史以来最重要的技术。每当出现一种颠覆性的新技术，我们所依赖的一切——基础设施——都需要跟着彻底更新换代。而这一次的影响，比以往任何一次都要深远。
所以我们不仅需要新的芯片、新的系统软件，还需要全新的供电方式，需要替换铜线……可以说，几乎所有东西都要变。这是一个非常令人兴奋的时代。对于这个新时代在硬件层面的种种需求，我们需要一套全新的投资思路。
Raghu：
我完全同意。通常我们在谈计算基础设施的时候，说的是服务器、存储和网络。但这一次，往下追溯，一直追到矿山、铜矿——影响范围之广，由此可见一斑。这是第一点。
第二点，过去三年，我们看到模型的能力在持续稳步提升，模型本身已经不再是瓶颈了。事实上，借助AI，这些模型正在以越来越快的速度变得更强。现在的瓶颈，在于我所说的"模型以下"的部分——也就是底层基础设施。所以，这正是我们需要重点攻克的方向。
Martin：
我快速补充一点：我们一向是跟着创始人走的。
过去几年，我们观察到一个明显的趋势——越来越多的顶级团队开始去攻克那些复杂的、更难的问题。我没有准确数字，但上周末我自己估算了一下：以前顶级创始人带来的项目里，硬件方向大概只占5%，而现在已经超过了20%到30%。
创始人群体的嗅觉往往比VC更灵敏，他们已经把这个领域识别为创新的高度活跃区，并且正在积极行动。
Ben：
我觉得5%可能还是高估了。
Martin：
对，确实很低，大概就3%吧。
主持人：
那能不能解释一下，是哪些宏观条件推动了这种转变？是什么让这么多创始人开始涌入这个方向？他们看到了什么机会？
Martin：
最显而易见的一点就是：对AI的需求，基本上是无限的。正因为如此，整条供应链都承受着巨大压力——包括用于制造存储器等产品的原材料。
AI还有一个很特别的地方：因为需求是无限的、增长是无限的，你通常不需要担心"能不能卖出去"这个问题。你真正需要担心的，是公司的利润率，也就是效率问题。
而很多效率问题，说到底是硬件的物理限制。现有的系统根本不是为AI设计的，也不是为这类工作负载设计的。所以AI浪潮的商业模式，正在给现有系统带来极大的压力。
我认为，全球都已经意识到：我们必须从核心组件层面进行变革，才能提升效率，才能支撑业务的增长，才能真正实现商业价值。
主持人：
对，那我们怎么知道现在的需求真的超过了供给，而不是又一轮炒作周期呢？
Raghu：
有很多迹象可以说明这个问题。
首先，一些最能判断需求的人正在下巨额采购订单。 你看那些超大规模云厂商（hyperscaler），他们的资本支出一直在爆炸式增长。据说明年，这些厂商加在一起的资本支出将达到1万亿美元。今年大概是7000多亿美元。你想想这些超大规模厂商在行业里的位置——他们能看到来自四面八方的需求：前沿AI实验室要算力，AI原生公司要算力，企业客户要算力，美国市场要，海外市场也要。所以如果说谁最有判断力，那就是他们。而他们的资本支出涨得前所未有，这就是一个明确的信号。
其次，从我们日常接触的公司来看，那些应用层公司全都在高速狂奔，增长速度快得离谱。 前沿AI实验室的增长也是如此，有据可查。所以我觉得，从需求侧来看，信号从来没有这么清晰过——这绝对不是炒作。 最重要的是，所有这些都只是……
Ben：
而且芯片价格还在上涨，我们从来没见过价格这样涨……
Martin：
GPU价格是在下降的。价格一直都在降。
Raghu：
对对对对，一直在降。你看那条价格曲线，是这样走的（向下），然后又回到这里。对，而且我们只需要市场里5%、10%的需求停下来，整个市场就会停。
Martin：
从供给端来看，现有的供给基本上已经全部预订到2028年了。 情况糟糕到什么程度——我们甚至见过几千张GPU要拍卖好几天才能成交。当然，另一面就是需求，正如Raghu说的，我们看到了整个行业历史上增长最快的一批公司。
Raghu：
还有一点，AI能完成的工作单元，其价值在不断提升。 但在表面之下，被消耗的token数量正在以数量级的速度增长。比如一个普通对话可能消耗100个token，但一个AI Agent（智能体）可能要消耗几千个token。所以需求在两个维度上同时扩张： 一是完成同样一件事，消耗的token越来越多；二是未来受益的人群会越来越广——不只是开发者，而是所有知识工作者，甚至更多。这就是我们看到的趋势。
主持人：
你说供应链的关键零部件已经卖到2027年，甚至可能到2028年。对于整个行业来说，提前这么久就全部售罄，意味着什么？
Martin：
我不知道这种事以前有没有发生过。你们还记得吗？我是说，想想互联网时代，我们当时大规模铺设基础设施，但其中大部分埋在地下的其实是投机性的，根本没人用——还记得"暗光纤"吗？而现在，基本上每一块正在生产的GPU都已经提前卖出去了。
Ben：
是的，那时候情况完全不一样。我是说，1998、1999年前后确实有带宽不足的问题，但当时对带宽的真实需求并不大，因为上网的人本来就没多少。所以那是一个双向的问题——公司们都一窝蜂地涌进去，理论上需要更多带宽，但另一边消费这些带宽的用户根本不够。而且要真正消耗大量带宽，你得做视频这类高带宽的事情，但当时视频根本行不通，原因是多方面的，跟数据中心里有多少带宽没什么关系。
所以那时候看起来有点像，但本质上不一样。现在是全面告急——有人把GPU加价四倍转手卖出去，就是这种状态。 不仅如此，我们还缺电、缺冷却。更麻烦的是，建设本身也极其困难，因为面临着巨大的政治阻力。所以，在我的职业生涯里，从来没有遇到过这种情况，真的是史无前例。
Martin：
我来分享一个小故事。我最近和一家大型上市公司的CFO聊天，这家公司历来非常抗拒上云，所以他们自己有大量服务器。他们做了一次库存盘点，结果发现——服务器里内存的价值涨了太多，光靠卖掉这些内存，就足以支付整个迁移上云的费用。 所以我觉得，我们现在真的处于一种非常不寻常的局面。
Ben：
没错。我们现在什么都缺——电力、冷却、内存、GPU，你说什么，我们就缺什么。
Raghu：
是的，行业最顶级的旗舰会议"Hot Chips"正在斯坦福举行。排名第一的内存厂商说，光是满足他们今天已有的需求，就需要三年的产能才能供应完——这还只是现有需求，连未来的需求都没算进去。
主持人：
所以现在是所有东西同时告急。这是因为大家低估了模型会有多强、多有用，所以根本没预料到会有这么大的需求吗？
Martin：
我觉得甚至不是这个原因。这东西是突然冒出来的，对吧？我们才走了四年。就算我们有完美的预见能力，一旦它开始跑通，我也不觉得……
Ben： 我们能来得及建好产能。
Martin： 根本来不及建好产能，完全不可能。
我们说的是芯片周期，通常要三到四年。我们说的是破土动工、建设数据中心，通常要四到五年。
Ben：
还要接入电网，从头建起来，还得有电源。所以你要么自己建电厂，通常两件事都得做——既要自建电厂，又要有稳定电源，这可不是容易的事。
Raghu：
是这样的。你有一个行业，如果它能以20%、30%的速度增长，那已经是非常好的增长率了。但它现在要对接的是AI软件行业，那个行业的增速是三位数打底。你可以看到这中间的落差有多大，而且这个缺口还在不断拉大。
主持人：
那么，为什么这种基金以前不存在呢？
比如说，五年前或者七年前，为什么那时候投资这个赛道不像现在这样有吸引力？Ben，你怎么看？
Ben：
我觉得吧，我们现在入场的时机应该还算对——当然我是这么希望的。但说实话，其实早几年入场可能也完全没问题。
Martin：
我的意思是，你其实可以在每一个技术时代里，都找到那么一批独立公司冒出来。很明显，从大型机转向客户端/服务器架构的时候，出来了一批公司；转向互联网的时候，又出来一批，这就是为什么我们有了思科和瞻博网络。就连在超大规模数据中心时代——顺便说一下，那个时代基本上是由几家头部云厂商自己垂直整合推动的——你也看到了Arista的崛起。
所以说，投资硬件芯片这条线一直都是有机会的，只是以前机会相对有限，因为变化本身也比较有限——可能就一家芯片公司、一家交换机公司。但现在，方方面面都在变。所以我同意Ben说的，我们或许可以稍微早一点开始，但现在这个变化的量级实在太大了，做这件事就是顺理成章的事。
Ben：
还有一点，就是对"智能"的需求在垂直方向上几乎是无限增长的，完全看不到头。你看，已经用上AI的公司，用量都在飞速增长；而大多数公司其实还没有深度使用AI；消费者端更是刚刚起步。
所以，对token的需求，每年大概会增长接近1000%，而供给根本跟不上这个速度。我们在整个基础设施层面要做的工作量是巨大的，才能让供给跟上这种增速。所以我觉得，投资机会在这条路上还多得是。
另外还有一点，就是现有硬件系统的架构，都是为完全不同的计算时代设计的。所以不只是"我们需要更多算力"那么简单，而是我们需要从头去构建新型的基础设施，这里面有大量机会。
Raghu：
对，这些技术都已经触碰到了它们当初设计时的物理极限了，就像Ben说的铜线之类的问题。你把每一个技术类别都过一遍，都能找到——好，这种技术到头了。所以现在必须要有技术突破，才能迈向下一个层级。
主持人：
我想在需求侧多聊一会儿。我们从聊天机器人，到推理模型，到智能体，再到多智能体，每往前走一步，完成一个任务所消耗的token数量就会成倍暴增。
Ben：
没有什么比AI更喜欢用AI了。
主持人：
那为什么这个趋势一直在持续，没有出现平台期？你觉得这会就这样一直持续下去吗？
Martin：
这个问题有几个角度来回答。首先，就目前来看，我们实现规模扩展的方式，本质上就是靠大量推理，也就是大量token。你想想强化学习（RL）是什么，就是大量推理；思维链（chain of thought）是什么，也是大量推理；长期运行的智能体，当然更是大量推理。所以这只是我们目前用来扩展规模的路径之一。
如果你想从更宏观的角度来理解，以前你要做一件事，那是一个工程问题，你堆一堆工程师上去，但这不是线性可扩展的。工程学有它自己的自然规律，这就是《人月神话》讲的东西。
但现在的感觉是，这真的是一个资源限制问题。 不管是token也好，还是别的什么，你往系统里砸钱，系统就产出结果。现在的瓶颈在于，这些系统还没办法完全消化我们投入的资源。
所以我觉得，token只是我们目前所处的这个扩展曲线上的一个阶段，但我们不再有像以前工程那样的"天然调节器"了。所以这个趋势应该会持续下去，我们必须建设足够的供给来支撑它。
Ben：
简单来说就是：你有任何问题，只要有足够的基础设施——基本上就是GPU和钱——都能解决。 所以只要问题还没解决完，需求就不会消失。这就是挑战所在。
Raghu：
AI变得越来越强的方法，就是用更多的AI。推理是它反复使用的最基本的构建模块。所以token才会这样不断倍增。
Martin：
对，还有那种"自催化效应"——用AI来创造更多AI，比如用AI来生成GPU内核代码，本身就是在这个过程中用更多AI。
所以我们有一种理解方式：过去，钱进来了，你面对的是一个工程问题，通常要两年，经常还失败，有一个天然的调节器，然后最终你才能拿到产品。现在，钱进来，硬件直接产出智能，中间没有任何东西挡着。 我们现在唯一的限制，就是我们能不能造出足够的供给。这是一种完全不同的动态。
Raghu：
也许更多的GPU也不是那么稳固的事情……
主持人：
对，确实。
Raghu：
所以这就像一个循环。
Martin：
只要你有钱、有GPU、有数据，在可预见的未来，你就能一直把这些东西规模化下去。
主持人：
Ben，能多说说这意味着什么吗？因为以前大家普遍有一种怀疑：往一个行业里砸越多钱，未必能带来更大的产出。但现在我们说的恰恰相反——某种程度上，这个市场能有多大，取决于我们集体投入多少。
Ben：
对，你看，在创业圈里有一件事我们都很清楚：如果我比你早两年，你想靠招1000个工程师来追上我，你只会把你的公司搞垮。 那从来都不管用。这就是人月神话——一个月内让九个女人生出一个孩子，根本不可能。这是铁律。
但现在，这个逻辑反了。不是招10万个工程师，而是拿30亿美元，点亮一个超大规模的集群，然后——突然间，你看，Grok可以从天而降，或者随便哪个，就这样冒出来，突然就真实存在了。
这些领先优势，你可以用钱来填平；几乎任何问题，你都可以用钱来解决，而且真的管用。 这和我们以前经历过的任何事情都完全不一样。顺便说一句，我们所有人在心理上都还在适应这件事。
主持人：
ChatGPT 的周活跃用户已经达到了十亿。大概有三千万开发者在使用它，占了相当大一部分算力需求。考虑到人们实际在用它做什么，我们该怎么看待现在和未来的算力需求？
Raghu：
这就是一个发展脉络，对吧？ChatGPT 一开始是个日常聊天工具，后来变成了专业人士的编程助手。然后呢，借助编程能力，又给知识工作者开发出了很多厉害的工具。所以知识工作者就是下一个主战场。现在全球有超过十亿知识工作者排在那儿等着用。这块需求还有很长的路要走。而且你想想他们做的那些事——各种工作流、自动化之类的——再往后还有后台业务，全是 Agent（智能体）在跑。所以这些东西是一步一步解锁的，我可以说，每解锁一步，需求就会增长一个数量级。我们现在才刚刚开始。
Ben：
对，而且现在有了 Grok Bot，编程领域发生的那些变化，正在通过 Grok Bot 蔓延到所有电脑使用场景。所以我们正处于另一波需求浪潮之中，而且后面肯定还会有更多。现在看来需求几乎是无上限的。我们甚至还没谈到具身 AI 或者机器人，那又将是另一个巨大的需求来源。
Raghu：
Martin 是这方面的专家，但我的理解是，Grok Bot 用的是"电脑操作"（computer use）这个能力，就像一个真人坐在电脑前不停地敲键盘一样。
Martin：
我上周末就真的用它了——让它帮我把信用卡信息更新到一堆我一直懒得去弄的服务里，还帮我取消了一堆订阅。我是说，这跟编程完全没关系，这就是真正意义上的电脑操作。
Raghu：
你突然就相当于创造出了一批知识工作者，只不过他们全都坐在电脑里面干活。
Martin：
我确实认为 Marc Andreessen 说得对，最贴切的类比就是蒸汽机或者电力，道理是这样的：我们引入了这种新东西，可以把它转化为劳动力，现在有一些很显而易见的应用，但接下来可能还有三四十年的时间，我们会把算力砸向各种问题——任何有明确奖励信号的问题。而我们才刚刚起步，现在只搞定了语言和代码，就这两样，电脑操作也才刚刚开始。
但我们还面对着什么？科学、材料、生物学……当然，创意创作也是一个巨大的应用场景。所以说，我们正处于一段漫长旅程的非常早期阶段，而我们已经移除了一个关键瓶颈——也就是传统软件工程。当然，瓶颈会转移，其他地方的复杂性也会增加。
但我认为，我们正处于一个非常早期、非常漫长的把算力砸向问题的时代。所以大家要有心理准备，这种算力需求会持续几十年。
主持人：
既然提到了，Marty，来聊聊 Grok Bot 吧。我们在场外聊的时候，你说它让你印象深刻——当然我们从各个角度都参与其中——但你觉得它最有意思的地方是什么？
Martin：
我觉得我们这个行业，经历了好几次对"AI 如何进入我们生活"的认知迭代，对吧？
最早的时候，大家觉得：好吧，你往一个产品里加个 AI，也就那样，就像个搜索框。然后你开始跟它聊天，它也回你，因为那是当时最常规的做法。
后来 OpenAI 推出了一些东西，那是今年早些时候的事。看到那个我就想：好吧，也许光是"比谷歌更好的搜索"并不是 AI 的完整形态。不如让它成为一个独立的存在，但它是你的延伸——它能共享你的密钥、知道你的密码，直接帮你做你本来要做的事。所以它更像是你的一个延伸，但又更像一个人。
然后我觉得 Grok Bot 真正做对的地方是：不，我们换个思路——如果它其实是一个员工呢？现在你有了这么一个实体，它不需要特别获取你的密钥或者什么权限，它有自己的电脑，有自己的浏览器。而且因为这些是世界上最聪明的模型，它能做任何一个员工能做的事。
这挺有意思的，因为现在如果我想完成什么事，我第一反应就是：Grok 能帮我搞定吗？ 而且往往答案是肯定的，哪怕是你根本没想到的事。显而易见的那些就不说了，比如帮我管日历、帮我约会议，但还有一些不那么明显的。比如，我会让它帮我通读邮件、做分类整理，我也没告诉它具体怎么做，但它会知道在真正执行分类之前先来跟我确认一下。所以这些东西已经足够聪明，你可以给它相对高层次的任务，它会自己想办法，把事情做得有模有样。
主持人：
Ben，我知道你对这个问题想了很多，包括它在组织里是怎么运作的。你当然也非常关注文化这块。你对此有什么看法？
Ben：
嗯，我的意思是，如果你就看我们自己的情况，这就像是多了一种新型员工。而且这种员工会有很多很多。我们必须去适应，就像当年，我们花了好多年才摸清楚怎么跟普通的人类员工合作一样。现在我们又多了这另一种员工。跟他们合作是有学习曲线的。
他们可能烧掉大量的token、花掉大笔钱，却什么有用的事都没干成。他们会忘事，会编造内容，会有好的表现，也会有坏的表现，还可能带来安全问题。这些方方面面都存在。但同时，他们也可以极其高效。
所以我觉得，怎么把他们融入进来，让他们跟真正的人类同事配合好，这些都是我们正在摸索的事情。
我不想站在这里说我已经找到了答案——说我们有了一套完美的循环，整个公司已经完全自动化，我要慢慢把所有人类都裁掉，因为我可以这么做——完全不是这回事。我们更多是在想：好，我们怎么让所有人类员工变得超级强大，同时又不把公司搞垮，因为机器人一旦失控，麻烦就大了。
Raghu：
是的，确实很有意思。我们尝试过好几种不同的方式，就是怎么把智能体最好地引入系统。最后，还是Martin的那个洞见最管用：就把它们当人对待，然后把事情推进下去。我们现在就是这么做的，事实证明，这是在组织内部推动这件事最经得起考验的方式。
主持人：
我想回到供给侧，深入聊聊瓶颈在哪里。我们之前谈到，数据中心、芯片架构、系统软件、基础设施本身，这些当初都不是为AI设计的。如果真的要为AI重新设计，会是什么样子？思考这个问题的心智模型应该是什么？
Raghu：
好。如果你从这样一个判断出发——"这些基础设施的原有模型必须改变"——那你就可以逐个类别去看，找到价值断层在哪里，然后逐一打通每个环节的瓶颈。
最终你要达到这样一个状态：看推理引擎在做什么——它占用大量内存，在计算的同时不断生成新的token。那你就可以想：我怎么把这整个过程优化？内存应该是什么形态？计算应该是什么形态？它们之间怎么通信？各自需要多少功耗？有了这些功耗需求，你怎么去调度它们？然后怎么把这些东西组合在一起？
这正是现在整个行业里很多创始人都在做的事情。他们把问题拆解到最基本的组件，问：这里到底在做什么样的计算？答案是矩阵乘法。那我怎么针对这种场景优化我的计算单元？然后，生成token的过程需要越来越多的内存，怎么分层设计这个内存体系才是最优的？ 功耗怎么消耗？然后还要把这些东西连接起来——同一块芯片内部怎么连，跨芯片怎么连，跨数据中心怎么连？每一级数据传输各需要多少功耗？
所以你必须从头到尾把它拆解，再用这些基本构件重新搭建起来。这是我们看到的方向，也是我们看到机会所在的地方。
Martin：
让我给你一个有意思的心智模型，帮你理解这个格局是怎么变化的。
今天，训练一个前沿模型的成本，大概是三十到五十亿美元。训练完之后，推理至少要把这个成本赚回来，对吧？要让这件事在商业上成立，大概要赚回两倍，也就是说推理端需要产生大约一百亿美元的收益。
那如果你能在这个过程中节省20%的效率，就是二十亿美元。而用二十亿美元完全可以造一块ASIC（专用芯片）。
所以我们其实已经到了一个很有意思的节点：为单个模型专门定制一块ASIC，在经济上是说得通的，就因为投入到这个模型里的资本量太大了。
而且跟传统软件不一样，传统软件有大量状态、非常动态；但这些模型是固定的，模型权重是固定的。
我们不知道世界会不会真的走向"每个模型配一块专属ASIC"，但这给你提供了一个很好的心智模型，让你理解架构会如何演进——为这些巨额资本投入量身定制，变得越来越专属。
我觉得在这个行业的历史上，我们从来没有为一个数字产物直接投入过五十亿美元这个量级的钱。所以，这将对硬件提出我们有史以来最高的要求。
主持人：
说到这个，机架的功率需求正在从大约5到10千瓦跃升至100到150千瓦。计算密度大概提升了70倍。散热方式也从风冷变成了液冷，这已经是硬性要求了。那么，这背后有哪些投资机会？
Ben：
首先，当你的机架功率达到那个级别，交流电（AC）就不管用了。这其实挺疯狂的。所以你就得用直流电（DC）——顺带一提，直流电本身也需要单独散热，而且说真的，非常危险。这有点讽刺，因为当年爱迪生就是靠鼓吹交流电有多危险来推广直流电的，还专门用电击动物来做演示。
对，就是那匹马。
所以，他说的没错，只不过说的是他自己搞的那套东西——直流电的功率极大，这倒是实话。
版权声明：
作者：lichengxin
链接：https://www.techfm.club/p/238052.html
来源：TechFM
文章版权归作者所有，未经允许请勿转载。
THE END
二维码
共有 0 条评论