一个Token是怎么“造”出来的？黄仁勋的“五层蛋糕”理论给出答案

英伟达CEO黄仁勋近日提出“五层蛋糕”理论，解释大模型Token的生成机制。该理论将AI算力栈自下而上分为五层：底层为GPU等物理硬件，之上是CUDA软件生态，第三层为训练框架，第四层是模型算法，顶层为应用场景。黄仁勋指出，每一层都需协同优化，Token的生成效率取决于最薄弱环节。他同时强调，英伟达正从单一芯片供应商转向全栈计算平台，通过软硬件一体化设计降低AI开发门槛。该理论被视为对当前AI算力竞争格局的重新定义，或影响行业未来投资方向。