谷歌重磅推出全新 Scaling Law，智能的未来将是分布式的？3 万亿美元 AI 面临岔路

谷歌推出全新 Scaling Law，名为 DiLoCo，标志着分布式训练的重大突破。研究表明，DiLoCo 在不同模型规模下表现出更稳健、更优越、更高效和更强大的特性，超越传统的数据并行训练。该研究由谷歌 Research、Search 和 DeepMind 三大团队合作完成，强调了 DiLoCo 在大规模模型训练中的潜力，预示着智能未来将是分布式的。