谷歌重磅推出全新 Scaling Law，智能的未來將是分佈式的？3 萬億美元 AI 面臨岔路

谷歌推出全新 Scaling Law，名為 DiLoCo，標誌着分佈式訓練的重大突破。研究表明，DiLoCo 在不同模型規模下表現出更穩健、更優越、更高效和更強大的特性，超越傳統的數據並行訓練。該研究由谷歌 Research、Search 和 DeepMind 三大團隊合作完成，強調了 DiLoCo 在大規模模型訓練中的潛力，預示着智能未來將是分佈式的。