轉發。

—————

黑夜之睛滾雪球

8-18 11:42 來自 iPhone 12 Pro Max

近期大模型的一些思考 (轉

1 王小川 6 月去了硅谷，帶回來的信息是國外大模型技術從領先半步到領先一步，國內大模型應用從領先半步到領先三步。説明中美技術差距還是很大的，過去預測是 6 個月，現在看要 1 年左右。國外的大模型行業應用以甲方為主，例如在金融行業，摩根大通有 1500 數據科學家在做大模型在金融行業的應用。中國大模型應用以乙方和創業公司為主，甲方的技術團隊在大模型領域還是缺人才，缺算力，更多依靠乙方 (大型科技企業和創業公司)

2 meta 的開源大模型 LLaMA(羊駝) 家族正在成為主流開源模型 (性價比高)，但是在 NLU 方面，效果還是落後於 OpenAl 的 GPT 系列。行業大模型是個大市場，但是都是處於探索階段，現在是取得了比原來傳統模型好的效果，但是達不到類似 GPT 的智力湧現的效果，可以説行業大模型還有很長的路要走，至少要一年左右，行業大模型的商業價值湧現要到 2024 年

3 OpenAl 發現，在 GPT4.0 之後，僅僅增加的數據和訓練無法提升模型的準確度，也無法帶來新的智力進化，GPT 未來需要在算法上進行突破 (這也給了行業追趕的時間)。OpenAl 在工程上進行大量投入，在建立基於 1000 萬張 GPU 卡的超級大模型 (英偉達 2023 年的 GPU 產量 165 萬張，高端卡 20 萬張)。如果 OPENAI 的這個目標實現了，會不會帶來意外的驚喜，超級大模型會不會成為超級人工智能大腦來控制一切？(類似於終結者中的天網)

4 美國很多大企業在同時使用 GPT 大模型和其他開源大模型，目前從效果上看還是 GPT 效果要好很多，GPT3.0 之後不再開源，其他大模型何時可以達到 GPT 的效果還是未知，中國的大模型預計 2024 年可以達到 GPT4.0 的效果 (樂觀預測)

5 全世界 AI 前 2000 的人才，以中美為主，美國是中國的 2 倍到 3 倍，美國的大模型人才集中在三大高科技企業 google，meta，微軟，其中 Google 是微軟和 meta 總和的近兩倍，中國集中在高校，清華，浙大，北大，中科大等，其中清華最多，是浙大和北大的總和，阿里是中國企業中擁有項級 A 人才最多的企業，排行第五，僅落後幹中科大

6 大模型領域的商業價值，唯一確定的領域是算力，未來算力也是核心投資領域之一。其他應用的商業價值主要集中在生物科學的蛋白質結構預測 (alphafold) 和程序員輔助 copilot(Codex) 等，其他的商業領域還在摸索中，智能客服是個確定領域，但是商業價值不明顯，texttolmage，是個確定領域，帶來的主要是效率提升，離商業價值的直接變現還有距離。大模型商業變現有個問題，大模型作為生產環節的一部分，間接參與生產，主要作用還是效率的提升，很難從 ROI 的角度看到其明確的可衡量的價值。未來還需要在更多的業務領域中，挖掘大模型的商業價值，預期要 1 年左右，才可以明確。未來有可能需要軟硬件結合 (類似於現在的工廠的 AI 質檢)，參與社會化大生產中的某個環節 (體育新聞撰寫，內容推薦引擎，醫療圖像診斷等具體分工) 或者單獨依靠計算 (商業模型計算等) 來體現其價值，應用的路還有些長

7 大模型的驚喜是帶來智力湧現，離我們預期的先知越來越接近。未來人類主要的任務是從大模型裏提取出智力，協助我們進行決策，其中領域大模型的 Agent 和通用大模型的 Prompt 能力顯得很重要。領域數據會成為大模型領域的另外一個核心競爭力。