ChatGPT 引爆的 AI 熱潮也 “燒到了” 金融圈，彭博社重磅發佈為金融界打造的大型語言模型（LLM）——BloombergGPT。
3 月 30 日，根據彭博社最新發布的報告顯示，其構建迄今為止最大的特定領域數據集，並訓練了專門用於金融領域的 LLM，開發了擁有 500 億參數的語言模型——BloombergGPT。
報告顯示，該模型依託彭博社的大量金融數據源，構建了一個 3630 億個標籤的數據集，支持金融行業內的各類任務。該模型在金融任務上的表現遠超過現有模型，且在通用場景上的表現與現有模型也能一較高下。
一般來説，在 NLP 領域，參數數量和複雜程度之間具有正相關性，GPT-3.5 模型的參數量為 2000 億，GPT-3 的參數量為 1750 億。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/8b2db35f-9594-4f7d-beeb-90c0775be997.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="717" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/8b2db35f-9594-4f7d-beeb-90c0775be997.png"/>
<h2>關於 BloombergGPT</h2>
報告指出，研究人員利用彭博社現有的數據，對資源進行創建、收集和整理，通過構建迄今為止最大的特定領域數據集來完成 BloomberGPT，並基於通用和金融業務的場景進行混合模型訓練：
<blockquote>
彭博社主要是一家金融數據公司，數據分析師在公司成立的四十年的時間裏收集了大量的金融文件，擁有廣泛的金融數據檔案，涵蓋了一系列的主題。
我們將這些數據添加到公共數據集中，以創建一個擁有超過 7000 億個標籤的大型訓練語料庫。
使用這個訓練語料庫的一部分，我們訓練了一個具有彭博風格的，達 500 億參數的模型，該模型是根據 Hoffmann 和 Le Scao 等人的指導方針設計，基於通用和金融業務的場景進行混合模型訓練。
結果表明，我們的混合訓練方法使我們的模型在金融任務上的表現大大超過了現有的模型，而在通用場景上的表現則與之相當甚至優於現有模型。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/9fe049d8-793c-4a99-930b-300433d5d5fa.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="401" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/9fe049d8-793c-4a99-930b-300433d5d5fa.png"/>
</blockquote>
1.BloombergGPT 優勢：特定領域模型仍有其不可替代性且彭博數據來源可靠
在論文中，彭博社指出，現階段，通用的自然語言處理模型可以涵蓋許多領域，但針對特定領域模型仍有其不可替代性，因彭博社的大多數應用均為金融領域，着手構建了一個針對金融領域的模型尤其優勢，同時可以在通用 LLM 基準測試上保持競爭力：
<blockquote>
除了構建金融領域的 LLM 外，本文的經驗也為其他研究領域的專用模型提供了參考。我們的方法是在特定領域和一般數據源上訓練 LLM，以開發在特定領域和通用基準上表現優異的模型。
此外，我們的訓練數據不同於傳統的網絡爬取數據，網絡上的數據總有重複和錯誤，但我們的數據來源可靠。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ffa731db-c76e-4079-a486-2c96f48607f8.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="663" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ffa731db-c76e-4079-a486-2c96f48607f8.png"/>
</blockquote>
2.BloombergGPT 的訓練數據集：
BloombergGPT 的訓練數據庫名為 FINPILE，由一系列英文金融信息組成，包括新聞、文件、新聞稿、網絡爬取的金融文件以及提取到的社交媒體消息。
為了提高數據質量，FINPILE 數據集也使用了公共數據集，例如 The Pile、C4 和 Wikipedia。FINPILE 的訓練數據集中大約一半是特定領域的文本，一半是通用文本。為了提高數據質量，每個數據集都進行了去重處理。
<blockquote>
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a18fd769-9fc0-4d54-86fe-ee7b785a266a.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1300" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a18fd769-9fc0-4d54-86fe-ee7b785a266a.png"/>
</blockquote>
<h2>對金融領域的理解更準</h2>
報告指出，在金融領域中的自然語言處理在通用模型中也很常見，但是，針對金融領域，這些任務執行時將面臨挑戰：
<blockquote>
以情感分析為例，一個題為 “某公司將裁員 1 萬人”，在一般意義上表達了負面情感，但在金融情感方面，它有時可能被認為是積極的，因為它可能導致公司的股價或投資者信心增加。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/867e1800-ee53-431b-a69a-aa2ecf822926.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="650" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/867e1800-ee53-431b-a69a-aa2ecf822926.png"/>
</blockquote>
報告指出，從測試來看，BloombergGPT 在五項任務中的四項（ConvFinQA，FiQA SA，FPB 和 Headline）表現最佳，在 NER（Named Entity Recognition）中排名第二。因此，BloombergGPT 有其優勢性。
<blockquote>
測試一：ConvFinQA 數據集是一個針對金融領域的問答數據集，包括從新聞文章中提取出的問題和答案，旨在測試模型對金融領域相關問題的理解和推理能力。
測試二：FiQA SA，第二個情感分析任務，測試英語金融新聞和社交媒體標題中的情感走向。
測試三：標題，數據集包括關於黃金商品領域的英文新聞標題，標註了不同的子集。任務是判斷新聞標題是否包含特定信息，例如價格上漲或價格下跌等。
測試四： FPB，金融短語庫數據集包括來自金融新聞的句子情緒分類任務。
測試五：NER，命名實體識別任務，針對從提交給 SEC 的金融協議中收集金融數據，進行信用風險評估。
對於 ConvFinQA 來説，這個差距尤為顯著，因為它需要使用對話式輸入來對錶格進行推理並生成答案，具有一定挑戰性。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/002b30b6-5209-4501-9b6a-e6e54135ea31.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="443" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/002b30b6-5209-4501-9b6a-e6e54135ea31.png"/>
</blockquote>
<h2>ChatGPT 為彭博點贊</h2>
華爾街見聞就這個問題專門詢問了 ChatGPT，ChatGPT 認為BloombergGPT 是一項很有意義的技術進步：
<blockquote>
它是專門為金融領域開發的一種語言模型，可以更好地處理金融領域的數據和任務，並且在金融領域的基準測試中表現出色。
這將有助於金融從業者更好地理解和應用自然語言處理技術，促進金融科技的發展。同時，BloombergGPT 還可以為其他領域的語言模型的發展提供參考和借鑑。總的來説，BloombergGPT 是一個有益的技術創新。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/3de968d3-2d5f-4884-b195-85be1e9466d1.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="371" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/3de968d3-2d5f-4884-b195-85be1e9466d1.png"/>
</blockquote>

彭博研究員構建了迄今為止最大的特定領域數據集，並訓練了擁有 500 億參數且專門用於金融領域的 LLM——BloombergGPT。經過測試，該模型在金融任務上的表現遠超現有的模型，且在通用場景上的表現與現有模型也能一較高下。

金融圈注意了！彭博研究人員剛推出 BloombergGPT