LLM（大語言模型）
| 屬性 | 值 |
|---|---|
| 節點英文名 | LLM |
| 節點中文名稱 | 大語言模型 |
| 版本 | v1.0 |
| 支援場景 | Chatflow Agent ✓, Workflow Agent ✓ |
| 測試執行支援 | ✓ |
快速參考
| 配置項 | 必填 | 說明 |
|---|---|---|
| 模型選擇 | ✓ | 從服務設定的模型中選擇 |
| System Prompt | ✓ | 設定 AI 角色和行為準則 |
| User Prompt | ✓ | 具體任務指令 |
| 記憶功能 | - | 對話歷史記憶 |
| 結構化輸出 | - | JSON Schema 格式輸出 |
功能說明
LLM 節點是 LongbridgeAI Agent Platform 的核心節點，提供強大的 AI 能力：
- 文本處理: 自然語言理解、推理和生成
- 記憶管理: 維護對話上下文和歷史
- 結構化輸出: 支援 JSON 格式的結構化資料輸出
節點展示內容
1. 基本資訊展示
- 圖示: 節點專用圖示
- 名稱: 節點名稱
- 使用的大模型:
- 模型提供商圖示
- 模型名稱
- 註釋: 使用者新增的說明文字
2. 操作按鈕
- 更多按鈕: 點選後展示右鍵選單內容
- 執行按鈕: 點選進入試執行介面
節點編輯區域
1. 模型配置
- 模型選擇: 從服務設定的模型中選擇，支援配置模型的引數
- 引數配置: 支援調整部分輸入引數，可調引數以配置面板實際展示為準
- 模型管理: 本期沒有模型管理，長橋內部進行初始化，提供測試的模型賬號
a. 選擇單個模型
模型下拉式清單按廠商分組展示，可以選擇對應廠商的對應模型 (如下圖，廠商 alibaba 下的 qwen-flash),也可以通過頂部搜尋框直接搜尋模型名稱：
b. SOTA 標籤
部分模型名稱後帶有 SOTA 標籤，意味著這個模型是比較貴也比較好的模型——能力更強，消耗的用量額度也更多，按需選用：
c. 模型組合
切換到「模型組合」標籤頁，可以選擇平臺內建的模型組合(如 Google 系列、千問系列等):
- 組合會按照模型的順序來使用:第一個模型不可用時，會自動切換到第二個模型，以此類推
- 適合對穩定性要求較高的場景，避免單一模型故障導致流程中斷
- 每個組合都標註了適用場景 (多模態、中文、企業、Agent 等),可按需選擇
2. 上下文配置
- 變數選擇: 點選變數值，展現【選擇變數值】功能
- 錯誤檢查: 如果在提示詞中沒有填寫上下文的變數，則報錯提示"請在提示中填寫上下文變數"
3. System Prompt
- 輸入框: 同 Answer 模版的輸入功能
- 限制: 不支援 Jinja 模版
- 刪除: 不支援刪除
4. User Prompt/Assistant Prompt
- 輸入框: 同 Answer 模版的輸入功能
- 刪除: 支援刪除 Prompt
- 新增訊息: 點選新增訊息按鈕後，依次出現新增 User/Assistant 的 Prompt 編輯器
- Assistant Prompt: Assistant Prompt 是 AI 助手的輸出，也可以作為上下文內容輸入——如上圖，Assistant 訊息掛載了
開始/context變數 (帶「上下文」標籤),把歷史上下文回灌給模型 - 順序要求: 最後一個 Prompt 必須是 User Prompt(通常掛
開始/sys.query,即使用者本輪輸入)
5. 記憶功能
記憶功能分為長期記憶和短期記憶兩個獨立開關：
a. 長期記憶
- 開啟後，LLM 會自動提取會話中你明確要求記住的內容/偏好(比如你偏好的投資風格)
- 在後續的對話中，儲存的長期記憶會作為上下文提供給 LLM，使回答更加個性化
b. 短期記憶
- 開啟後，短期記憶會根據你設定的記憶視窗輪次,將當前會話的內容作為上下文提供給 LLM，使得回答內容和上文銜接
- 短期記憶僅生效於當前會話,切換會話後短期記憶不再生效
- 記憶視窗支援拖動滑桿或直接輸入輪次數量 (如上圖設定為 10 次)
6. 輸出控制開關
a. 輸出內容合法合規檢查
- 開啟後，系統將在輸出時對內容進行合規校驗
- 如識別到輸出內容存在不合法、或不符合金融合規要求的情形，系統將立即停止輸出並清空已生成的內容
b. 引用 / 股票引用 / Widget (Beta)
- 這三個功能將在後續版本的文件中進行介紹
c. 按行輸出
- 開啟後，流式輸出將按行進行(攢夠一整行後再顯示)
- 關閉則為逐字打字機效果
7. 輸出變數
- 預設輸出: 展現輸出的變數名"text"，資料型別"String"和說明"生成內容"
- think: String 型別，模型的思考過程。部分模型支援 think 輸出，可以使用「思考過程輸出」（僅 Chatflow 支援）的節點輸出
- 結構化輸出: 結構化輸出開關
- 配置頁面: 開啟結構化輸出開關後，展示結構化輸出的內容"structured_output"型別為 object
- 展示配置的欄位，包括引數名，引數型別，是否必填欄位
- 點選配置按鈕，進入到配置頁面
8. 結構化輸出配置
- 指定輸出變數: 支援指定輸出變數——如上圖，在
structured_output(object 型別) 下定義了欄位aa(string 型別、必填，說明為 bb) - 預設模版: 配置頁面展示預設模版
- 編輯器: 配置頁面僅支援 Json 編輯器視窗、清空配置，確認儲存按鈕
- 重置功能: 點選清空配置後，恢復到預設模版
⚠️ 注意:結構化輸出不是所有模型都支援,一些比較老的模型不支援結構化輸出。如果開啟後輸出異常，請先確認所選模型是否支援。
9. 下一步配置
- 支援新增下一個節點
執行邏輯
LLM 節點的執行邏輯由後端實現，確保大語言模型的正確呼叫和處理。
右鍵操作
右鍵選單包含以下選項：
- 更改節點: 修改節點型別
- 複製: 複製節點
- 複製: 複製節點內容
- 刪除: 刪除節點
- 幫助連結: 跳轉到幫助文件
- 執行節點: 測試運行當前節點
使用場景
1. 文本生成
- 內容創作
- 文章寫作
- 創意文案
2. 問答系統
- 知識問答
- 技術支援
- 客服對話
3. 文本處理
- 文本摘要
- 翻譯服務
- 文本分類
4. 程式碼生成
- 程式碼編寫
- 程式碼解釋
- 程式碼最佳化
最佳實踐
1. Prompt 設計
- 清晰明確: 使用清晰、明確的指令
- 上下文完整: 提供足夠的上下文資訊
- 示例引導: 使用示例來引導模型行為
2. 記憶管理
- 合理設定: 根據任務需求設定記憶視窗
- 內容最佳化: 最佳化記憶內容的質量
- 效能平衡: 平衡記憶效果和效能
3. 結構化輸出
- Schema 設計: 設計合理的輸出結構
- 型別定義: 明確定義欄位型別
- 必填欄位: 合理設定必填欄位
配置步驟
1. 基礎配置
- 選擇合適的大語言模型
- 配置 System Prompt
- 設定 User Prompt
2. 高階配置
- 配置上下文變數
- 設定記憶功能
- 配置結構化輸出（可選）
3. 測試驗證
- 使用試執行功能測試
- 檢查輸出結果
- 調整配置引數
注意事項
- 模型選擇: 根據任務特點選擇合適的模型
- Prompt 質量: 高質量的 Prompt 能顯著提升效果
- 上下文管理: 合理管理上下文長度
- 成本控制: 注意 token 使用量和成本
- 錯誤處理: 考慮異常情況的處理
常見問題
Q: 如何選擇合適的模型？
A: 根據任務複雜度、響應速度要求和成本預算來選擇。
Q: System Prompt 和 User Prompt 有什麼區別？
A: System Prompt 設定 AI 的角色和行為準則，User Prompt 是具體的任務指令。
Q: 如何配置結構化輸出？
A: 開啟結構化輸出開關，點選配置按鈕，使用 JSON Schema 定義輸出結構。
Q: 記憶功能如何使用？
A: 開啟記憶開關，設定記憶模版和記憶視窗大小，AI 會記住對話歷史。
Q: 如何最佳化 Prompt 效果？
A: 使用清晰的指令、提供示例、設定合適的角色和上下文。