跳轉到內容

執行除錯與觀測

從"跑一次"到"批次跑"再到"看效果",平臺提供完整的執行與觀測鏈路。

執行的三種方式

Agent 有三種執行方式,分別服務於"調一個節點、測整條流程、真實對外服務"三個階段:

節點測試執行Agent 測試執行Agent 正式執行
範圍單個節點整條流程已釋出的 Agent
是否需要釋出
入口節點上的執行按鈕編輯器內整體試執行對話端 / 廣場
用量承擔開發者自己開發者自己按歸屬規則 (見 Charged By)
典型用途配一個節點試一次上線前全流程迴歸真實使用

1. 節點測試執行

  • 除 IF Else、Branch Aggregator 等純路由/聚合節點外,處理類節點(LLM、Agent、Tool、Code、Iteration、Loop、Parameter Extractor 等) 均支援,以節點上是否出現執行按鈕為準
  • 配置完一個節點立即試執行,不要攢到最後 —— 問題定位永遠只在最新配的一段
  • 自動解析輸入引數格式,單節點除錯支援 array 和 object 複雜型別 (見下文「試執行增強」)

2. Agent 測試執行 (整體試執行)

  • 不釋出應用,在編輯器內跑通整條流程,驗證節點串聯、分支路由、兜底邏輯
  • 上線前按 除錯技巧準備正常 / 邊界 / 越界三類用例完整迴歸
  • 提示詞或流程有改動後,先整體試執行再重新發布

3. Agent 正式執行

  • 釋出後在對話端 / 廣場被真實使用,經過 Guardrail 等合規鏈路
  • 用量按歸屬規則計費:使用者是 Agent 所屬 Workspace 成員時開發者付費,否則使用者付費
  • 每次執行記入 Logs,並彙總進「統計」資料面板 (見下文)

三種方式的用量口徑:兩種測試執行都消耗開發者自己 Workspace 的額度 ("自己除錯自己付");正式執行才走 charged by 歸屬規則。

Workflow GUI 執行與批次執行

  • Workflow 支援在 GUI 介面中直接執行,不依賴 API 呼叫
  • 支援上傳 CSV 檔案批次執行:一列一個輸入變數、一行一次執行,適合批次評測和資料加工

用法示例:準備 50 條測試問題的 CSV 批次跑一遍,快速評估提示詞改動的整體效果 —— 比逐條試執行高效得多。

試執行增強

  • 自動解析輸入引數:試執行時自動解析輸入引數的格式,不再需要手工構造測試資料結構,除錯效率顯著提升
  • 單節點除錯支援 array 和 object:複雜型別資料也能單節點除錯,配合 除錯技巧的"配一個節點試一次"工作法

Logs 執行日誌

  • 檢視 Agent 每次執行的輸入輸出、執行路徑與失敗原因,是定位線上問題的第一入口
  • 上線後的例行動作:定期回看 Logs 中的真實對話,把 bad case 補充為提示詞的 ❌ 示例 (見 提示詞編寫技巧第六節)
  • 面向客戶的 Agent,日誌留存同時是合規要求 (見 合規要求)

統計資料檢視

統計頁:六項指標趨勢圖 (全部會話數/活躍使用者數/平均會話互動數/首字輸出平均耗時/Token 輸出速度/使用者滿意度),左上時間範圍篩選,右上「追蹤應用效能」入口

「統計」是 Agent 的資料統計面板,回答"我的 Agent 用得怎麼樣"。支援按時間範圍篩選 (如「過去一個季度」),提供六項指標趨勢圖:

指標回答什麼問題
全部會話數使用量在漲還是在跌?哪天有峰值?
活躍使用者數有多少人在用?
平均會話互動數使用者平均聊幾輪?粘性如何?
首字輸出平均耗時響應快不快?體驗是否變差?
Token 輸出速度生成速度是否穩定?
使用者滿意度使用者的點贊/點踩反饋趨勢

怎麼用好統計頁:

  1. 上線後頭一週每天看:確認真實使用者的使用量符合預期,及時發現異常
  2. 改動前後對比:提示詞/流程大改後,觀察會話數、滿意度與耗時的趨勢變化,驗證改動效果
  3. 統計看趨勢,Logs 查個案:統計頁發現指標異常 → 到 Logs 裡找對應時間段的失敗記錄定位原因

追蹤應用效能 (第三方 Tracing)

⚠️ 內部功能:「追蹤應用效能」目前僅供內部使用,暫未對外部使用者開放。

統計頁右上角的「追蹤應用效能」支援把應用執行的完整上下文(LLM 呼叫、上下文、提示、HTTP 請求等) 傳送到第三方跟蹤平臺,做更專業的除錯與效能分析:

統計頁右上角開啟「追蹤」面板:預設已停用,下方為可配置的提供商列表

  • 預設停用:追蹤開關預設關閉,需先配置提供商後才可啟用
  • 提供商:當前支援 Langfuse(跟蹤、評估、提示管理和指標,用於除錯和改進 LLM 應用)

追蹤面板:停用開關、功能說明與 Langfuse 提供商配置入口

點選 Langfuse 的「配置」,填入三項必填資訊即可完成對接:

配置 Langfuse 彈窗:金鑰、公鑰、Host(預設 https://cloud.langfuse.com)

配置項說明
金鑰 (Secret Key)Langfuse 專案的 Secret Key
公鑰 (Public Key)Langfuse 專案的 Public Key
HostLangfuse 服務地址 (如 https://cloud.langfuse.com,或自部署地址)

注意:追蹤會把應用執行上下文傳送到第三方平臺,涉及客戶資料的生產 Agent 開啟前請評估資料合規 (參見 合規要求)。

DSL 匯入校驗

畫布匯入 DSL 檔案時,自動校驗大語言模型可用性 —— 從其他環境/賬號匯出的 DSL 若引用了當前 Workspace 不可用的模型,匯入時即提示,而不是執行時才報錯。

關聯閱讀