LLM（大语言模型）
| 属性 | 值 |
|---|---|
| 节点英文名 | LLM |
| 节点中文名称 | 大语言模型 |
| 版本 | v1.0 |
| 支持场景 | Chatflow Agent ✓, Workflow Agent ✓ |
| 测试运行支持 | ✓ |
快速参考
| 配置项 | 必填 | 说明 |
|---|---|---|
| 模型选择 | ✓ | 从服务设置的模型中选择 |
| System Prompt | ✓ | 设置 AI 角色和行为准则 |
| User Prompt | ✓ | 具体任务指令 |
| 记忆功能 | - | 对话历史记忆 |
| 结构化输出 | - | JSON Schema 格式输出 |
功能说明
LLM 节点是 LongbridgeAI Agent Platform 的核心节点，提供强大的 AI 能力：
- 文本处理: 自然语言理解、推理和生成
- 记忆管理: 维护对话上下文和历史
- 结构化输出: 支持 JSON 格式的结构化数据输出
节点展示内容
1. 基本信息展示
- 图标: 节点专用图标
- 名称: 节点名称
- 使用的大模型:
- 模型提供商图标
- 模型名称
- 注释: 用户添加的说明文字
2. 操作按钮
- 更多按钮: 点击后展示右键菜单内容
- 运行按钮: 点击进入试运行界面
节点编辑区域
1. 模型配置
- 模型选择: 从服务设置的模型中选择，支持配置模型的参数
- 参数配置: 支持调整部分输入参数，可调参数以配置面板实际展示为准
- 模型管理: 本期没有模型管理，长桥内部进行初始化，提供测试的模型账号
a. 选择单个模型
模型下拉列表按厂商分组展示，可以选择对应厂商的对应模型 (如下图，厂商 alibaba 下的 qwen-flash),也可以通过顶部搜索框直接搜索模型名称：
b. SOTA 标签
部分模型名称后带有 SOTA 标签，意味着这个模型是比较贵也比较好的模型——能力更强，消耗的用量额度也更多，按需选用：
c. 模型组合
切换到「模型组合」标签页，可以选择平台内置的模型组合(如 Google 系列、千问系列等):
- 组合会按照模型的顺序来使用:第一个模型不可用时，会自动切换到第二个模型，以此类推
- 适合对稳定性要求较高的场景，避免单一模型故障导致流程中断
- 每个组合都标注了适用场景 (多模态、中文、企业、Agent 等),可按需选择
2. 上下文配置
- 变量选择: 点击变量值，展现【选择变量值】功能
- 错误检查: 如果在提示词中没有填写上下文的变量，则报错提示"请在提示中填写上下文变量"
3. System Prompt
- 输入框: 同 Answer 模版的输入功能
- 限制: 不支持 Jinja 模版
- 删除: 不支持删除
4. User Prompt/Assistant Prompt
- 输入框: 同 Answer 模版的输入功能
- 删除: 支持删除 Prompt
- 添加消息: 点击添加消息按钮后，依次出现新增 User/Assistant 的 Prompt 编辑器
- Assistant Prompt: Assistant Prompt 是 AI 助手的输出，也可以作为上下文内容输入——如上图，Assistant 消息挂载了
开始/context变量 (带「上下文」标签),把历史上下文回灌给模型 - 顺序要求: 最后一个 Prompt 必须是 User Prompt(通常挂
开始/sys.query,即用户本轮输入)
5. 记忆功能
记忆功能分为长期记忆和短期记忆两个独立开关：
a. 长期记忆
- 开启后，LLM 会自动提取会话中你明确要求记住的内容/偏好(比如你偏好的投资风格)
- 在后续的对话中，保存的长期记忆会作为上下文提供给 LLM，使回答更加个性化
b. 短期记忆
- 开启后，短期记忆会根据你设置的记忆窗口轮次,将当前会话的内容作为上下文提供给 LLM，使得回答内容和上文衔接
- 短期记忆仅生效于当前会话,切换会话后短期记忆不再生效
- 记忆窗口支持拖动滑杆或直接输入轮次数量 (如上图设置为 10 次)
6. 输出控制开关
a. 输出内容合法合规检查
- 开启后，系统将在输出时对内容进行合规校验
- 如识别到输出内容存在不合法、或不符合金融合规要求的情形，系统将立即停止输出并清空已生成的内容
b. 引用 / 股票引用 / Widget (Beta)
- 这三个功能将在后续版本的文档中进行介绍
c. 按行输出
- 开启后，流式输出将按行进行(攒够一整行后再显示)
- 关闭则为逐字打字机效果
7. 输出变量
- 默认输出: 展现输出的变量名"text"，数据类型"String"和说明"生成内容"
- think: String 类型，模型的思考过程。部分模型支持 think 输出，可以使用「思考过程输出」（仅 Chatflow 支持）的节点输出
- 结构化输出: 结构化输出开关
- 配置页面: 打开结构化输出开关后，展示结构化输出的内容"structured_output"类型为 object
- 展示配置的字段，包括参数名，参数类型，是否必填字段
- 点击配置按钮，进入到配置页面
8. 结构化输出配置
- 指定输出变量: 支持指定输出变量——如上图，在
structured_output(object 类型) 下定义了字段aa(string 类型、必填，说明为 bb) - 默认模版: 配置页面展示默认模版
- 编辑器: 配置页面仅支持 Json 编辑器窗口、清空配置，确认保存按钮
- 重置功能: 点击清空配置后，恢复到默认模版
⚠️ 注意:结构化输出不是所有模型都支持,一些比较老的模型不支持结构化输出。如果开启后输出异常，请先确认所选模型是否支持。
9. 下一步配置
- 支持添加下一个节点
运行逻辑
LLM 节点的运行逻辑由后端实现，确保大语言模型的正确调用和处理。
右键操作
右键菜单包含以下选项：
- 更改节点: 修改节点类型
- 拷贝: 复制节点
- 复制: 复制节点内容
- 删除: 删除节点
- 帮助链接: 跳转到帮助文档
- 运行节点: 测试运行当前节点
使用场景
1. 文本生成
- 内容创作
- 文章写作
- 创意文案
2. 问答系统
- 知识问答
- 技术支持
- 客服对话
3. 文本处理
- 文本摘要
- 翻译服务
- 文本分类
4. 代码生成
- 代码编写
- 代码解释
- 代码优化
最佳实践
1. Prompt 设计
- 清晰明确: 使用清晰、明确的指令
- 上下文完整: 提供足够的上下文信息
- 示例引导: 使用示例来引导模型行为
2. 记忆管理
- 合理设置: 根据任务需求设置记忆窗口
- 内容优化: 优化记忆内容的质量
- 性能平衡: 平衡记忆效果和性能
3. 结构化输出
- Schema 设计: 设计合理的输出结构
- 类型定义: 明确定义字段类型
- 必填字段: 合理设置必填字段
配置步骤
1. 基础配置
- 选择合适的大语言模型
- 配置 System Prompt
- 设置 User Prompt
2. 高级配置
- 配置上下文变量
- 设置记忆功能
- 配置结构化输出（可选）
3. 测试验证
- 使用试运行功能测试
- 检查输出结果
- 调整配置参数
注意事项
- 模型选择: 根据任务特点选择合适的模型
- Prompt 质量: 高质量的 Prompt 能显著提升效果
- 上下文管理: 合理管理上下文长度
- 成本控制: 注意 token 使用量和成本
- 错误处理: 考虑异常情况的处理
常见问题
Q: 如何选择合适的模型？
A: 根据任务复杂度、响应速度要求和成本预算来选择。
Q: System Prompt 和 User Prompt 有什么区别？
A: System Prompt 设置 AI 的角色和行为准则，User Prompt 是具体的任务指令。
Q: 如何配置结构化输出？
A: 打开结构化输出开关，点击配置按钮，使用 JSON Schema 定义输出结构。
Q: 记忆功能如何使用？
A: 打开记忆开关，设置记忆模版和记忆窗口大小，AI 会记住对话历史。
Q: 如何优化 Prompt 效果？
A: 使用清晰的指令、提供示例、设置合适的角色和上下文。