模型设置

模型设置用于配置和管理所有大语言模型（LLM），支持公有云模型（OpenAI、Claude、DeepSeek）和私有部署模型（Ollama、vLLM、Xinference）。通过统一的配置界面，您可以添加多个模型、管理凭证、测试连接状态、配置模型参数。

1. 页面布局

1.1 进入模型设置页面

点击顶部下拉列表菜单中的"模型设置"，进入模型管理页面。

1.2 布局结构

页面采用左右分栏设计：

左侧导航区域

树形结构展示服务商分类
全部模型、公有模型、私有模型三级分类
每个服务商带有品牌图标
支持折叠/展开侧边栏

右侧内容区域

顶部：标题、搜索框、刷新和添加按钮
主体：卡片式模型列表，桌面端 2 列布局
底部：分页导航

模型卡片信息

左上角序号、服务商图标和模型名称
公有/私有标签、连通状态标签（已连通/不可用）
服务商、模型类型、基础模型、版本号、创建者、创建时间
悬停显示操作按钮：测试连接、编辑、删除

页面布局

2. 浏览模型

2.1 使用导航树筛选

左侧导航树以树形结构组织模型：

全部模型
├── 公有模型
│   ├── OpenAI
│   ├── Claude
│   ├── DeepSeek
│   └── ...
└── 私有模型
    ├── Ollama
    ├── vLLM
    └── ...

操作方式

点击"全部模型"显示所有模型
点击"公有模型"或"私有模型"显示该类别模型
点击具体服务商只显示该服务商的模型
选中节点高亮显示

公有 vs 私有

公有模型：云端服务，数据在服务商云端处理（如 OpenAI、Claude）
私有模型：本地部署，数据在您的设备内处理（如 Ollama、vLLM）

2.2 查看模型列表

右侧以卡片形式展示模型，每个卡片包含：

序号和服务商图标
模型名称和类型标签
连通状态（绿色"已连通"/红色"不可用"）
详细信息（服务商、基础模型、版本、创建者、时间）

响应式布局

大屏幕：2 列卡片
小屏幕：1 列卡片

模型列表

2.3 搜索和筛选

搜索功能

位置：右上角搜索框
搜索范围：模型名称
支持实时搜索和清除

筛选组合

搜索和导航筛选可同时使用
例如：选中"公有模型"后搜索"GPT"，只显示公有模型中包含"GPT"的模型

刷新列表

点击"刷新"按钮获取最新模型状态
自动刷新：添加、编辑、删除模型后自动刷新

模型卡片

3. 添加模型

3.1 选择服务商

点击右上角"添加模型"按钮，弹出服务商选择抽屉。

服务商选择抽屉

宽度：页面的 65%
卡片网格：2 列布局
每个卡片显示：序号、图标、服务商名称
筛选逻辑：
- 选中"公有模型"只显示公有服务商
- 选中"私有模型"只显示私有服务商
- 选中"全部模型"显示所有服务商

服务商列表示例

公有：OpenAI、Claude、DeepSeek、Moonshot、智谱 GLM、通义千问、Gemini
私有：Ollama、vLLM、Xinference、LocalAI

选择服务商

3.2 配置基础信息

选择服务商后，进入配置界面（二级抽屉）。

基础信息

模型名称（必填）
- 最多 64 个字符
- 示例：GPT-4 Turbo、Claude 3 Sonnet、DeepSeek Chat
模型情况（自动选中）
- 根据服务商类型自动选择
- 私有模型：本地部署，数据在您的设备或环境内处理
- 公有模型：云端服务，数据在服务商云端处理
模型类型（必填）
- 当前选项：大语言模型（llm）
基础模型（必填）
- 下拉选择该服务商支持的模型
- 支持搜索和自定义输入
- 直接输入模型名称后按回车添加
- 示例：
  - OpenAI：gpt-4、gpt-4-turbo、gpt-3.5-turbo
  - Claude：claude-3-opus、claude-3-sonnet、claude-3-haiku
  - DeepSeek：deepseek-chat、deepseek-coder

配置基础信息

3.3 配置凭证

选择基础模型后，自动显示凭证配置区域。

常见凭证字段

API Key（密码类型）
- 输入框默认隐藏显示（• • • •）
- 点击眼睛图标切换显示/隐藏
- 占位符：提示格式如 "sk-xxx"
- 必填字段，未填写显示红色边框
Base URL（文本类型，会带出默认值，正常情况下不需要修改）
- 用于私有部署或自定义端点
- 示例：
  - OpenAI：https://api.openai.com/v1
  - Ollama：http://localhost:11434
  - vLLM：http://localhost:8000
其他字段
- 根据服务商不同，可能包含：Organization ID、Project ID、Access Token、Secret Key
- 每个字段带有清晰标签和占位符提示

凭证配置

3.4 配置高级参数

点击"高级设置"标签页，配置模型运行参数（正常带出对应模型的默认值，自定义模型没有默认值，需要自己填写）。

参数表格

表格列：显示名称、参数、组件类型、默认值、必填、操作
右上角"+ 添加"按钮添加新参数
每行右侧"删除"按钮删除该参数

参数配置项

显示名称（label）
- 参数在界面上显示的名称
- 示例：温度、最大 Token 数、Top P
参数（param_key）
- 实际传递给模型的参数键名
- 示例：temperature、max_tokens、top_p、frequency_penalty
- 必须与模型 API 文档一致
组件类型（ui_type）
- 选项：输入框（input）、滑块（slider）、开关（switch）、下拉选择（select）
- 决定该参数在对话设置中的展示形式
默认值（value）
- 参数的默认值
- 示例：temperature：0.7，max_tokens：2048
必填（required）
- 开关控件，打开表示必填项

常用参数示例

显示名称：温度
参数：temperature
组件类型：滑块
默认值：0.7
必填：是

显示名称：最大 Token 数
参数：max_tokens
组件类型：输入框
默认值：2048
必填：否

高级参数

4. 测试连接

4.1 测试未保存的配置

配置完模型后，建议先测试连接再保存。

测试按钮

位于抽屉底部，"取消"和"保存"按钮之间
按钮文本："测试连接" / "测试中..."

测试前验证

检查服务商、基础模型是否已选择
检查必填凭证字段是否已填写
未通过验证显示警告提示

测试过程

点击"测试连接"按钮
显示全屏遮罩层："正在测试连通性"
后台发送测试请求验证配置
测试成功：显示绿色成功提示
测试失败：显示红色错误提示和具体原因

测试意义

验证 API Key 是否有效
验证 Base URL 是否可访问
验证模型名称是否正确
避免保存错误配置

测试连接

4.2 测试已保存的模型

对于已保存的模型，可以快速测试连通状态。

触发方式

鼠标悬停在模型卡片上
点击天蓝色的"链接"图标

测试结果

成功：显示绿色提示"连通正常"，状态标签更新为"已连通"
失败：显示红色提示"连通失败"，状态标签更新为"不可用"
测试完成后自动刷新列表

最佳实践

定期测试模型连通性
发现"不可用"状态及时检查配置
API Key 更换后重新测试

测试连接

5. 保存模型配置

测试连接成功后，点击"保存"按钮保存配置。

保存前验证

模型名称：必填，不能为空
服务商：必填，必须选择有效服务商
基础模型：必填，必须选择或输入模型名称
凭证字段：检查所有必填字段是否已填写

保存过程

点击"保存"按钮
按钮变为"保存中..."并显示加载动画
显示全屏遮罩层："正在处理，请稍候..."
保存成功：显示绿色提示"已保存"
关闭抽屉，自动刷新模型列表

特殊处理

首次添加模型时，自动设置为用户的默认模型
编辑已选中的模型时，同步更新内存中的模型信息

保存配置

6. 编辑模型

6.1 打开编辑界面

鼠标悬停在模型卡片上，点击蓝色的"编辑"图标（铅笔图标）。

6.2 修改配置

预填充逻辑

所有字段预填充当前模型的配置值
凭证字段展开显示
高级参数加载到表格

可修改项

模型名称：可重命名
基础模型：可切换到同服务商下的其他模型
凭证字段：可更新 API Key、Base URL 等
高级参数：可添加、修改、删除参数

不可修改项

服务商：不能更改，如需更改请删除后重新添加
模型情况（公有/私有）：根据服务商自动确定

编辑流程

点击编辑图标
抽屉滑出并加载模型详情
修改需要更改的字段
（可选）点击"测试连接"验证修改
点击"保存"按钮保存修改
关闭抽屉，列表自动刷新

编辑模型

7. 删除模型

7.1 触发删除

鼠标悬停在模型卡片上，点击红色的"删除"图标（垃圾桶图标）。

7.2 确认删除

确认对话框

标题："确认删除模型"
内容："确定要删除该模型吗？删除后无法恢复。"
操作按钮：
- "取消"按钮：灰色，关闭对话框
- "删除"按钮：红色危险按钮，执行删除

删除过程

点击确认对话框中的"删除"按钮
显示全屏遮罩层："正在处理，请稍候..."
删除成功显示绿色提示："已删除"
自动刷新模型列表
如果删除后当前页没有数据，自动跳转到上一页

注意事项

删除操作无法撤销，请谨慎操作
删除模型不会影响历史对话记录
如果删除的是当前正在使用的模型，需要重新选择其他模型

删除模型

8. 支持的模型服务商

CueMate 支持多个主流大语言模型服务商，您可以根据需求选择合适的模型：

8.1 公有云模型

OpenAI - 全球领先的 AI 公司，提供 GPT-4o、GPT-4 Turbo 等先进模型，支持复杂推理和多模态理解
Anthropic - Claude 系列模型，擅长长文本理解和安全对话，支持 200K token 上下文
Google Gemini - Google 最新多模态模型，支持文本、图像、视频理解
DeepSeek - 国产优秀模型，性价比高，代码能力强，支持数学推理
Moonshot (Kimi) - 月之暗面，支持 200K 超长上下文，适合文档分析
智谱 AI - 清华系，GLM-4 系列模型，中文理解能力突出
通义千问 - 阿里云百炼平台，Qwen 系列模型，生态完善
腾讯混元 - 腾讯自研大模型，中文能力强，接入便捷
讯飞星火 - 科大讯飞，语音场景优化，中文对话流畅
火山引擎 - 字节跳动，豆包系列模型，多场景适配
SiliconFlow - 开源模型推理平台，支持 Llama、Qwen 等多个开源模型
百度千帆 - 百度推出的大语言模型平台，支持 ERNIE-4.0、ERNIE-3.5 等模型
百川智能 - 百川智能推出的 Baichuan 系列模型，支持 Baichuan4、Baichuan3-Turbo、Baichuan3-Turbo-128k 等模型
MiniMax - MiniMax 推出的超长文本大模型，支持 abab6.5-chat、abab6.5s-chat 等模型，最高支持 245K tokens 上下文
阶跃星辰 - 主打长上下文的 Step 系列模型，支持 step-1-8k、step-1-32k、step-1-256k 等模型，最高支持 256K tokens 超长上下文
商汤日日新 - 商汤科技推出的 SenseNova 系列模型，支持 SenseChat-5、SenseChat-Turbo 等 22 个模型，包含自研和第三方模型

8.2 云平台模型服务

Azure OpenAI - 微软 Azure 云平台，提供企业级 OpenAI 模型服务，支持私有网络
Amazon Bedrock - AWS 托管服务，集成 Claude、Llama 等多个模型，安全合规
腾讯云 - 腾讯云 AI 平台，提供混元等模型服务

8.3 私有部署模型

Ollama - 本地运行开源模型，支持 Llama、Qwen、Gemma 等，数据完全本地化
vLLM - 高性能推理引擎，支持大规模模型部署，吞吐量高
Xinference - Xorbits 开源推理框架，支持多种模型格式，易于扩展
本地模型 - 自定义本地模型服务，完全离线运行，数据安全性最高
Regolo - 企业级私有化部署方案，高可用性保障，专业技术支持

选择建议：

追求性能：OpenAI GPT-4o、Claude 3.5 Sonnet
注重成本：DeepSeek、SiliconFlow、Ollama
中文场景：智谱 GLM-4、通义千问、腾讯混元
数据安全：Ollama、vLLM、本地模型
企业应用：Azure OpenAI、Amazon Bedrock、私有部署

9. 最佳实践

模型配置建议

命名规范

使用清晰描述性的名称，如"GPT-4 Turbo（生产环境）"
区分不同用途的相同模型，如"Claude 3 Sonnet（翻译）"、"Claude 3 Sonnet（代码）"
避免使用过长的名称，建议不超过 30 个字符

凭证安全

API Key 输入后使用密码模式隐藏
不要在截图或录屏中暴露 API Key
定期更换 API Key，更换后重新测试连接
不同环境（开发/生产）使用不同的 API Key

参数优化

根据使用场景调整 temperature 参数：
- 创意写作：0.7-0.9（更随机）
- 代码生成：0.2-0.4（更确定）
- 翻译任务：0.3-0.5（平衡）
max_tokens 根据需求设置，避免过大导致费用增加
开启 stream 参数可以实现打字机效果

连通性管理

新添加模型务必先测试连接
定期测试已有模型的连通性
发现"不可用"状态及时排查原因
保留备用模型以应对主模型故障

效率提升技巧

快速添加模型

在左侧导航树选中具体服务商节点
点击"添加模型"直接进入配置界面，跳过服务商选择步骤

搜索筛选

模型较多时使用搜索功能快速定位
结合左侧导航和搜索框实现精确筛选

页面布局优化

模型数量少时可以折叠左侧导航
调整每页显示数量，大屏幕建议设置为 12 或 18

常见问题排查

连通测试失败

检查 API Key 是否正确
检查 Base URL 是否可访问（私有部署模型）
检查网络连接是否正常
检查模型名称是否正确

保存失败

确认所有必填字段已填写
检查模型名称是否重复
检查凭证格式是否正确

模型无法使用

确认模型状态为"已连通"
重新测试连接
检查 API Key 是否过期
检查余额是否充足（公有模型）

模型设置 ​

1. 页面布局 ​

1.1 进入模型设置页面 ​

1.2 布局结构 ​

2. 浏览模型 ​

2.1 使用导航树筛选 ​

2.2 查看模型列表 ​

2.3 搜索和筛选 ​

3. 添加模型 ​

3.1 选择服务商 ​

3.2 配置基础信息 ​

3.3 配置凭证 ​

3.4 配置高级参数 ​

4. 测试连接 ​

4.1 测试未保存的配置 ​

4.2 测试已保存的模型 ​

5. 保存模型配置 ​

6. 编辑模型 ​

6.1 打开编辑界面 ​

6.2 修改配置 ​

7. 删除模型 ​

7.1 触发删除 ​

7.2 确认删除 ​

8. 支持的模型服务商 ​

8.1 公有云模型 ​

8.2 云平台模型服务 ​

8.3 私有部署模型 ​

9. 最佳实践 ​

模型配置建议 ​

效率提升技巧 ​

常见问题排查 ​

相关页面 ​