LLM 集成

设计上与 LLM 无关
Hyperdrome 不绑定单一 AI 提供商。代理架构将意图解析、上下文收集和执行分离为独立层 — 因此 LLM 后端可以随意替换,而无需更改其他任何内容。 这意味着 Hyperdrome 可以与当前的任何大语言模型配合使用,也将兼容未来发布的任何模型。支持的模型
Claude
Opus, Sonnet, Haiku — 已上线
GPT-4
GPT-4o, GPT-4, GPT-4 Turbo — 已上线
Gemini
Gemini 2.5 Pro, 2.5 Flash — 已上线
开源模型
Llama, Mistral, Qwen, DeepSeek — 计划中
架构
代理管线在每个阶段都与模型无关:智能路由
后端根据以下因素自动选择最佳模型:| 因素 | 逻辑 |
|---|---|
| 复杂度 | 简单查询(价格查看、余额)→ 最快模型。复杂的多步操作 → 最强模型。 |
| 语言 | 某些模型在特定语言上表现更好。路由器会针对用户检测到的语言进行优化。 |
| 延迟 | 如果主模型响应缓慢或不可用,路由器会在 500ms 内切换到次优选项。 |
| 成本 | 路由器在能力与成本之间取得平衡,确保所有用户免费使用推理服务。 |
自带 LLM (即将推出)
用户将能够连接自己的 LLM 提供商:- API key — 接入您自己的 OpenAI、Anthropic、Google 或任何 OpenAI 兼容的 API key
- 自托管模型 — 将代理指向您自己运行 Llama、Mistral、Qwen 或任何开源模型的 Ollama、vLLM 或 TGI 端点
- 自定义系统提示 — 定制代理的个性、风险偏好和响应风格
- 完全隐私 — 使用您自己的模型时,不会有任何数据经过 Hyperdrome 的推理服务器
兼容端点
任何实现 OpenAI Chat Completions API 格式的端点均可使用:| Runtime | Example Models |
|---|---|
| Ollama | Llama 3.3, Mistral, Qwen 2.5, DeepSeek V3, Gemma |
| vLLM | Any HuggingFace model |
| TGI | Any HuggingFace model |
| Together AI | Llama, Mixtral, Qwen |
| Groq | Llama, Mixtral, Gemma |
| Fireworks | Llama, Mixtral, DeepSeek |
为什么与 LLM 无关很重要
- 无供应商锁定 — 如果提供商提高价格、降低质量或增加限制,Hyperdrome 可以无缝切换。
- 为任务选择最佳模型 — 不同模型擅长不同任务。路由机制让 Hyperdrome 为每个请求使用最佳工具。
- 面向未来 — 新模型每月发布。与 LLM 无关的架构意味着 Hyperdrome 可以立即采用,无需重写。
- 用户主权 — 通过自带 LLM,用户掌控自己的数据和推理。不依赖中心化 AI 提供商。
- 抗审查 — 开源模型不会被关闭或限制。运行自己的 Llama 或 Mistral 实例的用户拥有完全自主权。