LLM 통합

설계부터 LLM 비종속적
Hyperdrome은 단일 AI 제공자에 종속되지 않습니다. 에이전트 아키텍처는 의도 분석, 컨텍스트 수집, 실행을 독립적인 레이어로 분리합니다 — 따라서 LLM 백엔드를 다른 것을 변경하지 않고도 교체할 수 있습니다. 이는 Hyperdrome이 오늘날 모든 대규모 언어 모델과 작동하며, 내일 출시될 모든 모델과도 작동할 것임을 의미합니다.지원 모델
Claude
Opus, Sonnet, Haiku — 운영 중
GPT-4
GPT-4o, GPT-4, GPT-4 Turbo — 운영 중
Gemini
Gemini 2.5 Pro, 2.5 Flash — 운영 중
오픈소스
Llama, Mistral, Qwen, DeepSeek — 계획 중
아키텍처
에이전트 파이프라인은 모든 단계에서 모델 비종속적입니다:지능형 라우팅
백엔드는 다음 요소를 기반으로 각 요청에 최적의 모델을 자동 선택합니다:| 요소 | 로직 |
|---|---|
| 복잡도 | 단순 쿼리(가격 확인, 잔액) → 가장 빠른 모델. 복잡한 다단계 작업 → 가장 강력한 모델. |
| 언어 | 일부 모델은 특정 언어에서 더 뛰어납니다. 라우터는 감지된 사용자 언어에 맞게 최적화합니다. |
| 지연 시간 | 기본 모델이 느리거나 사용 불가한 경우, 라우터가 500ms 이내에 차선 옵션으로 전환합니다. |
| 비용 | 라우터는 모든 사용자에게 추론을 무료로 유지하기 위해 성능 대 비용의 균형을 맞춥니다. |
Bring Your Own LLM (출시 예정)
사용자가 자체 LLM 제공자를 연결할 수 있게 됩니다:- API Key — 자체 OpenAI, Anthropic, Google 또는 OpenAI 호환 API 키 연결
- 자체 호스팅 모델 — Llama, Mistral, Qwen 또는 기타 오픈소스 모델을 실행하는 자체 Ollama, vLLM 또는 TGI 엔드포인트로 에이전트를 연결
- 커스텀 시스템 프롬프트 — 에이전트의 성격, 위험 허용도, 응답 스타일 조정
- 완전한 프라이버시 — 자체 모델 사용 시, 데이터가 Hyperdrome의 추론 서버를 거치지 않음
호환 엔드포인트
OpenAI Chat Completions API 형식을 구현하는 모든 엔드포인트가 작동합니다:| Runtime | Example Models |
|---|---|
| Ollama | Llama 3.3, Mistral, Qwen 2.5, DeepSeek V3, Gemma |
| vLLM | Any HuggingFace model |
| TGI | Any HuggingFace model |
| Together AI | Llama, Mixtral, Qwen |
| Groq | Llama, Mixtral, Gemma |
| Fireworks | Llama, Mixtral, DeepSeek |
LLM 비종속성이 중요한 이유
- 벤더 종속 없음 — 제공자가 가격을 올리거나, 품질을 저하시키거나, 제한을 추가하면 Hyperdrome이 원활하게 전환합니다.
- 작업에 최적의 모델 — 모델마다 잘하는 작업이 다릅니다. 라우팅을 통해 Hyperdrome은 각 요청에 최적의 도구를 사용합니다.
- 미래 대비 — 새로운 모델이 매달 출시됩니다. LLM 비종속적 아키텍처는 Hyperdrome이 재작성 없이 즉시 도입할 수 있음을 의미합니다.
- 사용자 주권 — Bring Your Own LLM으로 사용자가 데이터와 추론을 통제합니다. 중앙화된 AI 제공자에 대한 의존성이 없습니다.
- 검열 저항성 — 오픈소스 모델은 폐쇄되거나 제한될 수 없습니다. 자체 Llama 또는 Mistral 인스턴스를 운영하는 사용자는 완전한 자율성을 갖습니다.