LLM-Integrationen

LLM-agnostisch von Grund auf
Hyperdrome ist nicht an einen einzelnen KI-Anbieter gebunden. Die Agent-Architektur trennt Absichtserkennung, Kontextsammlung und Ausfuehrung in unabhaengige Schichten — so kann das LLM-Backend ausgetauscht werden, ohne etwas anderes zu aendern. Das bedeutet, Hyperdrome funktioniert mit jedem grossen Sprachmodell heute und wird mit jedem Modell funktionieren, das morgen veroeffentlicht wird.Unterstuetzte Modelle
Claude
Opus, Sonnet, Haiku — Live
GPT-4
GPT-4o, GPT-4, GPT-4 Turbo — Live
Gemini
Gemini 2.5 Pro, 2.5 Flash — Live
Open Source
Llama, Mistral, Qwen, DeepSeek — Geplant
Architektur
Die Agent-Pipeline ist in jeder Phase modell-agnostisch:Intelligentes Routing
Das Backend waehlt automatisch das beste Modell fuer jede Anfrage basierend auf:| Faktor | Logik |
|---|---|
| Komplexitaet | Einfache Abfragen (Preisueberpruefungen, Guthaben) → schnellstes Modell. Komplexe Mehrstufenaktionen → leistungsfaehigstes Modell. |
| Sprache | Einige Modelle performen besser in bestimmten Sprachen. Der Router optimiert fuer die erkannte Sprache des Nutzers. |
| Latenz | Wenn das primaere Modell langsam oder nicht verfuegbar ist, faellt der Router in < 500ms auf die naechstbeste Option zurueck. |
| Kosten | Der Router balanciert Leistung vs. Kosten, um Inferenz fuer alle Nutzer kostenlos zu halten. |
Bring Your Own LLM (Bald verfuegbar)
Nutzer werden in der Lage sein, ihren eigenen LLM-Anbieter zu verbinden:- API Key — Eigenen OpenAI-, Anthropic-, Google- oder einen beliebigen OpenAI-kompatiblen API-Schluessel einbinden
- Selbst gehostete Modelle — Den Agenten auf den eigenen Ollama-, vLLM- oder TGI-Endpunkt richten, der Llama, Mistral, Qwen oder ein anderes Open-Source-Modell ausfuehrt
- Benutzerdefinierte System-Prompts — Persoenlichkeit, Risikotoleranz und Antwortstil des Agenten anpassen
- Volle Privatsphaere — Bei Verwendung des eigenen Modells werden keine Daten ueber die Inferenz-Server von Hyperdrome geleitet
Kompatible Endpunkte
Jeder Endpunkt, der das OpenAI Chat Completions API-Format implementiert, funktioniert:| Runtime | Example Models |
|---|---|
| Ollama | Llama 3.3, Mistral, Qwen 2.5, DeepSeek V3, Gemma |
| vLLM | Any HuggingFace model |
| TGI | Any HuggingFace model |
| Together AI | Llama, Mixtral, Qwen |
| Groq | Llama, Mixtral, Gemma |
| Fireworks | Llama, Mixtral, DeepSeek |
Warum LLM-agnostisch wichtig ist
- Kein Vendor-Lock-in — Wenn ein Anbieter Preise erhoeht, Qualitaet verschlechtert oder Einschraenkungen hinzufuegt, wechselt Hyperdrome nahtlos.
- Bestes Modell fuer den Job — Verschiedene Modelle glaenzen bei verschiedenen Aufgaben. Routing laesst Hyperdrome das beste Werkzeug fuer jede Anfrage nutzen.
- Zukunftssicher — Neue Modelle werden monatlich veroeffentlicht. LLM-agnostische Architektur bedeutet, dass Hyperdrome sie sofort ohne Umschreibungen uebernimmt.
- Nutzersouveraenitaet — Mit Bring Your Own LLM kontrollieren Nutzer ihre Daten und Inferenz. Keine Abhaengigkeit von zentralisierten KI-Anbietern.
- Zensurresistenz — Open-Source-Modelle koennen nicht abgeschaltet oder eingeschraenkt werden. Nutzer, die ihre eigene Llama- oder Mistral-Instanz betreiben, haben volle Autonomie.