✨ API Blibs – KI-Inferenz-API

Schneller Einstieg

Nutzen Sie eine beliebige OpenAI-kompatible SDK. Zeigen Sie diese einfach auf Ihr Trooper.AI-Routenendpunkt:

curl https://router.trooper.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_TROOPER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clara",
    "messages": [{"role": "user", "content": "Hello!"}],
    "max_tokens": 512
  }'

Warum GPU-lose KI-Inferenz das Selbsthosting schlägt

Große Sprachmodelle auf eigener Infrastruktur auszuführen, erfordert die Verwaltung von GPUs, Treiberaktualisierungen, CUDA-Versionen, Modellparametern, Skalierungsanforderungen und Sicherheitspatches – alles noch vor der Generierung eines einzigen Tokens. Mit API Blibs entfallen alle diese Ebenen des Stapelaufbaus. Unsere vollumfänglich verwalteten LLMs bieten Zugriff auf moderne Open-Source-Modelle wie Google Gemma 4, Mistral Mistral 7B/8x7B (im Folgenden: Mistral) und NVIDIA Nemotron 3 Nano – ganz ohne eigene GPU-Ausstattung. Die Abarbeitung erfolgt über optimierte vLLM-Backend-Systeme mit automatischem Load Balancing und garantiert stabile Low-Latency-Antworten auch unter hoher Auslastung. Es fallen weder Kosten für ungenutzte GPUs an, wenn die API nicht genutzt wird, noch entstehen Betriebskosten oder überraschende Gebühren – rein bedarfsorientierte Inferenz.

Für Teams, die selbst gehostete LLM-Einsätze mit verwalteter KI-Inferenz vergleichen, ist die Rechnung einfach: Mit API Blibs entfällt der gesamte Prozess von GPU-Beschaffung und MLOps – bei gleicher Modellqualität, denselben Leistungen und schnellerem Go-Live.

API Blibs im Vergleich zu OpenAI, Azure OpenAI & AWS Bedrock

Die Auswahl eines verwalteten Anbieters für Large-Language-Modell-Inferenz (LLM) in Europa erfordert eine Abwägung zwischen Preis, Datenhoheit und betrieblicher Einfachheit. Hier ein Vergleich von API Blibs mit den drei wichtigsten Alternativen.

Kernaussage: OpenAI, Azure und Bedrock bieten zwar alle EU-Datenresidenz – allerdings mit Zugangsvoraussetzungen, Preiserhöhungen oder Anbieterbindung. Mit API Blibs erhalten Sie hingegen direkt eine EU-beherbergte, DS-GVO-konforme Inferenz ohne Aufwand und versteckte Kosten.

Unterstützte Modelle – Open-Source-LLMs für Produktionsumgebungen optimiert

API-Blobs bieten Ihnen Zugang zu sorgfältig ausgewählten Open-Source-Modellen, die für Produktionsworkloads auf unseren vLLM-Inferenz-Backends optimiert sind. Jedes Modell wird nach Preis-Leistungs-Verhältnis, Abdeckung der EU-Sprachen sowie Lizenzklarheit ausgewählt.

liv – Google Gemma 4

Die kostengünstigste Lösung – ein kompaktes Multimodell, das Text, Bilder, Audio sowie logisches Schlussfolgern in einem einzigen Aufruf verarbeitet. Perfekt für hochvolumige Anwendungsfälle, bei denen der Preis pro Token entscheidend ist – von Klassifizierung und Zusammenfassung bis hin zu Bildbeschreibung und Audiotranskription.

clara — Mistral Ministral 3

Ein schnelles, bildbasiertes Modell für hohe Durchsatzleistung. Starke Sprachperformance für den europäischen Markt, Multi-Bildanalyse sowie strukturierte Extraktion zu einem mittelhohen Preispunkt – ideal für Dokumentenverarbeitung, OCR-Pipelines und kundenorientierte Chatbots mit visuellen Anforderungen.

nikola – NVIDIA Nemotron 3 Nano

Die Denkleistungsexpertin. Eine Mixture-of-Experts-Architektur, die tiefgehendes logisches Schlussfolgern sowie starke Programmierfähigkeiten zu effizienten Inference-Kosten bietet. Ideal für Codegenerierung, komplexe Argumentationsketten, Function Calling und agile Workflows.

Alle Modelle werden über mit OpenAI kompatible Endpunkte bereitgestellt. Wechseln Sie zwischen Routen, indem Sie den model Parameter – es sind keine Codeänderungen erforderlich.

Anwendungsfälle der LLM-API für europäische Unternehmen

Dokumentenextraktion & RAG-Pipelines

Füttern Sie PDFs, Bilder und gescannte Dokumente in visionsfähige Routen wie clara oder liv. Die API-Blobs wandeln PDFs automatisch in Seitenbilder um und normalisieren Bildinputs – Ihre RAG-Pipeline erhält so saubere, strukturierte Daten ohne Vorverarbeitungsschritte. Dank garantiertem JSON-Modus erhalten Sie zuverlässig strukturierte Ausgaben für die nachgelagerte Indexierung.

Kundenorientierte Chatbots & Virtuelle Assistenten

Setzen Sie einen KI-basierten Chat mit Subsekunden-Latenz und vollständiger DSGVO-Compliance bereit. Legen Sie über das Verwaltungsdashboard einen freien System-Prompt fest, nutzen Sie Funktionaufrufe zur Backend-Integration und ermöglichen Sie durch automatische Kontextkomprimierung längere Gespräche – ganz ohne Begrenzungen zu erreichen. Dank null Datenretention bleiben Ihre Kundengespräche stets ungespeichert.

Code-Generierung & Entwicklertools

Nikola für komplexe Aufgaben der Programmierung mit tiefgehender Logik und präziser Funktionsaufrufung einsetzen. Die kompatiblen APIs zu OpenAI lassen sich direkt in Entwicklerumgebungen integrieren – etwa über VS Code-Erweiterungen, CI/CD-Pipelines oder Code-Reviews-Bots –, wobei lediglich eine einzige Basis-URL angepasst werden muss.

Multimodale Arbeitsabläufe – Bildverarbeitung, Audio & PDF

liv verarbeitet Bilder, Audiodateien und PDFs in einem einzigen API-Aufruf. clara spezialisiert sich auf hochauflösende Bildaufgaben. Bilder werden automatisch optimiert (Metadaten entfernt, Größe angepasst, SSRF-überprüft) und PDFs werden serverseitig in Seitenbilder umgewandelt. Eine Vorverarbeitung auf Client-Seite ist nicht erforderlich.

Batch-Klassifizierung & Datenerweiterung

Führen Sie klassifikationsbasierte Aufgaben wie Kategorisierung, Tagging, Sentimentanalyse oder Entitätenerkennung im Großmaßstab aus. Dank tokenbasierter Abrechnung ohne Grundgebühren zahlen Sie ausschließlich bei tatsächlicher Nutzung. Nutzen Sie die garantierte JSON-Ausgabe für maschinenlesbare Ergebnisse, die sich nahtlos in Ihre Datenverarbeitungsprozesse einbinden lassen.

Häufig gestellte Fragen zu API Blibs

Wird meine Daten gespeichert oder für das Training genutzt?

Nein. API Blibs setzen auf eine vollständig zustandslose Architektur mit reinem Arbeitsspeicher (RAM). Ihre Anfragen und Antworten werden im Speicher verarbeitet und unmittelbar nach der Rückgabe gelöscht. Es erfolgt keine Protokollierung, keine Speicherung und auch kein Training des Modells mit Ihren Daten – niemals.

Kann ich Function Calling und Tool Use nutzen?

Ja. Alle API-Blob-Routen unterstützen OpenAI-kompatibles Function Calling. Definieren Sie Ihre Tools im Standard- tools Der Parameter wird vom Modell als strukturierte Tool-Aufrufe in der Antwort zurückgegeben. Funktioniert mit allen Routen.

Was passiert, wenn meine Eingabe das Kontextfenster überschreitet?

Statt Ihre Anfrage abzulehnen, komprimiert API Blib automatisch den mittleren Teil des Gesprächs, um innerhalb des Kontextfensters des Modells zu bleiben. Sie erhalten eine vollständige Antwort ohne Verlust von Anfang oder Ende Ihres Gesprächsfadens.

Unterstützen Sie Streaming?

Ja. Standard-SSE-Streaming über den Parameter stream: true Parameter, vollständig kompatibel mit der OpenAI-SDK-Streaming-Schnittstelle.

Wie wechsle ich von OpenAI zu Trooper.AI?

Eine Zeilenänderung. Aktualisieren Sie Ihre base_url to https://router.trooper.ai/v1 und ersetzen Sie Ihren API-Schlüssel. Das Anfrageformat, das Antwortschema sowie das Streaming-Verhalten bleiben identisch.

Welche EU-Regionen werden unterstützt?

Sie können Anfragen nach Deutschland (DE), in die Niederlande (NL) oder zu weiteren EU-Standorten weiterleiten. Wählen Sie Ihre bevorzugte Region im Management-Dashboard oder über die API aus.

Was passiert, wenn das Modell in einer Denkschleife feststeckt?

Die API bietet eine Denkschleifen-Rettung – wir erkennen, wenn ein Modell in einer Begründungs Schleife feststeckt, und erholen es automatisch wieder, sodass Sie stets eine nutzbare Antwort erhalten statt eines Timeouts oder einer leeren Rückmeldung.

Ist der garantierte JSON-Modus wirklich garantiert?

Ja. Wenn Sie eine Ausgabe im JSON-Format anfordern, prüfen wir die Struktur der Antwort. Falls das Modell kein gültiges JSON erzeugt, wird Ihnen für diese Anfrage keine Gebühr berechnet.

Brauche ich Bilder oder PDFs vor dem Versenden vorverarbeiten?

Nein. Bilder werden automatisch normalisiert (Metadaten entfernt, auf die maximale Modellauflösung skaliert sowie auf Sicherheit überprüft). PDFs werden serverseitig in Seitenbilder umgewandelt. Sie senden Rohdateien; wir kümmern uns um den Rest.

Welche Zertifizierungen besitzen Ihre Rechenzentren?

Die gesamte Infrastruktur wird in nach ISO/IEC 27001 zertifizierten Rechenzentren in Deutschland und der EU betrieben. Dank DSGVO-Konformität, Null-Datenretention und einer abgesicherten API-Schnittstelle entsprechen API Blibs aus dem Haus heraus den Sicherheitsstandards von Unternehmen.

Integrierungsanleitungen – Verbinden Sie Ihre Infrastruktur mit API Blibs

Python (OpenAI-SDK)

from openai import OpenAI

client = OpenAI(
    base_url="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY"
)

response = client.chat.completions.create(
    model="clara",
    messages=[{"role": "user", "content": "Summarize this document."}],
    max_tokens=1024
)

print(response.choices[0].message.content)

Node.js (OpenAI-SDK)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://router.trooper.ai/v1",
  apiKey: "YOUR_TROOPER_KEY",
});

const response = await client.chat.completions.create({
  model: "nikola",
  messages: [{ role: "user", content: "Write a unit test for this function." }],
  max_tokens: 2048,
});

console.log(response.choices[0].message.content);

LangChain (Python)

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY",
    model="clara",
    max_tokens=1024
)

response = llm.invoke("Extract all dates from the following text: ...")
print(response.content)

LlamaIndex

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY",
    model="nikola",
    max_tokens=2048
)

response = llm.complete("Explain the EU AI Act in simple terms.")
print(response.text)

cURL mit Vision (Bild-Eingabe)

curl https://router.trooper.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_TROOPER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clara",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "https://example.com/invoice.png"}},
        {"type": "text", "text": "Extract all line items from this invoice as JSON."}
      ]
    }],
    "max_tokens": 2048,
    "response_format": {"type": "json_object"}
  }'

KI-Compliance für deutsche & EU-Unternehmen

Das EU-KI-Gesetz – Was es für Ihre KI-Infrastruktur bedeutet

Die EU-KI-Verordnung (Verordnung (EU) 2024/1689) tritt am 2. August 2026 in voller Geltung in Kraft und führt damit den weltweit ersten umfassenden rechtlichen Rahmen für künstliche Intelligenz ein. Für Unternehmen mit Tätigkeitssitz in Deutschland oder der EU bedeutet dies neue Verpflichtungen hinsichtlich Transparenz, Dokumentation sowie Risikomanagement – bei Verstößen drohen Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes.

Da das Gesetz vorrangig Anbieter und Nutzer von hochriskanten KI-Systemen (wie etwa KI für Personalauswahl, Bonitätsbewertung oder kritische Infrastruktur) adressiert, sollte jedes Unternehmen, das KI einsetzt, prüfen, wo seine Systeme im Risikostufenmodell angesiedelt sind – und sicherstellen, dass dessen Inferenzinfrastruktur die Einhaltung der Vorgaben gewährleistet.

Warum Ihr Inferenz-Anbieter wichtig ist

Selbst bei minimalen und begrenzten Risiken von KI-Anwendungsfällen betont die EU-KI-Verordnung Transparenz und Datengovernance. Die Auswahl eines Inferenzanbieters, der innerhalb der EU operiert, keine Daten speichert und klare Dokumentation bereitstellt, vereinfacht Ihre Compliance-Struktur:

• Standort der Datenverarbeitung: Die Verordnung fördert die Verarbeitung innerhalb der EU. API Blibs laufen ausschließlich auf nach ISO/IEC 27001 zertifizierten Rechenzentren in Deutschland und der EU – keine Daten verlassen diese Region.
• Keine Datenrückhaltung: API Blibs nutzen zustandslose Inferenz mit reinem RAM-Betrieb. Anfragen (Prompts) sowie Antworten werden niemals gespeichert – damit entfallen Bedenken hinsichtlich Protokollierung, Speicherfristen oder Auskunftsansprüchen nach der DSGVO.
• Transparenz: Klare Preise pro Token, dokumentierte Modell-Spezifikationen sowie eine gesicherte API-Oberfläche ermöglichen es Ihnen, Ihre KI-Wertschöpfungskette einfach zu dokumentieren – eine zentrale Anforderung für die AV-Vereinbarungen nach der DSGVO und den kommenden Transparenzpflichten des AI Acts.
• Keine Modellschulung mit Ihren Daten: Ihre Eingaben werden niemals zum Trainieren oder Feintunen von Modellen verwendet. Volle Datentrennung durch Design.

DSGVO + KI-Verordnung: Doppelte Einhaltung der Compliance-Anforderungen

Deutsche Unternehmen stehen vor einer doppelten Compliance-Herausforderung: dem DSGVO (seit 2018 wirksam) und dem KI-Gesetz (gestaffelt ab 2026/2027). Beide Rechtsrahmen verpflichten Sie dazu, nachzuweisen, dass persönliche Daten rechtmäßig, transparent und mit geeigneten Sicherheitsvorkehrungen verarbeitet werden. Ein auf den USA basierender Inferencing-Anbieter ohne EU-Standort erhöht unnötig die regulatorische Risikofläche – Sie sind gezwungen, sich auf Standarddatenschutzklauseln, Angemessenheitsentscheidungen zu verlassen und grenzüberschreitende Datenflüsse zu dokumentieren.

API Blibs beseitigen diese Komplexität: Alle Verarbeitungen erfolgen innerhalb der EU mit null Retention und nach ISO zertifizierter Infrastruktur. Ihr Datenschutzbeauftragter kann einen sauberen, rein auf die EU beschränkten Datenfluss ohne Übermittlungen in Drittländer dokumentieren.

BaFin, Gesundheitswesen & Regulierte Branchen

Für Unternehmen in regulierten Branchen – Fintech (unter der Aufsicht der BaFin), Healthtech, Legal Tech sowie dem öffentlichen Sektor – sind die Anforderungen noch höher. Prüfer erwarten:

• Nachweisbare Datenhoheit innerhalb der EU oder spezifischer Mitgliedstaaten
• Keine Datenlecks zu Drittanbietersystemen oder Trainingspipelines
• Klare Dokumentation der KI-Wertschöpfungskette sowie Subprozessoren
• Inzidenzreaktionsmaßnahmen und Failover-Verfahren

Die API-Blobs decken alle vier Anforderungen ab: länderspezifische Routing-Lösungen (DE, NL), Architektur mit Null-Retention-Prinzip, veröffentlichte Modell-Spezifikationen sowie automatisches Failover mit selbstheilenden Endpunkten.

Los geht’s mit der DSGVO- und KI-Verordnung-konformen Inferenz von Sprachmodellen

Sie benötigen keinen langen Beschaffungsprozess für den Einsatz von datenschutzkonformer KI-Inferenz gemäß DSGVO und KI-Verordnung. Erstellen Sie einfach ein Konto bei Trooper.AI, laden Sie Guthaben auf und starten Sie mit API-Anfragen – die gesamte Infrastruktur ist bereits zertifiziert, alle Daten verbleiben in der EU, und es gibt keine Einstellungen im Compliance-Bereich.

Für Anfragen zum Aufragsverarbeitungsvertrag (AVV/DPA) oder zu Ihren spezifischen Compliance-Anforderungen wenden Sie sich bitte an sales@trooper.ai oder rufen Sie unter +49 6126 9289991 an.