🚀 API Blibs – LLM Inference API

Sådan kommer du i gang

Brug ethvert OpenAI-kompatibelt SDK. Pejl blot mod din Trooper.AI-rute-endepunkt:

curl https://router.trooper.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_TROOPER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clara",
    "messages": [{"role": "user", "content": "Hello!"}],
    "max_tokens": 512
  }'

Hvorfor GPU-fri LLM-inferens slår selvhvervet værtsystem

At køre store sprogmodeller på egen infrastruktur betyder det at du skal håndtere GPU'er, drivere opdateringer, CUDA-versioner, modelvægte, skalerbarhed og sikkerhedspatches – alt før der genereres et enkelt token. Med API Blibs springer du over hele dette lag i stakken. Vores fuldt administrerede LLM-inferens-endpoints giver dig adgang til verdensklasse åbne kildekode-modeller som Google Gemma 4, Mistral Ministral 3 og NVIDIA Nemotron 3 Nano – uden at skulle konfigurere en eneste GPU. Anfragninger behandles via optimerede vLLM-backend-systemer med automatisk lastfordeling, hvilket leverer konsistente lavlatensresponser selv ved høj trafikbelastning. Ingen omkostninger til ubenyttede GPU’er når du ikke bruger API’et, ingen driftstungt arbejde eller overraskelsesregninger – blot ren inferens efter behov.

For hold der overvejer selvhøstede LLM-deployeringer i forhold til styret AI-inference, er regnestykket enkelt: API Blibs fjerner hele processen med GPU-indkøb og MLOps-laget, samtidig med at du får de samme modeller, samme kvalitet og hurtigere tid til produktion.

API Blibs vs. OpenAI, Azure OpenAI og AWS Bedrock

At vælge en leverandør af managet LLM-inference i Europa handler om at finde balance mellem pris, dataresidens og operationel enkelhed. Her er et sammenligning af API Blibs med de tre største alternativer.

Kernespunktet: OpenAI, Azure og Bedrock tilbyder alle EU-dataresidens – men det kommer med krav om berettigelse, prisforskel eller afhængighed af økosystemet. API Blibs giver dig EU-hospiterede, GDPR-sikrede inferencer klar til brug uden opsætning eller skjulte omkostninger.

Understøttede modeller – Åbne kilder LLM optimeret til produktion

API Blibs giver dig adgang til omhyggeligt udvalgte åbne kilder-modeller, optimeret til produktionsbelastninger på vores vLLM-inference-backend. Hver model er valgt efter pris-præstation-forhold, dækning af europæiske sprog og klare licensvilkår.

liv – Google Gemma 4

Den mest økonomiske løsning – en kompakt multimodellmodel, der håndterer tekst, billeder, lyd og resonnement i et enkelt kald. Ideel til højt volumen arbejdsbelastninger, hvor omkostningen pr. token er afgørende – fra klassificering og opsummering til billedbeskrivelse og lydafskrift.

clara — Mistral Ministral 3

En hurtig visionsfokuseret model bygget til høj gennemstrømning. Stærk præstation på EU-sprog, analyse af flere billeder og struktureret ekstraktion til en midterste prisniveau – perfekt til dokumentbehandling, OCR-pipelines samt kundeforståelige chatbots, der skal se.

nikola — NVIDIA Nemotron 3 Nano

Den logiske kraftmaskine. En mixture-of-experts-arkitektur, der leverer dybtgående resonnement og stærk kodningskompetence til en effektiv inferenskostnad. Bedst egnet til kodegenerering, komplekse resonnements-kæder, funktion-opkald samt agenter-baserede arbejdsgange.

Alle modeller leveres via OpenAI-kompatible endpoints. Skift mellem ruter ved at ændre på model parameter – kræver ingen ændringer i koden.

Anvendelser af LLM-API'er til europæiske virksomheder

Dokumentudtrækning og RAG-pipelines

Indlæs PDF'er, billeder og scannede dokumenter i visionsbaserede ruter som clara eller liv. API Blibs konverterer automatisk PDF’er til sidebilleder og normaliserer billedindgange – din RAG-pipeline modtager ren, struktureret data uden forbehandlingstrin. Kombineret med garanteret JSON-tilstand får du pålidelig struktureret udgang for efterfølgende indeksering.

Kundeservice-chatbots & virtuelle assistenter

Indfør AI-drevet chat med under-sekunders respons og fuld overholdelse af GDPR. Angiv en gratis systemsprog via administrationsgrænsefladen, brug funktioner til bagendebinding og lad automatisk kontekstkomprimering håndtere lange samtaler uden at overskride begrænsninger. Nul datalagring betyder, at dine kundes samtaler aldrig gemmes.

Kodegenerering & Udviklerværktøjer

Nikola håndterer komplekse kodningsopgaver med dybdegående resonnement og præcis funktionstildeling. Den OpenAI-kompatible API integrerer direkte med udviklerværktøjskæder – herunder VS Code-forlængelser, CI/CD-pipelines og kodegennemgangsbots – ved blot at ændre én base-URL.

Multimodale workflows – Visuel, lyd og PDF

liv behandler alle tre modaliteter; clara specialiserer sig i højopløselige visuelle opgaver. Billeder optimeres automatisk (metadata fjernes, størrelse justeres og SSRF-valideres), mens PDF'er omdannes til sidebilleder på serversiden. Der kræves ingen forbehandling på klientsiden.

Batchklassificering og databerigelse

Kør klassificering, tagging, sentimentanalyse eller entitetsextraktion i stor skala. Pris pr. token med ingen omkostninger ved inaktivitet betyder, at du kun betaler under behandling. Kombiner det med garanteret JSON-format til maskinlæselig udgang som direkte kan føres ind i din datapipeline.

Hyppigt stillede spørgsmål om API Blibs

Bliver mine data gemt eller brugt til træning?

Nej. API Blibs bruger en helt tilstandsløs arkitektur baseret på RAM alene. Dine prompts og svar behandles i hukommelsen og slettes øjeblikkeligt efter responsen er returneret. Ingen logføring, ingen lagring – aldrig nogen træning af modeller med dine data.

Kan jeg bruge funktioner og værktøjsintegration?

Ja. Alle API Blib-ruter understøtter OpenAI-kompatibel funktionstilkaldelse. Definer dine værktøjer i den standardiserede tools-parameter. tools parametret og modellen vil returnere strukturerede værktøjsopkald i responsen. Virker på alle ruter.

Hvad sker der, hvis min indput overstiger kontekstvinduet?

I stedet for at afvise din henvendelse komprimerer API Blib automatisk midten af samtalen for at passe inden for modellens kontekstvindue. Du får et fuldstændigt svar uden at miste begyndelsen eller slutningen af din samtale.

Understøtter I strømning?

Ja. Standard Server-Sent Events (SSE)-streaming via stream: true parameter, fuldt kompatibel med OpenAIs SDK-strømmingsgrænseflade.

Hvordan skifter jeg fra OpenAI til Trooper.AI?

Ændring på én linje. Opdater din base_url to https://router.trooper.ai/v1 og erstat din API-nøgle. Formatet på anmodningen, responsskemaet og adfærd ved strømning er identiske.

Hvilke EU-regioner understøttes?

Du kan lede anmodninger til Tyskland (DE), Nederlandene (NL) eller bredere EU-endepunkter. Vælg din foretrukne region i administrationsdashboardet eller via API.

Hvad hvis modellen sidder fast i en resoneringsløkke?

API Blibs inkluderer 'tænke-redning' – vi opdager, når en model sidder fast i en resonneringsløkke og genoptager automatisk, så du altid får et brugbart svar i stedet for afbrydelse eller tom besvarelse.

Er 'garanteret JSON-tilstand' virkelig garanteret?

Ja. Når du beder om JSON-output, validerer vi svarstrukturen. Hvis modellen ikke leverer gyldig JSON, bliver du ikke debiteret for den pågældende anmodning.

Skal jeg forbehandle billeder eller PDF'er før jeg sender dem?

Nej. Billeder normaliseres automatisk (metadata fjernes, størrelsen justeres til modellen maksimal opløsning og sikkerheden valideres). PDF'er omdannes til sidebilleder på serversiden. Du sender rå filer – vi håndterer resten.

Hvilke certificeringer har jeres datacentre?

Alt infrastruktur kører i ISO/IEC 27001-certificerede datacentre i Tyskland og EU. Sammen med overholdelse af GDPR, nul lagring af data og en hårdnet API-overflade opfylder API Blibs virksomheders sikkerhedskrav direkte ud af boksen.

Integrationsvejledninger – Tilslut din stack til API Blibs

Python (OpenAI’s SDK)

from openai import OpenAI

client = OpenAI(
    base_url="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY"
)

response = client.chat.completions.create(
    model="clara",
    messages=[{"role": "user", "content": "Summarize this document."}],
    max_tokens=1024
)

print(response.choices[0].message.content)

Node.js (OpenAI SDK)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://router.trooper.ai/v1",
  apiKey: "YOUR_TROOPER_KEY",
});

const response = await client.chat.completions.create({
  model: "nikola",
  messages: [{ role: "user", content: "Write a unit test for this function." }],
  max_tokens: 2048,
});

console.log(response.choices[0].message.content);

LangChain (Python)

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY",
    model="clara",
    max_tokens=1024
)

response = llm.invoke("Extract all dates from the following text: ...")
print(response.content)

LlamaIndex

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://router.trooper.ai/v1",
    api_key="YOUR_TROOPER_KEY",
    model="nikola",
    max_tokens=2048
)

response = llm.complete("Explain the EU AI Act in simple terms.")
print(response.text)

cURL med Vision (Billedindlæsning)

curl https://router.trooper.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_TROOPER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clara",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "https://example.com/invoice.png"}},
        {"type": "text", "text": "Extract all line items from this invoice as JSON."}
      ]
    }],
    "max_tokens": 2048,
    "response_format": {"type": "json_object"}
  }'

AI-Compliance for tyske og EU-virksomheder

EU’s lov om kunstig intelligens – Hvad det betyder for din AI-infrastruktur

EU’s lov om kunstig intelligens (forordning 2024/1689) træder i kraft den 2. august 2026 og indfører verdens første omfattende juridiske rammeværk for kunstig intelligens. For virksomheder, der opererer i Tyskland og EU, betyder det nye krav til gennemsigtighed, dokumentation og risikostyring – med bøder på op til 35 millioner euro eller 7 % af den globale årlige omsætning.

Selvom lovgivningen primært målretter leverandører og brugere af højrisiko-KI-systemer (som KI anvendt i rekruttering, kreditscoring eller kritisk infrastruktur), bør alle virksomheder, der bruger KI, forstå, hvor deres systemer placeres på risikopyramiden – og sikre sig, at deres inferensinfrastruktur understøtter overholdelse.

Hvorfor din leverandør af inferens er vigtig

Selv i tilfælde af lavrisiko- og begrænset risikobaserede AI-anvendelser understreger EU’s AI-forslag transparens og datastyring. At vælge en inferencetjenesteudbyder, der opererer inden for EU, ikke gemmer nogen data og leverer tydelig dokumentation, gør overholdelsen nemmere:

• Dataresidens: Loven opfordrer til behandling inden for EU. API Blibs kører udelukkende på ISO/IEC 27001-certificerede datacentre i Tyskland og EU – ingen data forlader regionen.
• Ingen datalagring: API Blibs bruger stateless, RAM-baseret inferens. Prompter og svar lagres aldrig, hvilket fjerner bekymringer omkring datalogning, opbevaringsperioder samt adgangskrav efter GDPR.
• Gennemskuelighed: Klar prissætning pr. token, dokumenterede modelspecifikationer og en sikret API-overflade gør det nemt at dokumentere din AI-forsyningskæde – et nøglekrav i forbindelse med Auftragsverarbeitung (databehandlingsaftaler) efter GDPR samt de kommende gennemsigtighedskrav fra AI-loven.
• Ingen modelltraining på dine data: Dine indtastninger bruges aldrig til at træne eller finjustere modeller. Fuld dataseparation efter design.

GDPR + AI-lov: Dobbelt overholdelse

Tyske virksomheder står overfor en dobbelt kompliancetung: GDPR (gyldig siden 2018) og AI-loven (faset indførelse frem til 2027). Begge rammeværker kræver, at du dokumenterer, at personoplysninger behandles lovligt, gennemsigtigt og med passende sikkerhedsforanstaltninger. Brug af en amerikansk inferenceservice uden EU-dataresidens skaber unødvendige reguleringsudfordringer – her skal du stole på Standard Contractual Clauses, vurdere adekvathedsbeslutninger samt dokumentere tværgående datatransfers.

API Blibs eliminerer denne kompleksitet: hele behandlingen foregår inden for EU med nul bevaring og ISO-certificeret infrastruktur. Din databeskyttelsesansvarlige kan dokumentere en ren, udelukkende EU-baseret databehandling uden overførsler til tredjelande.

BaFin, sundhedsteknologi og regulerede brancher

For virksomheder inden for regulerede sektorer – fintech (underlagt BaFin-regulering), helseteknologi, juridisk teknologi og offentlig sektor – er kravene endnu højere. Revisorer kræver:

• Beviselig dataresidens i EU eller specifikke medlemsstater
• Ingen datalækage til tredjepartsystemer eller træningspipelines
• Klart dokumentation af AI-værdikæden og underleverandører
• Hændelsesrespons og overtagelsesprocedurer

API Blibs dækker alle fire krav: landbaseret rutevalg (DE, NL), arkitektur med nulbevaring af data, offentliggjorte modelspecifikationer og automatisk genopretning med selvhelende endpoints.

Kom i gang med overholdende AI-inferens

Du behøver ikke en langvarig indkøbsproces for at implementere LLM-inference, der er klar til GDPR og AI-lovgivningen. Opret et konto på Trooper.AI, oplad forudbetalte kreditter og begynd med API-anmodninger – hele infrastrukturen er allerede certificeret, alle data forbliver i EU, og du skal ikke konfigurere noget på compliance-siden.

For spørgsmål om Auftragsverarbeitungsvertrag (AVV / DPA) eller specifikke compliance-krav, kontakter du os på sales@trooper.ai eller ringer til +49 6126 9289991.