Enhver Docker

Eksempel: Kørsel af Qdrant på en GPU-server

Qdrant er en højtydende vektordatabase, der understøtter lighedssøgning, semantisk søgning og embeddings i stor skala.
Når Qdrant er implementeret på en GPU-drevet Trooper.AI server, kan den indeksere og søge i millioner af vektorer ekstremt hurtigt – perfekt til RAG-systemer, LLM-hukommelse, personaliseringsmotorer og anbefalingssystemer.

Denne guide viser hvordan man kører Qdrant via Docker, hvordan det ser ud i dashboardet, og hvordan man korrekt forespørger det ved hjælp af Node.js.

Kørsel af Qdrant Docker Container

Du kan nemt køre den officielle qdrant/qdrant Docker-container med de viste indstillinger.
Disse skærmbilleder viser en typisk konfiguration, der bruges på Trooper.AI GPU-servere, inklusive:

• Eksponeret REST API port
• Adgang til dashboard
• Datapersistens
• Valgfri GPU-acceleration (hvis aktiveret i dit miljø)

Når den er startet, har du øjeblikkelig adgang til både Qdrant Dashboard og REST API REST API.

Qdrant Dashboard Forhåndsvisning

Dashboardet giver dig mulighed for at inspicere collections, vektorer, payloads og indekser.
Et typisk dashboard-setup ser således ud:

Herfra kan du:

• Create collections
• Tilføj vektorer
• Kør eksempel søgninger
• Inspicer metadata
• Overvåg ydeevne

Forespørgsel af Qdrant fra Node.js

Herunder er et fungerende og rettet Node.js eksempel med Qdrant REST API.

Vigtige rettelser i forhold til det oprindelige eksempel:

• Qdrant kræver, at der kaldes et endpoint som:
  /collections/<collection_name>/points/search
• vector skal være en array, ikke (a, b, c)
• Moderne Node.js har indbygget fetch, så der er ikke behov for node-fetch

NODEJS EKSEMPEL

// Qdrant Vector Search Example – fully compatible with Qdrant 1.x and 2.x

async function queryQdrant() {
  // Replace "my_collection" with your actual collection name
  const url = 'https://AUTOMATIC-SECURE-URL.trooper.ai/collections/my_collection/points/search';

  const payload = {
    vector: [0.1, 0.2, 0.3, 0.4],  // Must be an array
    limit: 5
  };

  try {
    const response = await fetch(url, {
      method: 'POST',
      headers: {
        'Content-Type': 'application/json'
      },
      body: JSON.stringify(payload)
    });

    if (!response.ok) {
      throw new Error(`Qdrant request failed with status: ${response.status}`);
    }

    const data = await response.json();
    console.log('Qdrant Response:', data);
    return data;

  } catch (error) {
    console.error('Error querying Qdrant:', error);
    return null;
  }
}

queryQdrant();

Gyldig Qdrant Søgepayload

Qdrant forventer en JSON-brødtekst som denne:

{
  "vector": [0.1, 0.2, 0.3, 0.4],
  "limit": 5
}

Hvor:

• vektor → din embedding
• begrænsning → maksimalt antal returnerede resultater

Du kan også tilføje avancerede filtre om nødvendigt:

{
  "vector": [...],
  "limit": 5,
  "filter": {
    "must": [
      { "key": "category", "match": { "value": "news" } }
    ]
  }
}

Bemærkninger til Trooper.AI-brugere

• Erstat AUTOMATIC-SECURE-URL.trooper.ai med dit tildelte sikre endepunkt
• Sørg for, at din samling eksisterer, før du forespørger.

Eksempel: Kørsel af N8N med Any Docker

I dette eksempel konfigurerer vi Any Docker med din konfiguration for N8N og persistent datalagring, så genstarter er mulige med intakte data. Denne konfiguration inkluderer ikke webhooks. Hvis du har brug for webhooks, skal du gå til den dedikerede forudkonfigurerede skabelon: n8n

Denne guide er kun til forklaring. Du kan starte enhver docker-container, du ønsker.

Se skærmbilleder af konfigurationen nedenfor:

Docker-kommandoen 'Under Motorhjelmen'

Denne skabelon automatiserer den komplette opsætning af en GPU-aktiveret Docker-container, inklusive installationen af alle nødvendige Ubuntu-pakker og afhængigheder for NVIDIA GPU-understøttelse. Dette forenkler processen, især for brugere, der er vant til Docker-implementeringer til webservere, hvilket ofte kræver mere kompleks konfiguration.

Følgende docker run Kommandoet genereres automatisk af skabelonen for at starte din valgte GPU-container. Det indkapsler alle de nødvendige indstillinger for optimal ydeevne og kompatibilitet med din Trooper.AI-server.

Denne kommando fungerer som et illustrativt eksempel for at give udviklere indsigt i de underliggende processer:

docker run -d \
  --name ${CONTAINER_NAME} \
  --restart always \
  --gpus ${GPUS} \
  --add-host=host.docker.internal:host-gateway \
  -p ${PUBLIC_PORT}:${DOCKER_PORT} \
  -v ${LOCAL_DATA_DIR}:/home/node/.n8n \
  -e N8N_SECURE_COOKIE=false \
  -e N8N_RUNNERS_ENABLED=true \
  -e N8N_HOST=${N8N_HOST} \
  -e WEBHOOK_URL=${WEBHOOK_URL} \
  docker.n8n.io/n8nio/n8n \
  tail -f /dev/null

Brug ikke denne kommando manuelt, hvis du ikke er Docker-ekspert! Stol blot på skabelonen.

Hvad gør N8N muligt på den private GPU-server?

n8n oplåser potentialet til at køre komplekse workflows direkte på din Trooper.AI GPU-server. Det betyder, at du kan automatisere opgaver, der involverer billed-/videobehandling, dataanalyse, LLM-interaktioner og mere – ved at udnytte GPU'ens kraft til accelereret ydeevne.

Konkret kan du køre workflows til:

• Billed-/Videomanipulation: Automatiser ændring af størrelse, vandmærkning, objektgenkendelse og andre visuelle opgaver.
• Databehandling: Udtræk, transformer og indlæs data fra forskellige kilder.
• LLM-integration: Opret forbindelse til og interager med store sprogmodeller til opgaver som tekstgenerering, oversættelse og sentimentanalyse.
• Webautomatisering: Automatiser opgaver på tværs af forskellige hjemmesider og API'er.
• Brugerdefinerede workflows: Byg og implementer enhver automatiseret proces, der er skræddersyet til dine behov.

Husk, du skal installere AI-værktøjer som ComfyUI og Ollama for at integrere dem i dine N8N-workflows lokalt på serveren. Du skal også have tilstrækkelig GPU VRAM til at drive alle modeller. Giv ikke disse GPU'er til docker, der kører N8N.

Hvad er Docker i forhold til en GPU-server?

På en Trooper.AI GPU-server giver Docker dig mulighed for at pakke applikationer med deres afhængigheder ind i standardiserede enheder kaldet containere. Dette er særligt kraftfuldt for GPU-accelererede workloads, da det sikrer konsistens på tværs af forskellige miljøer og forenkler implementeringen. I stedet for at installere afhængigheder direkte på host-operativsystemet, inkluderer Docker-containere alt, hvad en applikation har brug for for at køre – herunder biblioteker, systemværktøjer, runtime og indstillinger.

For GPU-applikationer giver Docker dig mulighed for effektivt at udnytte serverens GPU-ressourcer. Ved at bruge NVIDIA Container Toolkit kan containere få adgang til værtsmaskinens GPU'er, hvilket muliggør accelereret computing til opgaver som machine learning, deep learning inference og dataanalyse. Denne isolation forbedrer også sikkerheden og ressourcestyringen, så flere applikationer kan dele GPU'en uden at forstyrre hinanden. Implementering og skalering af GPU-baserede applikationer bliver betydeligt lettere med Docker på en Trooper.AI-server.