Introduktion

Kører Ministral-3 på vLLM er overraskende kraftfuld. Modellen er hurtig, kreativ og i stand til at producere svar af høj kvalitet, selv under tunge arbejdsbelastninger.

Men så snart du bevæger dig fra simple chat-prompts til strukturerede output, automatisering eller programmeret brugting bliver hurtigt komplicerede.

Under udviklingen af en AI-drevet Jeopardy-spil med 12 samtidige spillere og hundredvis af modelkald, vi stødte på flere praktiske problemer:

• Markdown vises i almindelig tekst
• JSON-output bliver dybt indlejret
• Tokenbudgetter overskrides
• Små forskelle i formatering ødelægger logikken i efterfølgende processer

Denne guide opsummerer praktiske erfaringer opnået ved at løse disse problemer, sammen med konkrete mønstre, du kan genbruge i dine egne projekter.

Det virkelige scenarie

Vores benchmark-projekt simulerer et fuldt Jeopardy-spil, hvor:

• The værts-AI genererer kategorier og spor
• Flere AI-deltagere svarer samtidig
• Endnu en AI dommer vurderer korrekthed
• Resultaterne følges på tværs af runder

En enkelt spilrunde kan let overstige 800 API-kald.

Dette miljø afslørede kanttilfælde, der sjældent opstår i simple demoer – hvilket gør det til et fantastisk testmiljø for at forstå hvordan Ministral opfører sig under virkelige produktionsbelastninger.

1. Betjening af Ministral-3 på vLLM

Ministral-modeller brug ikke standard HuggingFace tokenizer konfigurationen.

Dette betyder, at startkommandoen eksplicit skal aktivere Mistral tokenizer format.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Hvis din applikation er afhængig af funktionskald, tilføj flagene:

--enable-auto-tool-choice
--tool-call-parser mistral

Vigtig begrænsning

I modsætning til nogle andre modeller, Ministral understøtter ikke chat_template_kwargs.

Hvis du sender en anmodning som denne:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM returnerer:

HTTP 400: chat_template is not supported for Mistral tokenizers

Det betyder funktioner som eksplicit "tænkende tilstand"-skift (brugt med modeller som Qwen eller DeepSeek) er simpelthen ikke tilgængelig.

Heldigvis er dette sjældent nødvendigt, da Ministral allerede producerer koncise output som standard.

2. Temperatur: Den vigtigste parameter

The officiel vLLM-dokumentation bruger konsekvent følgende værdi med Ministral-3:

temperature = 0.15

Ved første øjekast virker dette ekstremt lavt. Dog viser det sig at være afgørende for strukturerede opgaver.

Hvad sker der ved højere temperaturer

Ved brug af OpenAI-standardindstillingen:

temperature: 0.7

modellen bliver overdrevent kreativ med struktur.

En simpel forespørgsel som:

{ "expertise": "2-3 topics they know best" }

kan returnere noget i stil med:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

Selvom det teknisk set er gyldig JSON, er det det ikke. ikke hvad skemaet bad om.

Resultatet:

• JSON bliver større end forventet
• max_tokens grænserne er overskredet
• Svar afkortes
• Parsing mislykkes

Hvorfor 0.15 fungerer bedre

Ved lav temperatur bliver modellen strukturelt disciplineret.

temperature: 0.15

Fordele:

• JSON følger skemaer præcist
• tokenforbruget bliver forudsigeligt
• indlevede strukturer næsten forsvinder
• Svarene forbliver inden for token-grænserne

Selv kreativ tekstgenerering forbliver stærk — modellen holder simpelthen op med at improvisere med strukturen.

Anbefaling: Brug temperature: 0.15 som din standardindstilling for Ministral-3.

3. Getting Clean JSON Responses

Producerer maskinlæsbar JSON fra LLM'er er sværere end det lyder.

Ministral har tendens til at fortolke skemafelter semantisk i stedet for struktureltsom fører til dybt indlejret output.

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}