Inleiding

Ministral-3 op vLLM uitvoeren is verrassend krachtig. Het model is snel, creatief en kan ook onder zware belastingen hoogwaardige antwoorden produceren.

Maar zodra je overstapt van eenvoudige chat-opdrachten naar gestructureerde uitvoer, automatisering of programmeerbare toepassingen, wordt het snel gecompliceerd.

Een door AI gestuurd Jeopardy-spel met 12 gelijktijdige spelers en honderden modellellenroepen

• Markdown verschijnt in platte tekst-antwoorden
• JSON-uitvoer wordt diep genest
• Tokenlimieten worden overschreden
• Kleine verschillen in opmaak veroorzaken problemen in de downstream logic

Deze gids vat de prktische lessen samen die we hebben geleerd bij het oplossen van deze problemen, inclusief concrete patronen die je kunt hergebruiken in jouw eigen projecten.

Het Real-World Scenario

Ons benchmarkproject simuleert een volledig Jeopardy-spel waarin:

• De gastheer-AI genereert categorieën en hints
• Meerdere AI-deelnemers antwoorden tegelijkertijd
• Een andere AI-jurylid beoordeelt de juistheid
• Scores worden bijgehouden over de rondes

Een enkele uitvoering van het spel kan gemakkelijk meer dan 800 API-oproepen

Ministral gedraagt zich onder echte productieomstandigheden, wat deze omgeving een uitstekende testomgeving maakt voor het blootleggen van randgevallen die zelden voorkomen in eenvoudige demonstraties.

1. Ministral-3 serveren op vLLM

Ministral-modellen gebruiken geen standaard HuggingFace-tokenizersetup.

Dit betekent dat de opstartcommando het Mistral-tokenisatieformaat expliciet moet inschakelen.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Functieaanroepen gebruikt uw applicatie? Voeg dan de volgende hulpmiddelenflags toe:

--enable-auto-tool-choice
--tool-call-parser mistral

Belangrijke beperking

Ministral ondersteunt in tegenstelling tot sommige andere modellen geen chat_template_kwargs

Als u een verzoek als dit verzendt:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM retourneert:

HTTP 400: chat_template is not supported for Mistral tokenizers

Expliciet inschakelen van een "denkmodus" (zoals gebruikt bij modellen zoals Qwen of DeepSeek) zijn simpelweg niet beschikbaar

Gelukkig is dit zelden nodig omdat Ministral standaard al beknopte uitvoer produceert.

2. Temperatuur: De belangrijkste parameter

De officiële vLLM-documentatie gebruikt consistent de volgende waarde voor Ministral-3:

temperature = 0.15

Uiterst belangrijk voor gestructureerde taken, hoewel het op het eerste gezicht erg laag lijkt.

Wat gebeurt er bij hogere temperaturen

Met de standaardinstellingen van OpenAI:

temperature: 0.7

te veel structuurvrij of afwijkend in opbouw

Een eenvoudige vraag zoals:

{ "expertise": "2-3 topics they know best" }

kan zoiets retourneren:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

niet wat het schema vraagt

Het resultaat:

• JSON wordt groter dan verwacht
• max_tokens limieten worden overschreden
• Reacties worden afgekapt
• Het parsen mislukt

Waarom 0.15 werkt beter

structureel gedisciplineerd

temperature: 0.15

Voordelen:

• JSON volgt schema's nauwkeurig
• tokengebruik wordt voorspelbaar
• geneste structuren verdwijnen bijna volledig
• antwoorden blijven binnen de tokenlimieten

Zelfs creatieve tekstgeneratie blijft sterk — het model stopt simpelweg met het improviseren met structuur.

Aanbeveling: Gebruik temperature: 0.15 als standaardwaarde voor Ministral-3.

3. Schone JSON-antwoorden verkrijgen

Machinaal leesbare JSON genereren uit grote taalmodellen (LLMs) is lastiger dan het klinkt.

Semantisch in plaats van structureel

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}