Introduzione

Eseguire Ministral-3 su vLLM è sorprendentemente potente. Il modello è veloce, creativo e in grado di produrre risposte di alta qualità anche sotto carichi di lavoro elevati.

Ma non appena si passa da semplici prompt di chat a uscite strutturate, automazione o utilizzo programmatico, le cose diventano rapidamente complicate.

Durante lo sviluppo di un gioco di Jeopardy guidato dall'AI con 12 giocatori simultanei e centinaia di chiamate al modello, abbiamo riscontrato diversi problemi pratici:

• Markdown che compare nelle risposte in testo semplice
• Gli output JSON che diventano profondamente annidati
• I limiti di token vengono superati
• Piccole differenze di formattazione che rompono la logica a valle

Questa guida riassume le lezioni pratiche apprese risolvendo questi problemi, insieme a modelli concreti che Lei può riutilizzare nei propri progetti.

Lo Scenario Reale

Il progetto di benchmark di cui parliamo simula una partita completa di Jeopardy dove:

• L’AI ospite genera categorie e indizi
• Più di un contestante AI risponde contemporaneamente
• Un altro giudice AI valuta la correttezza
• I punteggi vengono monitorati durante le varie manche

Un singolo turno di gioco può facilmente superare 800 chiamate API.

Questo ambiente ha evidenziato casi limite che raramente compaiono nelle semplici dimostrazioni — rendendolo una eccellente piattaforma di test per comprendere come Ministral si comporta sotto carichi di lavoro produttivi reali.

1. Esecuzione di Ministral-3 su vLLM

I modelli Ministral non utilizzano la configurazione standard del tokenizer di HuggingFace.

Ciò significa che il comando di avvio deve abilitare esplicitamente il formato Mistral tokenizer.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Se la Sua applicazione si basa su function calling, aggiunga le bandiere degli strumenti:

--enable-auto-tool-choice
--tool-call-parser mistral

Limitazione importante

A differenza di altri modelli, Ministral non supporta chat_template_kwargs.

Se invia una richiesta come questa:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM restituisce:

HTTP 400: chat_template is not supported for Mistral tokenizers

Ciò significa che funzionalità come la attivazione/disattivazione esplicita della "modalità di riflessione" (utilizzata con modelli come Qwen o DeepSeek) sono semplicemente non disponibili.

Fortunatamente, questo è raramente necessario perché Ministral produce già output concisi per impostazione predefinita.

2. Temperatura: Il Parametro Più Importante

La documentazione ufficiale di vLLM utilizza costantemente il seguente valore con Ministral-3:

temperature = 0.15

A prima vista questo valore sembra estremamente basso. Tuttavia, si rivela fondamentale per i compiti strutturati.

Cosa succede a temperature più elevate

Con l'impostazione predefinita nello stile di OpenAI:

temperature: 0.7

il modello diventa troppo creativo nella struttura.

Una richiesta semplice come:

{ "expertise": "2-3 topics they know best" }

potrebbe restituire qualcosa come:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

Sebbene tecnicamente sia un JSON valido, non è ciò che lo schema richiedeva.

Il risultato:

• Il JSON risulta più grande del previsto
• max_tokens i limiti vengono superati
• Le risposte vengono tagliate
• Analisi fallisce

Perché 0.15 funziona meglio

A bassa temperatura il modello diventa strutturalmente disciplinato.

temperature: 0.15

Vantaggi:

• Il JSON segue schemi con precisione
• l’uso dei token diventa prevedibile
• le strutture annidate quasi scompaiono
• le risposte rimangono entro i limiti di token

Anche la generazione di testo creativo rimane forte — il modello smette semplicemente di improvvisare con la struttura.

Raccomandazione: Utilizzi temperature: 0.15 come valore predefinito per Ministral-3.

3. Ottenere Risposte JSON Pulite

Produrre JSON leggibile da macchina dagli LLM è più difficile di quanto sembri.

Ministral tende a interpretare i campi dello schema in modo semantico anziché strutturale, il che porta a una struttura profondamente annidata.

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}