Wprowadzenie

Uruchomienie Ministral-3 na vLLM Jest zaskakująco potężny. Model jest szybki, kreatywny i potrafi generować wysokiej jakości odpowiedzi nawet pod dużym obciążeniem.

Ale gdy przejdziesz od prostych podpowiedzi w czacie do strukturyzowane dane wyjściowe, automatyzacja lub użycie programistyczneszybko robi się skomplikowane.

W trakcie tworzenia Gra oparta na sztuczeniu maszynowym Jeopardy z 12 jednoczesnymi graczami i setkami wywołań modelunatrafiliśmy na kilka praktycznych problemów:

• Markdown pojawiający się w odpowiedziach tekstowych
• Wyjścia JSON stają się głęboko zagnieżdżone
• Przekraczanie limitów tokenów
• Niewielkie różnice w formatowaniu powodujące błędy w działaniu dalszych procesów

Ten przewodnik podsumowuje praktyczne wnioski wyciągnięte podczas rozwiązywania tych problemóworaz konkretnymi wzorcami, które możesz ponownie wykorzystać w swoich projektach.

Rzeczywisty scenariusz

Nasz projekt porównawczy symuluje pełną grę Jeopardy, w której:

• Ten główny AI generuje kategorie i wskazówki
• Wiele Uczestnicy AI odpowiadają jednocześnie
• Inny Sędzia AI ocenia poprawność
• Wyniki są śledzone w rundach

Pojedynczy przebieg gry może łatwo przekroczyć 800 wywołań API.

To środowisko ujawniło przypadki brzegowe, które rzadko pojawiają się w prostych demonstracjach — co czyni je doskonałym środowiskiem testowym do zrozumienia, jak Ministral zachowuje się w rzeczywistych warunkach produkcyjnych.

1. Uruchamianie Ministral-3 na vLLM

Modele Ministral nie używaj standardowej konfiguracji tokenizera HuggingFace.

Oznacza to, że polecenie uruchamiające musi wyraźnie włączyć Format tokenizera Mistral.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Jeśli Twoja aplikacja polega na wywoływanie funkcji, dodaj flagi narzędzi:

--enable-auto-tool-choice
--tool-call-parser mistral

Ograniczenie

W przeciwieństwie do niektórych innych modeli, Ministral nie obsługuje chat_template_kwargs.

Jeśli wyślesz żądanie w następujący sposób:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM zwraca:

HTTP 400: chat_template is not supported for Mistral tokenizers

Oznacza to funkcje takie jak przełączanie "trybu myślenia" (stosowane z modelami takimi jak Qwen lub DeepSeek) są po prostu niedostępne.

Na szczęście, rzadko jest to potrzebne, ponieważ Ministral domyślnie generuje zwięzłe odpowiedzi.

2. Temperatura: Najważniejszy parametr

Ten oficjalna dokumentacja vLLM konsekwentnie używa następującej wartości z Ministral-3:

temperature = 0.15

Na pierwszy rzut oka wydaje się to niezwykle niskie. Jednak okazuje się, że tak jest. krytyczne dla zadań strukturalnych.

Co się dzieje w wyższych temperaturach

Korzystając z domyślnych ustawień w stylu OpenAI:

temperature: 0.7

model staje się nadmiernie kreatywny pod względem struktury.

Proste zapytanie takie jak:

{ "expertise": "2-3 topics they know best" }

może zwrócić coś takiego:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

Technicznie poprawny JSON, ale... nie to, czego wymaga schemat.

W efekcie:

• JSON staje się większy niż oczekiwano
• max_tokens przekroczono limity
• Odpowiedzi są obcinane
• Parsowanie się nie powiodło

Dlaczego 0.15 działa lepiej

W niskiej temperaturze model staje się strukturalnie zdyscyplinowany.

temperature: 0.15

Korzyści:

• JSON ściśle przestrzega schematów
• zużycie tokenów staje się przewidywalne
• zagnieżdżone struktury niemal znikają
• odpowiedzi mieszczą się w limitach tokenów

Nawet generowanie kreatywnych tekstów pozostaje silne — model po prostu przestaje improwizować ze strukturą.

Rekomendacja: Użyj temperature: 0.15 jako domyślne ustawienie dla Ministral-3.

3. Otrzymywanie czystych odpowiedzi JSON

Generowanie JSON czytelny maszynowo Generowanie czytelnego JSON z LLM jest trudniejsze niż się wydaje.

Ministral ma tendencję do interpretacji pól schematu semantycznie zamiast strukturalnie, co prowadzi do głęboko zagnieżdżonej struktury wyjściowej.

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}