Wprowadzenie

Uruchamianie Ministral-3 na vLLM okazuje się zaskakująco potężne. Model jest szybki, kreatywny i zdolny do generowania wysokiej jakości odpowiedzi nawet przy dużym obciążeniu.

Ale gdy tylko przechodzisz od prostych wiadomości czatowych do strukturyzowanych wyjść, automatyzacji lub użycia programistycznego, sprawy szybko stają się skomplikowane.

Gry w stylu Jeopardy napędzane przez AI z 12 jednoczesnymi graczami i setkami wywołań modeli

• Markdown pojawiający się w odpowiedziach tekstowych
• Wyjścia JSON stają się głęboko zagnieżdżone
• Przekraczanie limitów tokenów
• Niewielkie różnice w formatowaniu powodujące błędy w działaniu dalszych procesów

Ten przewodnik podsumowuje praktyczne lekcje wyciągnięte z rozwiązywania tych problemów, wraz z konkretnymi wzorcami, które możesz wykorzystać w swoich projektach.

Rzeczywisty scenariusz

Nasz projekt porównawczy symuluje pełną grę Jeopardy, w której:

• AI gospodarza generuje kategorie i pytania
• Wiele uczestników AI odpowiada jednocześnie
• Inny AI ocenia poprawność odpowiedzi
• Wyniki są śledzone w rundach

Jedna sesja gry może łatwo przekroczyć ponad 800 wywołania API.

To środowisko ujawniło przypadki brzegowe, które rzadko pojawiają się w prostych demonstracjach — czyniąc z niego doskonałe pole testowe dla zrozumienia, jak Ministral zachowuje się pod obciążeniem rzeczywistej produkcji.

1. Uruchamianie Ministral-3 na vLLM

Modele Ministral nie używają domyślnej konfiguracji tokenizera z HuggingFace.

Oznacza to, że polecenie uruchomieniowe musi jawnie włączyć format tokenizera Mistrala.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Jeśli Twoja aplikacja opiera się na wywoływaniu funkcji, dodaj flagi narzędzi:

--enable-auto-tool-choice
--tool-call-parser mistral

Ograniczenie

Model Ministral nie obsługuje parametru chat_template_kwargs, w przeciwieństwie do niektórych innych modeli.

Jeśli wyślesz żądanie w następujący sposób:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM zwraca:

HTTP 400: chat_template is not supported for Mistral tokenizers

Oznacza to, że funkcje takie jak jawny przełącznik trybu "myślenia" (używane w modelach takich jak Qwen lub DeepSeek) są po prostu niedostępne

Na szczęście, rzadko jest to potrzebne, ponieważ Ministral domyślnie generuje zwięzłe odpowiedzi.

2. Temperatura: Najważniejszy parametr

Oficjalna dokumentacja vLLM konsekwentnie używa następującej wartości dla Ministrala-3:

temperature = 0.15

Na pierwszy rzut oka wartość ta wydaje się niezwykle niska. Okazuje się jednak, że jest kluczowa dla zadań wymagających struktury

Co się dzieje w wyższych temperaturach

Korzystając z domyślnych ustawień w stylu OpenAI:

temperature: 0.7

zbyt kreatywne w strukturze

Proste zapytanie takie jak:

{ "expertise": "2-3 topics they know best" }

może zwrócić coś takiego:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

nie odpowiada to, czego schemat wymaga

W efekcie:

• JSON staje się większy niż oczekiwano
• max_tokens przekroczono limity
• Odpowiedzi są obcinane
• Parsowanie się nie powiodło

Dlaczego 0.15 działa lepiej

strukturalnie dyscyplinowane

temperature: 0.15

Korzyści:

• JSON ściśle przestrzega schematów
• zużycie tokenów staje się przewidywalne
• zagnieżdżone struktury niemal znikają
• odpowiedzi mieszczą się w limitach tokenów

Nawet generowanie kreatywnych tekstów pozostaje silne — model po prostu przestaje improwizować ze strukturą.

Rekomendacja: Użyj temperature: 0.15 jako domyślnej wartości dla Ministral-3.

3. Otrzymywanie czystych odpowiedzi JSON

Generowanie maszynowo czytelnego JSONu z modeli językowych jest trudniejsze niż się wydaje.

Model Ministral ma tendencję do interpretowania pól schematu semantycznie zamiast strukturalnie, co prowadzi do głęboko zagnieżdżonej odpowiedzi.

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}