Porównanie modeli językowych
Które modele w Ollamie najlepiej sprawdzają się w Assist Routerze po polsku: trafność i czas w każdej roli. Test z 21.10.2026 na NVIDIA Jetson AGX Orin 64 GB.
Zestawienie jest tylko po polsku, bo test prowadzono wyłącznie na polskich pytaniach i polskich danych. W innym języku wyniki mogą wyglądać inaczej.
Co było testowane
Każdy model przeszedł te same części testu, w tych rolach, które pełni w Assist Routerze:
| Część testu | Co sprawdza | Liczba przypadków |
|---|---|---|
| Router (temat) | czy model wybiera właściwy temat z router.yaml dla
swobodnego pytania, także z błędami rozpoznania mowy | 40 (runda 1), 96, potem 101 |
| Odpowiedzi: dane wpisane | odpowiedź z gotowych danych: liczenie godzin i kwot, „za ile minut”, „pojutrze”, brak danych w kalendarzu, duży kontekst | 19 |
| Odpowiedzi: dane z HA | odpowiedź z prawdziwej migawki danych domu: plan lekcji, kalendarze, obowiązki, samochód, czujniki | 34 |
| Streszczenia z Wikipedii | streszczenie artykułu w 3–4 zdaniach, z kluczowym faktem i bez przekraczania długości | 8 |
Odpowiedź jest trafiona, gdy zawiera oczekiwane fakty (np. godzinę albo kwotę) i nie zawiera zakazanych (np. wydarzenia z innego dnia). Czas to średni czas jednej odpowiedzi; modele były ładowane i zwalniane po kolei, więc nie konkurowały o pamięć.
Kolory: ≥ 95%≥ 85%poniżej 85% Dopisek „runda 1/2” oznacza wynik z mniejszego zestawu z wcześniejszej rundy.
Wyniki
| Model rozmiar pliku |
Router (temat) | Odpowiedzi: dane wpisane | Odpowiedzi: dane z HA | Streszczenia z Wikipedii | Sterowanie (rozbiór) |
|---|---|---|---|---|---|
| gemma4:26b 18.7 GB | 38/40 (runda 1) 1.60 s | 18/19 1.08 s | 33/34 1.21 s | 8/8 5.48 s | – |
| gemma4:e4b 6.6 GB | 97/101 0.55 s | 19/19 0.79 s | 29/34 0.81 s | 8/8 3.77 s | – |
| gemma4:12b 8.0 GB | 93/96 (runda 2) 2.49 s | 19/19 1.33 s | 32/34 1.42 s | 7/8 7.95 s | – |
| gemma4:e2b 4.6 GB | 90/96 (runda 2) 0.39 s | 15/19 0.55 s | 32/34 0.61 s | 7/8 2.38 s | – |
| ministral-3:8b 6.0 GB | 94/96 (runda 2) 0.65 s | 18/19 1.10 s | 30/34 1.75 s | 5/8 13.01 s | – |
| bielik-minitron-7B-v3.0-instruct:Q4_K_M 4.5 GB | 92/96 (runda 2) 0.67 s | 17/19 2.15 s | 34/34 2.67 s | 4/8 18.30 s | – |
| bielik-11b-v3.0-instruct:Q6_K 9.2 GB | – | 18/19 4.75 s | 33/34 5.46 s | 3/8 34.30 s | – |
| bielik-11b-v3.0-instruct:Q4_K_M 6.7 GB | – | 17/19 3.60 s | – | – | – |
| ministral-3:3b 3.0 GB | 89/96 (runda 2) 0.52 s | 16/19 0.61 s | – | – | – |
| qwen3.5:9b 6.6 GB | 38/40 (runda 1) 1.36 s | 16/19 2.03 s | – | – | – |
| PLLuM-12B-chat-2512-GGUF:Q4_K_M 7.5 GB | 38/40 (runda 1) 1.33 s | 15/19 1.73 s | – | – | – |
| Llama-PLLuM-8B-instruct-2512-GGUF:Q4_K_M 4.9 GB | 40/40 (runda 1) 1.00 s | 14/19 1.04 s | – | – | – |
| qwen3.5:4b 3.3 GB | 37/40 (runda 1) 1.55 s | 14/19 1.43 s | – | – | – |
| qwen3.5:2b 2.7 GB | 89/96 (runda 2) 0.87 s | 12/19 0.87 s | – | – | – |
| PLLuM-4B-instruct-2512-GGUF:Q4_K_M 2.5 GB | 34/40 (runda 1) 1.14 s | 9/19 0.86 s | – | – | – |
| qwen3.5:0.8b 1.3 GB | 34/40 (runda 1) 0.69 s | 8/19 0.54 s | – | – | – |
| Gemma 4 E2B douczona router, LoRA 5.0 GB | 88/96 (douczanie) 0.41 s | – | – | – | – |
| Gemma 4 E4B douczona router, QLoRA 8.0 GB | 100/101 0.62 s | – | – | – | – |
Rozmiar to rozmiar pliku modelu; na Jetsonie pamięć jest wspólna dla CPU i GPU. Kolumna „Sterowanie” powstała później i jest opisana w dokumentacji (rozdział 3).
Wnioski
- Model odpowiedzi: Gemma 4 26B (MoE, liczy ok. 4B parametrów naraz): 33/34 na danych z HA w 1,2 s i 8/8 streszczeń w 5,5 s. Najlepszy stosunek jakości do czasu.
- Router: Gemma 4 E4B rozpoznaje 97/101 tematów w 0,55 s. Ministral 3 8B był równie dokładny, ale wolniejszy i słabszy w odpowiedziach; Gemma 4 E2B jest najszybsza (0,39 s) przy 90/96.
- Jeden model w obu rolach: gdy pamięć na to pozwala, Gemma 4 26B jako router i model odpowiedzi trzyma w pamięci tylko jeden model. Tak działa to obecnie u autora (rozdział 3 dokumentacji: 153/153 tematów, ok. 0,7 s).
- Wersja oszczędna: Gemma 4 E4B w obu rolach – 8/8 streszczeń w 3,8 s, ale gorzej liczy na danych z HA (29/34: sumy, liczenie dni).
- Polskie modele: Bielik Minitron 7B najlepiej odpowiadał z danych z HA (34/34), ale wolniej (2,7 s) i streszczał zbyt długo (18 s). Bielik 11B Q6 ma podobną dokładność na danych (33/34), ale jest ok. 4,5× wolniejszy od Gemmy 4 26B. PLLuM (4B/8B/12B) dobrze rozpoznaje tematy, ale słabiej odpowiada z danych.
- Małe modele (Qwen 3.5 0,8B–4B, PLLuM 4B) wystarczają co najwyżej jako router; w odpowiedziach mylą liczby i dni.
Typowe błędy modeli
- Arytmetyka: sumy kwot, liczba godzin („5 i pół godziny”), „za ile minut” do najbliższego spotkania – najczęstsze potknięcia nawet dużych modeli.
- Dni tygodnia: „pojutrze”, „w przyszłym tygodniu” – wydarzenia z niewłaściwego dnia albo pominięte.
- Pomylone tematy: kalendarz zamiast lekcji czy obowiązków, „wiedza” zamiast rozkładu tramwajów; pytania z błędami rozpoznania mowy trafiały do „wiedzy”.
- Zmyślanie: dopisywanie wydarzeń spoza danych albo „nie wiem”, choć dane zawierały odpowiedź.
- Streszczenia: 6–8 zdań zamiast 3–4 (Bielik, Ministral) albo brak kluczowego faktu.
- Forma: markdown (
**) i znaczniki końca tekstu w odpowiedzi, która ma być przeczytana na głos.
Douczanie routera
- Pierwszy przebieg: Gemma 4 E2B douczona (LoRA) na 15 tys. zdań wygenerowanych z szablonów hassil, 80 minut na RTX 4090. Na zdaniach z szablonów 298/300, ale na swobodnych pytaniach 88/96 – model nauczył się szablonów zamiast uogólniać.
- Drugi przebieg: Gemma 4 E4B (QLoRA), 14 tys. przykładów, w tym 7,7 tys. parafraz napisanych przez Gemmę 4 26B. Na 101 pytaniach spoza nauki 100/101 w 0,62 s (bazowa Gemma 4 E4B: 97/101 w 0,55 s); walidacja 290/300 wobec 272/300.
- Wniosek: parafrazy napisane większym modelem są kluczowe. Jak douczyć router na własnych tematach: rozdział 13 dokumentacji.
Jak powtórzyć test u siebie
Narzędzia są w katalogu tools/ repozytorium: snapshot_data.py
(migawka danych), model_benchmark.py (test modeli) i model_report.py
(taka tabela jako HTML i CSV). Opis: rozdział 12 dokumentacji.