SLM vs Minerva

Confronto tecnico tra il modello italiano addestrato da zero in questo progetto e la famiglia Minerva di Sapienza NLP — architettura, training, corpus, compute.

01 Contesto dei due progetti

Il progetto SLM è un percorso di studio: costruire un LM italiano da zero, capire ogni componente, documentare il processo. Minerva è un progetto di ricerca accademica finanziato dal PNRR nell'ambito di FAIR (Future Artificial Intelligence Research), realizzato da Sapienza NLP in collaborazione con CINECA sul supercomputer Leonardo.

I due progetti condividono lo stesso obiettivo fondamentale — un LM italiano addestrato da zero, non fine-tuning di un modello esistente — ma partono da scale di risorse radicalmente diverse. Il confronto non è una gara: è uno strumento per capire cosa cambia al variare di parametri, token e compute.

02 Scheda comparativa

03 Differenze architetturali significative

Grouped-Query Attention (GQA)

Minerva usa GQA: le teste di query sono più numerose delle teste di key/value. Nel 350M ci sono 16 query heads e 4 KV heads — un rapporto 4:1. Le KV head vengono condivise tra gruppi di 4 query head. Effetto: la KV-cache in memoria si riduce di 4×, rendendo il modello più efficiente a contesti lunghi. Il SLM ha 8 query e 8 KV head (rapporto 1:1, architettura Multi-Head Attention standard).

Sliding Window Attention (SWA)

Nei modelli Minerva 350M e 3B, ogni token può attendere solo ai 2048 token precedenti (finestra scorrevole), non all'intero contesto. Questo permette contesti nominalmente lunghi (16K token) con costo computazionale lineare invece che quadratico. Il SLM usa full attention su 512 token — finestra corta, ma ogni token vede ogni altro token nel contesto.

Vocabolario

Il SLM ha 16 000 token BPE-SPM addestrato su Wikipedia IT. Minerva ha 51 200 token addestrati su corpus misto italiano-inglese-codice. Un vocabolario più grande riduce la lunghezza media delle sequenze (più token per parola rara → meno token totali → contesto più efficiente), ma costa più RAM per la embedding table. A 45.9M parametri il SLM ha già una embedding table da 16 000 × 512 = 8.2M parametri — il 18% del totale.

Il problema dei byte-fallback token

La conversione GGUF del SLM ha introdotto 256 token sintetici (indici 16 000–16 255) per coprire ogni possibile byte 0x00–0xFF. Il corpus CulturaX conteneva artefatti di encoding che hanno reso questi token competitivi in contesti di alta incertezza. Fix a inference time: logit_bias[i] = -100 per i in range(16000, 16256). Minerva usa un tokenizer con vocabolario nativo più ampio — questo problema non si pone.

04 Corpus e strategia di training

SLM: Wikipedia + CulturaX in sequenza

Il SLM è stato pre-addestrato prima su Wikipedia IT (47.8M token, ~9 epoche in Run #4), poi su CulturaX IT in shard sequenziali (Run #6: 7 shard × ~131M token ciascuno). CulturaX è un dataset web "filtrato" (mC4 + OSCAR deduplicated) ma non privo di artefatti — menu di navigazione, URL, cookie banner, frammenti HTML mal decodificati.

La scoperta principale di Run #6: il sweet spot è al 4° shard (run6-ad). Dopo quel punto il rumore del web inizia a prevalere, la val loss scende ma la qualità di generazione peggiora. Il val loss paradox — loss bassa ≠ qualità alta — è documentato con 48 output su 8 domini semantici.

Minerva: corpus curato multi-sorgente

Minerva è stato addestrato su ~2.5T token: metà italiano, metà inglese più 200B token di codice. L'italiano proviene da fonti web curate (OSCAR, mC4 filtrato), non da un singolo dataset. La presenza dell'inglese non è un compromesso — è una scelta deliberata: i modelli addestrati solo su una lingua tendono a essere meno stabili su ragionamento e formati strutturati, perché il corpus monolinguistico italiano disponibile è più limitato in qualità e varietà rispetto all'inglese.

La quantità di token di training rispetto al target Chinchilla è molto diversa: Minerva 350M ha usato 70B token contro un ottimale di 7B (10× sovraaddestramento). Il SLM ha usato ~572M token contro un ottimale di 918M (62% del target). Questo gap spiega in parte la differenza di qualità attesa.

Tecnica di training: confronto

05 Visualizzazione della scala

I numeri assoluti rendono difficile intuire la differenza effettiva. Alcune proporzioni:

Parametri

Token di training (unici)

Il SLM ha visto 572M token unici. Minerva 350M ne ha visti 122× di più. Minerva 3B ne ha visti 1 155× di più.

06 Risultati — benchmark 10 prompt (2026-10-07)

Test eseguito con gli stessi 10 prompt usati per l'analisi shard-by-shard di Run #6. Parametri uniformi: n_predict=100, temperature=0.8, top_k=40, top_p=0.9, repeat_penalty=1.3, seed=42. SLM: logit_bias attivo sui 256 byte token. Minerva: nessun logit_bias (vocabolario nativo, nessun byte fallback). Classifica per qualità e pertinenza dell'output, indipendentemente dai prerequisiti tecnici.

07 Avvio su Mac M2 (8GB) con llama-server

Tutti e tre i modelli girano comodamente su 8GB di RAM unificata.

SLM run6-ad (sweet spot)

llama-server \
  --model slm-run6-shard-ad-q8_0.gguf \
  --port 8080 --ctx-size 512 --seed 42

Minerva 350M base

llama-server \
  --model minerva-350m-base-v1.0.Q5_0.gguf \
  --port 8081 --ctx-size 2048 --seed 42

Minerva 3B instruct

llama-server \
  --model minerva-3b-instruct-v1.0.Q5_K_M.gguf \
  --port 8082 --ctx-size 4096 --seed 42

Test rapido comparativo (stesso prompt, tre modelli)

for PORT in 8080 8081 8082; do
  echo "=== Port $PORT ==="
  curl -s http://localhost:$PORT/completion \
    -H "Content-Type: application/json" \
    -d '{
      "prompt": "La regione Puglia è",
      "n_predict": 80,
      "temperature": 0.7,
      "top_p": 0.9,
      "seed": 42,
      "logit_bias": [[16000,-100],[16001,-100],[16255,-100]]
    }' | python3 -c "import sys,json; print(json.load(sys.stdin)['content'])"
done

08 Cosa impariamo dal confronto

La comparazione tra SLM e Minerva 350M è particolarmente interessante perché isola l'effetto della scala mantenendo costante l'obiettivo (LM italiano da zero):

• Token vs parametri: Minerva 350M ha 7.6× più parametri ma 122× più token di training. Quale dei due spiega la differenza di qualità?
• GQA + SWA vs MHA: tecniche architetturali che rendono i modelli più efficienti a parità di parametri — visibili o no sull'output?
• Vocabolario: 51K token vs 16K — effetto sulla fluenza e sulla frammentazione di parole rare italiane.
• Corpus bilingue: Minerva è addestrato su IT+EN+codice. Il SLM è solo italiano. Questo cambia il comportamento su testi tecnici o su strutture logiche?
• Sweet spot e Chinchilla: run6-ad a 62% Chinchilla vs Minerva 350M a 10× Chinchilla. Il sovraaddestramento produce stabilità misurabile?

09 Output verbatim — benchmark 10 prompt

Output verbatim dei due modelli Minerva durante il benchmark comparativo.
Parametri uniformi: n_predict=100, temperature=0.8, top_k=40, top_p=0.9, repeat_penalty=1.3, seed=42, endpoint /completion senza chat template. Il testo mostrato inizia dove finisce il prompt, senza alcuna modifica.

10 Fasi di training Minerva — corpus e metodo

Architettura base e scelte progettuali

Minerva è costruita sull'architettura Mistral (variante LLaMA con GQA e SWA). Tutti i modelli della famiglia (350M, 3B, 7B) usano lo stesso tokenizer addestrato da zero su testo italiano + inglese: vocab 51.200 token, SentencePiece BPE. Il tokenizer è ottimizzato per italiano moderno, riducendo la frammentazione di parole con accenti e morfologia flessiva rispetto a tokenizer addestrati su corpus anglofono.

Corpus di pre-training

Totale pre-training: ~2.5T token (1.14T IT + 1.14T EN + ~200B code). La scelta di bilanciare IT e EN 1:1 è deliberata: il ragionamento logico/matematico è meglio rappresentato in inglese nel web corpus, mentre l'italiano porta morfologia, sintassi e lessico specifici. Il codice aggiunge struttura formale e pattern logici.

Fase 1 — Pre-training da zero

Training eseguito su CINECA Leonardo, il supercomputer italiano (256+ A100 80GB per il 7B, 128 GPU per i modelli minori). Framework: llm-foundry (MosaicML), che gestisce training distribuito su cluster SLURM con sharding del modello e del dataset.

Fase 2 — Supervised Fine-Tuning (solo modelli instruct)

I modelli instruct (3B e 7B) ricevono un secondo stage di training su 21.000 esempi di istruzioni italiane curati manualmente dal team Sapienza NLP. Framework: Llama-Factory (più leggero per SFT single-node). Il formato è instruction-following standard Mistral: [INST] istruzione [/INST] risposta.

Il modello 350M base NON ha ricevuto SFT — è un puro language model. Questo lo rende comparabile con il SLM run6-ad (anche lui puro pre-training senza istruzioni). I loro output sono continuazioni di testo, non risposte a domande.

Differenze rispetto al training SLM

11 Fonti e riferimenti