SLM · Studio e Proposta

Fine-tuning, corpus e valutazione

Fondamenti tecnici dei parametri di fine-tuning, analisi del corpus letterario, framework di valutazione per confrontare Run #3, Run #4 (RoPE) e il modello specializzato.

1 · Parametri di fine-tuning

Il fine-tuning (continued pre-training) parte da un modello già addestrato. L'obiettivo non è re-imparare la lingua italiana, ma spostare la distribuzione di probabilità verso un registro specifico — in questo caso, prosa narrativa non accademica. Ogni parametro controlla un aspetto di questo spostamento.

Configurazione di lancio

python3 train.py \
  --resume \
  --data data/corpus_ft.txt \
  --tokenizer bpe-spm \
  --preset medium \
  --seq 256 \
  --batch 8 \
  --steps 1200 \
  --lr 7e-5 \
  --min-lr 7e-6 \
  --warmup 50 \
  --eval-interval 100 \
  --device mps

2 · Analisi corpus e proposta di augmentation

Stato attuale

Il corpus attuale copre un asse stilistico coerente: prosa italiana non accademica. I testi identificati per campionamento:

Regola empirica per CPT: il corpus di fine-tuning dovrebbe essere il 5–10% del volume del pretraining per un adattamento stabile. Con 47.8 M token Wikipedia: target minimo 2.4 M, ottimale 4.8 M. Il gap attuale è di 1.5–3.9 M token.

Fonti di augmentation consigliate

Proposta corpus target

3 · Cosa può fare Run #3 adesso

Run #3 è un modello di linguaggio autocompletivo, senza instruction fine-tuning né RLHF. Questa distinzione è fondamentale per calibrare le aspettative.

4 · Framework di valutazione

Metriche quantitative (automatizzabili)

Battery di test (prompts)

20 prompt fissi, 5 categorie, usati con tutti i modelli comparati. Temperatura 0.8, top-k 40, 128 token generati.

Valutazione qualitativa (rubrica)

Per ogni prompt, votare 1–5 su quattro dimensioni. Valutazione cieca: shuffle dei modelli, nessuna etichetta visibile.

5 · Proposta operativa

6 · Supervised Fine-Tuning — meccanica interna

Il Continued Pre-Training (CPT, sezioni 1–5) e il Supervised Fine-Tuning (SFT) sembrano la stessa operazione — "training su un checkpoint esistente" — ma differiscono in modo sostanziale nel formato dei dati, nella funzione di loss e negli obiettivi. Capire la differenza è necessario per progettare train_sft.py correttamente.

6.1 · CLM vs SFT — perché il formato dati cambia

Pre-training / CPT (Causal Language Modeling su testo continuo): il corpus è una sequenza piatta di token. Il training chunka questa sequenza in finestre di seq_len token e per ogni finestra calcola la loss su tutti i token: ogni token deve predire il successivo. Non c'è struttura semantica esplicita tra le posizioni — il modello impara la distribuzione generale della lingua.

SFT (coppie prompt → completion): i dati sono strutturati in coppie dove il prompt è fisso (l'istruzione, il template parziale) e la completion è ciò che il modello deve imparare a produrre. Non si può trattarle come testo continuo, perché il modello imparerebbe anche a "riprodurre la domanda" — il che è inutile e introduce segnale di gradiente verso la distribuzione sbagliata.

6.2 · Loss mascherata sul prompt (ignore_index=-100)

In PyTorch, F.cross_entropy(logits, labels) accetta un parametro ignore_index (default -100): ogni posizione in labels con valore -100 viene ignorata nel calcolo della loss — contribuisce zero al gradiente, nessun aggiornamento dei pesi.

In SFT si costruisce il batch così:

# Esempio batch SFT: una convocazione condominiale
prompt     = "Redigi la convocazione dell'assemblea ordinaria del 15/10/2026."
completion = "Gentili condomini, si convoca l'assemblea ordinaria del condominio..."

# Tokenizziamo la concatenazione
input_ids = tokenize(prompt + "\n\n" + completion)
# len(prompt_tokens) = 18, len(completion_tokens) = 64

# Labels: -100 sul prompt, token reale sulla completion (shiftati di 1)
labels = [-100] * 18 + input_ids[19:]   # completion[1:] è il target

Senza questa maschera il modello riceve gradiente anche dai token del prompt — impara a massimizzare la probabilità delle parole della domanda, ottimizzando la distribuzione sbagliata. La convergenza è molto più lenta e il modello tende a confondere cosa deve ricevere (prompt) con cosa deve produrre (completion).

6.3 · Catastrophic forgetting

Il pre-training ha codificato la distribuzione dell'italiano in 30 000 step su 47.8 M token. Il SFT spinge i pesi verso un sotto-dominio di questa distribuzione. Se la spinta è troppo forte — LR alta, molte epoche, dataset grande — il modello sovrascrive le rappresentazioni generali e "dimentica" come scrivere di altro.

Mitigazioni standard:

• LR ridotta (1/10 del pre-training: 1e-5 – 3e-5 invece di 3e-4) — riduce la velocità di sovrascrittura
• Poche epoche (2–5) — limita il numero di aggiornamenti
• Probe Wikipedia nel val set — segnale diretto di forgetting (vedi sez. 3 e 4)
• Wikipedia slice nel batch SFT (opzionale, 10–15%) — mantiene il modello ancorato alla distribuzione generale

6.4 · Shift degli iperparametri

6.5 · Formati dati per SFT — tre opzioni

Opzione A — completamento con separatore testuale (consigliata per Branch A)

# data/sft_condominio.jsonl
{"prompt": "Redigi una convocazione assemblea ordinaria. Data: 15/10/2026. Luogo: sala condominiale. ODG: bilancio preventivo, lavori straordinari.", "completion": "Gentili condomini,\n\nSi convoca l'assemblea ordinaria del condominio..."}
{"prompt": "Scrivi una diffida per morosità. Condomino: Mario Rossi, scala B, interno 4. Debito: €1.234,00 per quote condominiali arretrate.", "completion": "Raccomandata A/R\n\nEgregio Sig. Mario Rossi..."}

Il separatore \n\n (o "### Risposta:\n") nella concatenazione identifica il punto di switch da labels=-100 a labels=token. Nessun token speciale aggiunto al vocabolario. Nessun rischio di destabilizzare gli embedding esistenti.

Opzione B — chat template (ChatML / LLaMA-style)

<|im_start|>user
Redigi una convocazione...
<|im_end|>
<|im_start|>assistant
Gentili condomini...
<|im_end|>

Richiede l'aggiunta di token speciali (<|im_start|>, <|im_end|>, user, assistant) al vocabolario BPE-SPM. I nuovi embedding vengono inizializzati casualmente e non hanno training — fonte di instabilità nelle prime iterazioni. Appropriato per modelli destinati a interfaccia chat. Overkill per Branch A.

Opzione C — testo puro con mascheratura by offset

Concatenazione raw senza separatore esplicito, con mascheratura calcolata dal numero di token del prompt. Fragile (un token in più/meno nel prompt sposta tutto) e non consigliata.

6.6 · Evaluation specifica per SFT

La val loss su testo continuo (usata in pre-training e CPT) è insufficiente per valutare l'SFT. Una val loss bassa dice che il modello assegna alta probabilità ai token del test set — non che il testo generato abbia la struttura corretta.