Cronaca di un modello

La prima tappa: quattro ore e quaranta minuti

Il primo blocco del training è terminato. Quattro ore e quaranta minuti di calcolo continuo su un chip da otto gigabyte, senza interruzioni. Il modello ha attraversato 8.000 aggiornamenti su un pezzo di corpus italiano — articoli enciclopedici, testi amministrativi, narrativa — e alla fine di questo primo blocco la sua capacità di prevedere il testo italiano si è migliorata in modo misurabile.

La metrica che usiamo per valutarlo, la val loss, è passata da 4.46 a inizio shard a 3.87 a fine shard. In termini concreti: il modello sbaglia meno spesso nella previsione della parola successiva. Non è ancora fluente come un modello addestrato per settimane su supercomputer, ma il miglioramento è reale e documentato passo dopo passo.

Il checkpoint più preciso che abbiamo appartiene ancora al run precedente — quello eseguito su GPU professionale nel settembre 2026. Il primo shard del nuovo training non ha ancora raggiunto quel livello. Ma questo era previsto: ogni shard parte da zero in termini di velocità di apprendimento, si scalda nei primi cento aggiornamenti, poi scende lungo una curva a coseno fino a quasi fermarsi. Il vero vantaggio del corpus più ampio si vedrà man mano che i shard si accumulano.

Mentre il primo shard terminava, il programma ha già iniziato a preparare il secondo: sta leggendo e trasformando in numeri il prossimo pezzo di testo italiano, 1.18 gigabyte di dati che il modello non ha ancora mai visto. Questo processo di codifica richiede circa dieci minuti, poi ripartirà il ciclo.

Il secondo blocco impara più in fretta

Il secondo blocco di training ha raggiunto la stessa qualità del primo in meno tempo. Nel primo blocco ci vollero cinque mila aggiornamenti per portare la metrica di qualità sotto una soglia significativa. Nel secondo blocco ci sono voluti quattro mila aggiornamenti — un quinto in meno.

Non è solo una curiosità numerica. Significa che il modello, dopo aver lavorato sul primo blocco di testo, era già in una posizione migliore per imparare dal secondo. I pesi — cioè i milioni di numeri che rappresentano la "conoscenza" del modello — erano già orientati nel verso giusto. Il secondo blocco ha richiesto meno correzioni per adattarsi.

È questo il vantaggio del continued pre-training: non si riparte mai da zero. Il modello accumula una comprensione dell'italiano che si consolida blocco dopo blocco, anche quando i testi cambiano registro — da articoli enciclopedici a testi amministrativi, da narrativa a giornalismo. La varietà non confonde, costruisce.

Un quarto di strada, non una corsa persa

Nel campo dell'addestramento dei modelli linguistici esiste una regola empirica, emersa da un articolo pubblicato da DeepMind nel 2022 e chiamata informalmente legge di Chinchilla. La regola dice: per addestrare un modello in modo ottimale, servono circa venti token per ogni parametro. Il nostro modello ha 46 milioni di parametri. Il target ottimale è quindi circa 920 milioni di token.

Con il batch size che stiamo usando su M2 — otto esempi per ogni aggiornamento — Run #5 raggiungerà circa 229 milioni di token al termine dei suoi 56.000 step. Un quarto del target. Non è un fallimento: è una scelta consapevole dettata dai limiti dell'hardware disponibile in questa fase.

Il punto chiave è che i training si sommano, non si sostituiscono. Ogni run parte dai pesi del precedente, come se riprendesse un libro dal segnalibro invece di ricominciare dalla prima pagina. Run #4 ha aggiunto 245 milioni di token su Wikipedia. Run #5 ne aggiunge altri 229 milioni su un corpus più vasto. Run #6 — pianificato su GPU professionale, con un batch quattro volte più grande — completerà il percorso con altri 918 milioni di token. Alla fine, il totale sarà circa 1.15 miliardi di token: il 25% in eccesso rispetto al target Chinchilla.

In questo senso, Run #5 svolge un ruolo specifico: espone il modello a un testo italiano molto più vario di quanto avesse visto finora — articoli enciclopedici, testi amministrativi, narrativa contemporanea — prima che Run #6 consolidi questa conoscenza su scala industriale. Non è una fase di transizione: è un training vero, con risultati misurabili, che produce un checkpoint utile per il passo successivo.

Il secondo blocco chiude più in basso — e più in fretta

Shard 2 è terminato. Quattro ore e sei minuti, trentaquattro minuti in meno di shard 1. La val loss finale è 3.834, contro il 3.867 con cui si era concluso il primo blocco. Non sono numeri che cambierebbero un articolo di giornale, ma nel contesto dell'addestramento sono un segnale preciso: il modello sta progredendo.

Ogni shard applica un ciclo completo di apprendimento — 8.000 aggiornamenti con la variante cosine del tasso di apprendimento, che parte alto, scende gradualmente, e si ferma prima di toccare zero per lasciare margine a una ripartenza. I pesi che arrivano a fine shard 2 sono leggermente migliori di quelli che arrivavano a fine shard 1. Il corpus cambia, ma il modello porta con sé tutto quello che ha imparato.

È questo che rende l'addestramento a blocchi diverso da un unico lungo ciclo: invece di un percorso lineare, il modello attraversa sette paesaggi linguistici diversi, ognuno dei quali lascia una traccia. La val loss cumulativa non è l'unica misura che conta — ma il fatto che scenda di shard in shard suggerisce che la direzione è quella giusta.

Il terzo blocco tocca la soglia 4.0 — stessa velocità del secondo

Il terzo blocco di addestramento ha raggiunto la soglia 4.0 di val loss al passo 4500, circa due ore e trentacinque minuti dall'avvio. Shard 2 l'aveva toccata al passo 4000. La differenza è contenuta — mezzo blocco, meno di dieci minuti — e suggerisce che la velocità di convergenza si sta stabilizzando: il modello impara sempre più rapidamente rispetto ai blocchi iniziali, ma il margine di miglioramento shard su shard tende a ridursi man mano che i pesi si avvicinano a una configurazione stabile.

La val loss a metà percorso (step 4500 su 8000, il 56%) è 4.001. È un numero che ha in sé qualcosa di simbolico: la soglia del 4 nella perplexità logaritmica corrisponde, in modo approssimativo, a un modello che si è lasciato alle spalle le fasi più elementari dell'apprendimento linguistico e comincia a operare su strutture più sottili. Non è un traguardo finale, ma un indicatore che l'addestramento procede in modo sano.

I campioni di generazione a questo passo mostrano ancora artefatti da parole-seme insolite — ripetizioni di singole parole in maiuscolo, loop di termini tecnici — ma questi sono comportamenti legati ai token di innesco, non alla qualità generale dei pesi. Quando il seme è una parola normale, il modello produce già frasi italiane grammaticalmente corrette.

Il terzo blocco conclude con il minimo più basso — poi un passo indietro

Shard 3 è terminato in quattro ore e trentasei minuti. Il risultato finale è un po' ambivalente, ma in modo interessante: al passo 7500, cioè a circa novantaquattro per cento del percorso, il modello ha raggiunto una val loss di 3.821 — il valore più basso registrato in tutta la Run #5 finora, meglio del minimo di shard 2 (3.834). Poi, negli ultimi cinquecento passi, c'è stato un leggero rialzo: la val loss finale a step 8000 è 3.845.

Questo comportamento ha un nome: micro-uptick. Accade quando il tasso di apprendimento è talmente basso da non poter più correggere le fluttuazioni casuali introdotte dai singoli batch di testo. In pratica, il modello ha smesso di imparare cose nuove e ha cominciato a oscillare leggermente intorno alla sua posizione migliore, come un ago di bussola che si assesta. Non è un segnale negativo — è anzi una conferma che il training ha estratto quasi tutto quello che poteva da quel corpus con quella configurazione.

Il checkpoint best.pt salva automaticamente il momento di val loss più bassa — in questo caso, il passo 7500 con 3.821. È quello che il modello userà come punto di partenza per shard 4. Il valore finale a step 8000 è quello che appare nel log di completamento, ma il checkpoint effettivo è quello migliore.

La tendenza generale resta chiara: ogni shard sposta il minimo assoluto verso il basso. Shard 1: 3.852. Shard 2: 3.834. Shard 3: 3.821. L'abbassamento rallenta, ma continua.

Rileggere dall'inizio, ogni volta — e come smettere di farlo

Immaginate di stare scrivendo una lettera a mano, lentamente, una parola alla volta. Prima di scrivere ogni nuova parola, tornate all'inizio della lettera, la rileggete dall'inizio, e solo allora aggiungete la parola successiva. La lettera diventa più lunga, la rilettura diventa più lenta, e il tempo per aggiungere ogni parola cresce senza fermarsi.

Questo è esattamente il problema che il nostro modello ha con la generazione del testo. Ogni volta che produce un nuovo token — una nuova parola, o parte di essa — rilegge l'intera sequenza precedente dall'inizio. Non perché non ricordi quello che ha già visto, ma perché il codice non gli dà la possibilità di conservare i risultati intermedi di quella lettura.

Dentro un transformer, leggere una sequenza significa eseguire un'operazione chiamata attention: il modello calcola, per ogni parola nella sequenza, una coppia di valori che rappresentano il suo contributo al contesto. Questi valori si chiamano K (key) e V (value). Sono deterministici: per una parola in una certa posizione, K e V sono sempre gli stessi, indipendentemente da quante altre parole verranno dopo. Ricalcolarli ogni volta è lavoro inutile.

La soluzione è ovvia una volta che si capisce il problema: tenere quei valori in memoria e non ricalcolarli. Si chiama KV-cache, dove KV sta per le iniziali di Key e Value. Al primo passo, si calcola tutto per il prompt iniziale. Ai passi successivi, si calcola solo il K e il V del nuovo token appena generato, si aggiungono a quelli già salvati, e si fa l'operazione di attention su tutto l'insieme.

Il costo di generare cento token passa dall'equivalente di 1+2+3+...+100 operazioni (la somma fa 5050) a cento operazioni identiche, una per token. Su sequenze lunghe, il guadagno in velocità è nell'ordine di decine di volte.

C'è un aspetto che vale la pena sottolineare, perché può sembrare controintuitivo: questa modifica non tocca in nessun modo il training. Quando il modello si addestra, elabora sequenze intere in parallelo e ha bisogno di ricaricare tutto ogni volta, perché sta imparando e il suo grafo di calcolo deve restare intatto per la backpropagation. La cache è uno strumento per l'inferenza — per quando il modello è già addestrato e deve semplicemente generare. I due percorsi del codice non si incrociano.

L'implementazione tocca tre punti: il meccanismo di attention, la struttura del modello che lo coordina, e il ciclo di generazione che accumula lo stato passo per passo. Ogni modifica aggiunge un parametro opzionale con valore predefinito invariato rispetto al passato — il codice di training non vede la differenza.

Dopo l'implementazione, il primo test che eseguiremo è di identità: generare duecento token con e senza cache, e verificare che il risultato sia esattamente lo stesso. Se c'è un errore di un solo indice nella concatenazione, i token divergono. Solo se i due output coincidono bit per bit il meccanismo è corretto. Il secondo test misura il tempo: quanto ci vuole adesso, quanto ci vorrà dopo.