Piano di sviluppo

Scaled dot-product attention, causal mask, Multi-Head Attention, Feed-Forward (GELU), positional encoding sinusoidale, LayerNorm pre-norm, residual connections, weight tying.

AdamW con warmup lineare + cosine decay, gradient clipping, sliding-window dataset, checkpoint automatico, flag --resume per continued pre-training.

Tre backend: char-level (default), BPE tiktoken (cl100k_base), SentencePiece BPE con training opzionale. Token cache su disco — encoding eseguito una sola volta, riusato ad ogni restart.

Greedy decoding (argmax), flag --generate "testo" per inferenza da checkpoint, campione generato automaticamente ogni N step durante training per monitorare qualità.

Temperatura (T) per controllare l'entropia dell'output, top-k per limitare il campionamento ai k candidati più probabili, top-p (nucleus) per adattare dinamicamente la finestra di campionamento, repetition penalty per evitare loop.

Loop di valutazione su validation set separato, calcolo della perplexity (= exp(loss_val)), loss curves su training e validation, confronto automatico tra checkpoint.

Gradient accumulation per simulare batch più grandi senza aumentare la RAM. BF16 mixed precision per dimezzare la memoria dei pesi mantenendo la stabilità numerica. Prerequisito per scalare a seq_len 512+ su 24 GB.

KV-cache: riuso delle chiavi e dei valori già calcolati nei token precedenti, riduce la complessità per token da O(n²) a O(n). Streaming token-by-token. Batch inference per più prompt in parallelo.

Loop SFT su dataset instruction-following in formato prompt→risposta. Fine-tuning sul corpus narrativo personale per adattare il modello alla voce dell'autore. Prerequisito per il writing assistant.

Frozen base model + adapter trainabili a basso rango (A·B matrici). lora.py implementato e integrato in train_sft.py. LoRA v2: 21 intent calendario, 4200 esempi, val loss 0.0293 (PPL ≈ 1.0) su RTX 4090. Adapter 1.6 MB vs 175 MB checkpoint completo. Export GGUF Q8_0 e deployment su llama-server con UI chat.

Pipeline vision + language: immagine → YOLO v3 (object detection) → lista oggetti rilevati → SLM (descrizione in linguaggio naturale). Il LM riceve descrizione strutturata dal detector, non l'immagine diretta. Training: LoRA+SFT su coppie (lista oggetti → testo descrittivo). Nuovo territorio: CNN, feature maps, anchor boxes, multi-scale detection.