Un dado pesato
Quando si parla con ChatGPT, Claude o Gemini si ha l’impressione di dialogare con qualcuno. Dentro c’è un meccanismo più semplice da descrivere di quanto sembri. Un LLM (Large Language Model, modello linguistico di grandi dimensioni) produce il testo un pezzo alla volta. A ogni passo calcola, per ogni possibile pezzo successivo, una probabilità. Poi ne sceglie uno e ricomincia.
Andrea Amani, nell’articolo “Come Pensa la Macchina” pubblicato sul suo blog Signal Pirate, usa un’immagine efficace: un dado con moltissime facce. Nel caso dei modelli Llama 3 di Meta le facce sono circa 128.000, una per ogni elemento del vocabolario del modello. Il dado però è pesato: dopo “Il gatto dorme sul”, la faccia “divano” ha una probabilità molto alta, la faccia “teorema” quasi nulla. Il modello lancia il dado, scrive la faccia uscita, aggiunge quella parola al testo e rilancia. Si ferma quando esce la faccia che segnala la fine della risposta.
Tutta l’intelligenza apparente sta nel modo in cui il dado viene pesato a ogni lancio. Quel peso è calcolato da una rete neurale con miliardi di parametri, a partire da tutto il testo che precede. Se questo basti a parlare di comprensione è una questione aperta. Una parte della letteratura, a partire dal saggio del 2021 di Emily Bender e colleghe sui “pappagalli stocastici”, sottolinea che il modello riproduce regolarità statistiche del linguaggio senza un rapporto diretto con il mondo. Per usare bene questi strumenti basta tenere presente il meccanismo: il modello sceglie ciò che è probabile. Il probabile non coincide sempre con il vero.
Come si pesa il dado: l’addestramento
I pesi del dado si ottengono con l’addestramento. Nella prima fase, detta pre-addestramento, il modello legge enormi quantità di testo: pagine web, libri, codice, articoli. Il compito è sempre lo stesso.
Plausibile e vero sono cose diverse
L’addestramento premia la previsione del testo più probabile. Il modello impara come si scrive una risposta convincente su un tema. Spesso quella risposta è anche corretta. Quando i due aspetti divergono, il meccanismo di base non ha modo di accorgersene. Da qui nascono le allucinazioni, di cui si parla più avanti.
Il testo a pezzi: i token
Il modello lavora con i token, cioè pezzi di testo: una parola intera, una parte di parola, a volte un singolo carattere. La divisione avviene prima dell’addestramento, con algoritmi come il Byte Pair Encoding, che unisce progressivamente le sequenze di caratteri più frequenti fino a ottenere un vocabolario della dimensione voluta. I vocabolari dei modelli attuali vanno di solito da circa 100.000 a 200.000 token.
Poiché i testi di addestramento sono in larga parte in inglese, le parole inglesi comuni diventano spesso un solo token, mentre quelle di altre lingue vengono spezzate in più parti. Lo studio di Petrov, La Malfa, Torr e Bibi presentato a NeurIPS 2023 ha misurato che lo stesso testo tradotto in lingue diverse può richiedere un numero di token molto diverso, fino a quindici volte in alcuni casi.
Perché interessa a chi scrive in italiano
Più token significa più costo nei servizi a consumo, più tempo di elaborazione e meno testo che entra nella memoria di lavoro del modello. L’italiano è meno penalizzato di molte altre lingue. In genere richiede comunque più token dell’inglese per lo stesso contenuto.
Embedding: numeri che rappresentano il significato
Per fare calcoli il modello deve trasformare ogni token in numeri. Ogni token diventa un vettore, cioè una lunga lista di numeri detta embedding. Nel modello Llama 3 da 8 miliardi di parametri ogni vettore ha 4.096 numeri, in quello da 405 miliardi ne ha 16.384.
All’inizio dell’addestramento questi numeri sono casuali. Con l’addestramento si organizzano in modo che parole usate in contesti simili abbiano vettori vicini. “Re” e “regina” finiscono vicini. La differenza fra i due vettori somiglia alla differenza fra “uomo” e “donna”. Lo spazio degli embedding codifica così relazioni di significato ricavate dall’uso delle parole nei testi.
Significato ricavato dall’uso
Il modello conosce le parole attraverso le altre parole con cui compaiono. “Medico” e “ospedale” sono vicini perché compaiono spesso insieme. Questo basta per moltissimi compiti linguistici. Non garantisce che il modello sappia collegare correttamente quelle parole a fatti del mondo che nei testi compaiono di rado.
L’attenzione: ogni parola guarda le altre
Il meccanismo che ha reso possibili i modelli attuali si chiama attenzione ed è stato introdotto nel 2017 dall’articolo “Attention Is All You Need”, che ha presentato l’architettura Transformer. L’idea è che il significato di una parola dipende dalle altre parole del testo.
Nella frase “Maria ha detto a Luca che lei sarebbe andata al cinema”, il modello deve capire che “lei” si riferisce a Maria. Per farlo, ogni token produce tre vettori:
- Query: che cosa sto cercando nelle altre parole.
- Key: che cosa offro alle altre parole che mi cercano.
- Value: l’informazione che passo a chi mi presta attenzione.
Il modello confronta la Query di “lei” con le Key di tutti gli altri token. “Maria” risulta molto compatibile, “Luca” molto meno. La rappresentazione di “lei” viene allora aggiornata mescolando i Value dei token più compatibili, con un peso maggiore per “Maria”.
Questo calcolo si ripete in parallelo più volte, con diverse “teste” di attenzione. Llama 3 405B ne usa 128 per strato. Ogni testa impara a cogliere relazioni diverse: una può seguire i riferimenti dei pronomi, un’altra l’accordo fra soggetto e verbo, un’altra ancora la struttura delle frasi.
Strato dopo strato
Un modello è fatto di molti blocchi di attenzione impilati, detti strati. Ogni strato riceve le rappresentazioni prodotte dal precedente e le raffina. I modelli Llama 3 hanno 32 strati nella versione da 8 miliardi di parametri, 80 in quella da 70 miliardi e 126 in quella da 405 miliardi. Per molti modelli commerciali, come GPT-4, queste informazioni non sono state rese pubbliche.
In modo molto semplificato, gli studi di interpretabilità indicano che i primi strati trattano aspetti più superficiali del testo, quelli intermedi relazioni più astratte, gli ultimi preparano la previsione del token successivo. Più strati consentono di rappresentare relazioni più complesse, al prezzo di più calcolo in addestramento e in uso.
Da previsore di testo ad assistente
Il modello pre-addestrato sa continuare un testo. Non segue però le istruzioni in modo affidabile e non distingue le richieste da evitare. Per farne un assistente servono altre due fasi.
Addestramento sulle istruzioni
Cosa: si prosegue l’addestramento su un insieme più piccolo di esempi composti da una richiesta e dalla risposta desiderata.
Effetto: il modello impara il formato e lo stile di un assistente, cioè a rispondere alle domande invece di continuarle.
RLHF
Cosa: l’apprendimento per rinforzo dal feedback umano (RLHF, Reinforcement Learning from Human Feedback). Persone valutano più risposte alla stessa richiesta, un secondo modello impara a prevedere le loro preferenze e il modello principale viene ottimizzato per produrre le risposte preferite.
Effetto: risposte più aderenti alle istruzioni e più prudenti sulle richieste rischiose. Ouyang e colleghi hanno descritto nel 2022 l’applicazione di questa tecnica a InstructGPT, il predecessore di ChatGPT.
La finestra di contesto
Il modello non ha una memoria che dura nel tempo. A ogni risposta vede solo un certo numero di token: la domanda, la conversazione precedente, gli eventuali documenti allegati. Questo limite si chiama finestra di contesto. Quando la conversazione lo supera, le parti più vecchie non vengono più considerate.
| Modello | Finestra di contesto (token) |
|---|---|
| GPT-2 (2019) | 1.024 |
| GPT-4 Turbo (2023) | 128.000 |
| Llama 3.1 (2024) | 128.000 |
| Claude 3 (2024) | 200.000 |
| Gemini 1.5 Pro (2024) | fino a 2.000.000 |
Una finestra più ampia consente di lavorare su documenti lunghi, ma aumenta il calcolo necessario. Una finestra ampia non garantisce che il modello usi bene tutte le informazioni che contiene, soprattutto quelle collocate a metà di testi molto lunghi, come hanno mostrato Liu e colleghi nel 2023.
La temperatura
Il dado può essere pesato in modo più o meno netto. Il parametro che regola questa scelta si chiama temperatura.
Temperatura bassa
Effetto: il modello sceglie quasi sempre il token più probabile. A temperatura zero, lo stesso input produce di norma la stessa risposta.
Quando: estrazione di dati, traduzioni, codice, risposte che devono essere coerenti.
Temperatura alta
Effetto: le probabilità si appiattiscono e anche token meno probabili vengono scelti. Le risposte variano di più.
Quando: brainstorming, testi creativi. Oltre una certa soglia il testo perde coerenza.
Le allucinazioni
I modelli linguistici producono a volte affermazioni false esposte con la stessa sicurezza di quelle vere: citazioni inesistenti, sentenze mai emesse, dati inventati. La causa sta nel meccanismo descritto all’inizio. Il modello genera il testo più plausibile. Se nei dati di addestramento un’informazione è rara o assente, il modello può comunque produrre una risposta con la forma giusta e il contenuto sbagliato. Amani ne mostra un esempio: descrivendo l’inverno dell’alveare, Llama 3.1 ha scritto che la regina “esce dall’alveare per cercare un luogo adatto dove fondare una nuova colonia”. Il testo è scorrevole, ma chi alleva api vede subito che è sbagliato.
Un lavoro pubblicato nel 2025 da ricercatori di OpenAI (Kalai, Nachum, Vempala e Zhang) aggiunge una ragione legata alla valutazione: molti test premiano la risposta tentata e non danno alcun punteggio a chi ammette di non sapere, così i modelli vengono spinti a indovinare.
Documenti nel contesto
Idea: si forniscono al modello i documenti da cui ricavare la risposta e gli si chiede di usare solo quelli.
Effetto: le allucinazioni si riducono, perché il modello ha il testo di riferimento sotto gli occhi.
RAG
Idea: con la RAG (Retrieval-Augmented Generation, generazione aumentata dal recupero) un sistema di ricerca seleziona automaticamente i documenti pertinenti da un archivio e li inserisce nel contesto prima della risposta.
Effetto: risposte basate su fonti aggiornate o interne, che si possono citare e verificare.
Le allucinazioni restano possibili
Anche con documenti di riferimento il modello può fraintendere o completare con informazioni inventate. Le risposte che contano, soprattutto su norme, sentenze, dosaggi o numeri, vanno sempre verificate sulla fonte originale.
I modelli che “ragionano”
Dal settembre 2024, con o1 di OpenAI, si sono diffusi modelli che prima di rispondere generano una lunga catena di passaggi intermedi, spesso non mostrata all’utente. Il modello scompone il problema, prova strade diverse, controlla i risultati parziali e solo alla fine scrive la risposta.
Risposta diretta
Processo: domanda, generazione della risposta.
Pregi e limiti: veloce ed economico, adatto a compiti semplici. Meno affidabile su problemi di logica o calcolo in più passaggi.
Ragionamento esteso
Processo: domanda, catena di passaggi intermedi, risposta.
Pregi e limiti: risultati migliori su matematica, programmazione e problemi complessi. Più lento e più costoso, perché genera molti più token.
Il meccanismo resta lo stesso lancio di dadi. Il modello però dedica molti più lanci a esplorare il problema prima di impegnarsi in una risposta. Questo migliora in modo misurabile i risultati sui compiti difficili.
Strumenti, agenti e prompt di sistema
Un modello da solo può solo produrre testo. Collegato ad altri programmi può fare molto di più.
Uso di strumenti
Il modello può essere autorizzato a chiamare funzioni esterne: una ricerca web, una query su un database, una calcolatrice. In quel caso non risponde subito, genera una richiesta strutturata, il sistema la esegue e gli restituisce il risultato, che il modello usa per la risposta finale. Un assistente clienti può così recuperare lo stato di un ordine invece di inventarlo.
Agenti
Un agente è un modello che concatena più azioni per raggiungere un obiettivo: legge i dati, prepara un documento, lo invia. Più ampie sono le azioni consentite, più serve controllarle. Un agente con accesso alla posta o ai file di un’organizzazione deve avere permessi limitati, registrazione delle operazioni e conferma umana per le azioni irreversibili.
Prompt di sistema
Il comportamento di un assistente dipende in parte dall’addestramento e in parte dalle istruzioni che il fornitore o l’azienda inseriscono prima della conversazione, dette prompt di sistema. Un esempio:
Esempio di prompt di sistema
Sei l'assistente del servizio IT interno dell'azienda.
Rispondi solo a domande su posta elettronica, VPN e stampanti.
Non chiedere mai password o codici di accesso.
Se la richiesta riguarda dati personali di colleghi, rifiuta e indica il referente privacy.
Se non conosci la risposta, suggerisci di aprire un ticket.
Il prompt di sistema orienta il modello ma non lo vincola in modo assoluto. Un utente può tentare di aggirarlo con istruzioni contrarie. Anche i contenuti esterni letti dal modello, come una pagina web o un documento, possono contenere istruzioni nascoste. Per questo i controlli più importanti vanno messi fuori dal modello, nei permessi del sistema.
Il percorso di una domanda
Privacy e regole: cosa sapere prima di usarli
Scrivere in un assistente il nome di un paziente, i dati di un cliente o il testo di un contratto significa trattare dati personali e comunicarli al fornitore del servizio. Si applica quindi il GDPR. Le condizioni cambiano molto fra servizi. Nelle versioni per consumatori le conversazioni possono essere usate per addestrare i modelli, salvo diversa scelta dell’utente nelle impostazioni. Le versioni per aziende e le API prevedono di regola termini contrattuali diversi, con l’esclusione dell’addestramento e un accordo ex art. 28 GDPR. Prima di usare uno strumento in un’organizzazione vanno letti i termini, configurato l’account e scritta una regola interna su quali dati si possono inserire.
Il Garante per la protezione dei dati personali è intervenuto su questi servizi già con il provvedimento del 30 marzo 2023, che ha limitato in via provvisoria il trattamento dei dati degli utenti italiani da parte di OpenAI. L’AI Act, come modificato dal Regolamento (UE) 2026/1744, chiede a fornitori e deployer (chi usa un sistema di AI sotto la propria autorità) di sostenere lo sviluppo delle competenze sull’AI del proprio personale (art. 4) e prevede obblighi di trasparenza, applicabili dal 2 agosto 2026, per i sistemi che interagiscono con le persone o generano contenuti (art. 50).
L’utente consapevole
Verifica le risposte che contano
Il modello non distingue una citazione vera da una inventata. Norme, sentenze, numeri e indicazioni sanitarie vanno controllati sulla fonte originale.
Dai contesto
“Riscrivi questo paragrafo” funziona peggio di “Riscrivi questo paragrafo per i genitori di una scuola primaria, con un tono cordiale e in meno di cento parole”.
Fornisci i documenti
Quando la risposta deve basarsi su testi precisi, allegali o usa un sistema di RAG. Le allucinazioni diminuiscono e le risposte si possono verificare.
Scegli il modello adatto al compito
Un modello veloce basta per riassunti e bozze. Per problemi complessi conviene un modello con ragionamento esteso, più lento e più costoso.
Controlla dove finiscono i dati
Leggi i termini del servizio, disattiva l’uso delle conversazioni per l’addestramento quando è possibile e non inserire dati personali di terzi in account personali.
Considera i bias
Il modello riflette i dati su cui è stato addestrato, compresi squilibri fra lingue e fra gruppi sociali. Su decisioni che riguardano persone serve sempre una valutazione umana.
Fonti e riferimenti
A. Amani (Pinperepette), “Come Pensa la Macchina“, Signal Pirate, 16 febbraio 2026. L’immagine del dado pesato e l’esempio dell’alveare vengono da questo articolo, che analizza il funzionamento di Llama 3.1 8B.
A. Vaswani et al., “Attention Is All You Need“, NeurIPS 2017.
Llama Team, Meta AI, “The Llama 3 Herd of Models“, 2024.
A. Petrov, E. La Malfa, P. H. S. Torr, A. Bibi, “Language Model Tokenizers Introduce Unfairness Between Languages“, NeurIPS 2023.
L. Ouyang et al., “Training language models to follow instructions with human feedback“, NeurIPS 2022.
E. M. Bender, T. Gebru, A. McMillan-Major, S. Shmitchell, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“, FAccT 2021.
N. F. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts“, Transactions of the Association for Computational Linguistics, 2024.
A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang, “Why Language Models Hallucinate“, 2025.
Nota: l’articolo semplifica concetti tecnici complessi per renderli accessibili a chi non si occupa di machine learning. Le caratteristiche dei modelli commerciali cambiano rapidamente: i dati riportati si riferiscono alle versioni indicate.
