Il vero salto dei Transformer consiste nell’apprendere come rappresentare il contesto

 

Perché la predizione del token successivo è diventata molto più potente quando i modelli linguistici hanno iniziato ad apprendere lo spazio nel quale stimare la probabilità

 

I Large Language Models vengono spesso descritti, correttamente, come sistemi addestrati a predire il token successivo. Una definizione del genere identifica con precisione l’obiettivo dell’addestramento, tuttavia lascia in ombra gran parte di ciò che rende straordinari i moderni modelli linguistici, perché dice assai poco sulla struttura interna che deve emergere affinché quella predizione possa raggiungere l’efficacia che oggi osserviamo.

La predizione del token successivo ha radici molto anteriori agli attuali sistemi generativi. La modellazione del linguaggio viene formulata da lungo tempo come un problema probabilistico e, data una sequenza di token x₁, x₂, …, xₜ, la sua probabilità congiunta può essere fattorizzata nella forma

p(x₁, …, xₜ) = ∏ᵀₜ₌₁ p(xₜ ∣ x₁, …, xₜ₋₁)

Un modello autoregressivo apprende dunque la probabilità di ciascun token condizionata da ciò che lo precede. I moderni modelli linguistici continuano, nella sostanza, a risolvere questo stesso problema, regolando i propri parametri affinché aumenti la probabilità assegnata alla continuazione effettivamente osservata, tipicamente attraverso la minimizzazione della cross-entropy o, in forma equivalente, della negative log-likelihood.

La trasformazione più significativa introdotta dalla modellazione neurale riguarda il modo in cui viene rappresentata l’informazione sulla quale quella probabilità viene condizionata. È qui che si apre la distanza fra i modelli statistici tradizionali e gli odierni modelli neurali di larga scala, ed è sempre qui che la nozione di rappresentazione acquista un significato decisivo.

La probabilità era già al centro della modellazione linguistica

I modelli statistici classici stimano quantità del tipo

p(xₜ ∣ xₜ₋ₙ₊₁, …, xₜ₋₁)

e un modello n-gram descrive il contesto attraverso un numero prefissato di simboli precedenti. Un trigramma, per esempio, stima il termine successivo utilizzando i due termini che lo precedono immediatamente.

L’idea sottostante è elegante e, entro certi limiti, estremamente efficace. Quando una sequenza compare molte volte, la sua frequenza empirica fornisce informazione sulle continuazioni più probabili, mentre tecniche quali back-off, interpolazione e differenti forme di smoothing consentono di trattare con maggiore robustezza gli eventi rari. Il modello di Katz e le successive analisi sistematiche di Chen e Goodman costituiscono riferimenti fondamentali di questa tradizione (Katz, 1987; Chen & Goodman, 1999).

Il limite emerge con la crescita combinatoria dello spazio dei contesti. Se il vocabolario contiene V simboli, il numero delle possibili sequenze di lunghezza n cresce come Vⁿ e, già per valori moderati di n, la grandissima maggioranza delle configurazioni teoricamente possibili non comparirà mai nel corpus di addestramento. Quanto più si estende il contesto sul quale si desidera condizionare la predizione, tanto più rare diventano le osservazioni esatte.

La difficoltà investe così anche la forma nella quale l’esperienza linguistica viene codificata. Due frasi possono esprimere relazioni strettamente affini pur condividendo pochissime sequenze superficiali, e un modello fondato prevalentemente su configurazioni discrete dispone di possibilità limitate per trasferire informazione dall’una all’altra, salvo introdurre meccanismi di smoothing o altre ipotesi strutturali.

L’apprendimento delle rappresentazioni modifica precisamente questo scenario, perché consente di sostituire alla sola identità simbolica una descrizione continua nella quale configurazioni differenti possono condividere proprietà rilevanti.

Dalle configurazioni discrete agli spazi appresi

Bengio, Ducharme, Vincent e Jauvin formularono con particolare chiarezza questo passaggio nel loro modello neurale probabilistico del linguaggio del 2003, affrontando la «curse of dimensionality» attraverso l’apprendimento congiunto di rappresentazioni distribuite delle parole e della funzione di probabilità utilizzata per la predizione (Bengio et al., 2003).

Ogni parola viene così associata a una posizione entro uno spazio continuo e la catena concettuale può essere rappresentata schematicamente come

parola → rappresentazione distribuita → distribuzione di probabilità

Parole che ricorrono in contesti affini possono acquisire rappresentazioni correlate, mentre i parametri impiegati per stimare le probabilità vengono condivisi fra numerose situazioni linguistiche. La generalizzazione assume quindi una forma profondamente diversa rispetto a quella fondata esclusivamente sul conteggio di configurazioni discrete.

Poiché una sequenza mai incontrata durante l’addestramento può essere rappresentata in prossimità di configurazioni già apprese, l’informazione statistica acquisita altrove diventa riutilizzabile anche quando la superficie simbolica cambia considerevolmente. La somiglianza rilevante viene progressivamente trasferita dal livello delle sequenze letterali a quello delle proprietà espresse nello spazio interno.

Il principio può essere riassunto attraverso

hₜ = fθ(x₁, …, xₜ₋₁)

pθ(xₜ ∣ x₁, …, xₜ₋₁) = softmax(Whₜ + b)

La quantità hₜ costituisce il ponte fra il contesto e la distribuzione di probabilità, poiché incorpora la sequenza precedente in una forma appresa direttamente dai dati. Il modello continua a dover stabilire quale token sia più plausibile come prosecuzione, mentre l’addestramento determina simultaneamente quali proprietà del passato siano informative per formulare quella stima.

La rappresentazione entra così nel cuore stesso del problema probabilistico.

La rappresentazione prima dell’attenzione

La trasformazione era già iniziata con le reti neurali ricorrenti, che estesero la modellazione neurale del linguaggio costruendo rappresentazioni capaci di incorporare informazione proveniente da sequenze precedenti di lunghezza crescente. Mikolov e collaboratori mostrarono come tali modelli potessero ottenere riduzioni sostanziali della perplexity rispetto a forti baseline fondate sul back-off, offrendo una delle prime evidenze empiriche dell’efficacia delle rappresentazioni continue e del contesto sequenziale appreso (Mikolov et al., 2010).

L’idea fondamentale risultava ormai delineata. Un modello linguistico poteva generalizzare con maggiore efficacia quando costruiva una descrizione distribuita del passato, capace di condensare regolarità riutilizzabili, invece di affidarsi esclusivamente a conteggi definiti su contesti discreti di ampiezza prefissata.

I Transformer hanno ampliato enormemente questa possibilità, intervenendo soprattutto sul modo in cui il contesto viene costruito e riorganizzato lungo la rete.

Quando il condizionamento diventa dinamico

Con il Transformer, le rappresentazioni contestuali vengono costruite attraverso interazioni dirette e dipendenti dal contenuto fra differenti posizioni della sequenza (Vaswani et al., 2017). La self-attention consente alla rappresentazione associata a una posizione di dipendere da molte altre posizioni e, in forma semplificata, il processo può essere descritto come

hᵢ = Σⱼ αᵢⱼvⱼ

dove i coefficienti αᵢⱼ dipendono dalle relazioni apprese fra la query corrente e le key disponibili.

La rilevanza di un token precedente varia quindi con il contesto. Una parola distante può risultare altamente informativa in una frase e quasi irrilevante in un’altra, mentre differenti teste di attenzione possono apprendere modalità diverse di interazione e i livelli successivi trasformano ripetutamente le rappresentazioni ottenute.

Il condizionamento smette così di coincidere con una finestra locale definita una volta per tutte e assume una forma dinamica, ricostruita progressivamente mentre la sequenza attraversa il modello. La distribuzione del token successivo deriva da una catena di trasformazioni che stabilisce, di volta in volta, quali aspetti del passato debbano essere resi salienti e in quale forma debbano essere integrati nello stato corrente.

Una scrittura compatta come

p(token successivo ∣ token precedenti)

continua a descrivere correttamente il problema probabilistico, ma comprime in pochi simboli una elaborazione interna molto più ricca, nella quale i «token precedenti» vengono continuamente reinterpretati attraverso rappresentazioni apprese.

Quando il contesto acquista una geometria

Nel momento in cui il contesto viene proiettato entro uno spazio continuo, relazioni difficili da esprimere attraverso conteggi discreti possono assumere una forma geometrica. Sequenze diverse possono produrre stati interni che condividono una struttura significativa anche quando le rispettive realizzazioni superficiali differiscono considerevolmente.

La letteratura sulle rappresentazioni contestuali offre diversi risultati coerenti con questa lettura. Hewitt e Manning hanno mostrato come alcune relazioni proprie degli alberi sintattici possano essere recuperate dalla geometria delle rappresentazioni contestuali attraverso una trasformazione appresa relativamente semplice (Hewitt & Manning, 2019). Il risultato indica che determinate strutture sintattiche trovano una corrispondenza sistematica nello spazio rappresentazionale, pur senza richiedere l’ipotesi che il Transformer custodisca al proprio interno un albero sintattico simbolico in senso letterale.

Ethayarajh ha analizzato BERT, ELMo e GPT-2 mostrando quanto le rappresentazioni diventino sensibili al contesto attraverso i diversi livelli della rete. La stessa unità lessicale può occupare regioni sensibilmente differenti dello spazio interno a seconda della frase nella quale compare (Ethayarajh, 2019).

Nella modellazione del linguaggio, questa dipendenza dal contesto assume un significato particolare, perché la distribuzione del token successivo viene calcolata a partire da uno stato costruito sui termini precedenti e sulle relazioni che il modello ha appreso a stabilire fra essi. La probabilità condizionata viene pertanto valutata attraverso una rappresentazione la cui stessa geometria è il risultato dell’apprendimento.

È proprio questa organizzazione geometrica a modificare il significato della generalizzazione, poiché consente di riutilizzare regolarità acquisite anche quando la forma superficiale delle sequenze cambia.

Una diversa idea di generalizzazione

Consideriamo due frasi mai osservate letteralmente durante l’addestramento. Possono differire nel lessico, nella lunghezza e nelle entità coinvolte, pur esprimendo la stessa relazione grammaticale, una dipendenza semantica affine oppure uno schema computazionale ricorrente.

Un modello n-gram rimane strettamente legato a configurazioni locali discrete e possiede quindi strumenti limitati per cogliere direttamente un’equivalenza di questo genere. Un modello neurale può invece produrre stati interni che condividono alcune proprietà rilevanti, permettendo alla generalizzazione di sfruttare distanze, direzioni e trasformazioni nello spazio appreso.

Descrivere un LLM semplicemente come un sistema che predice il token successivo restituisce pertanto un’immagine parziale. L’espressione identifica correttamente la funzione obiettivo, ma lascia quasi del tutto indeterminato il meccanismo mediante il quale tale obiettivo viene raggiunto.

Qualcosa di analogo accade quando si afferma che un classificatore predice etichette. La definizione descrive l’uscita del sistema, mentre dice assai meno sulle caratteristiche, sulle variabili latenti e sulla geometria decisionale che l’apprendimento ha costruito internamente.

Nel caso dei moderni modelli linguistici, la distanza fra questi due livelli cresce ulteriormente, poiché la computazione interna attraversa molti strati ed è distribuita, contestuale e continuamente riorganizzata.

Quando la predizione induce struttura

La funzione obiettivo premia una previsione accurata e, quando l’addestramento avviene su una distribuzione linguistica sufficientemente ricca, la formazione di strutture interne articolate può risultare vantaggiosa proprio perché rende la predizione più efficace.

Un modello chiamato a prevedere il linguaggio in una grande varietà di contesti trae beneficio dalla capacità di rappresentare distinzioni che influenzano sistematicamente ciò che può seguire. Le dipendenze grammaticali restringono l’insieme delle continuazioni plausibili, le relazioni semantiche modificano le aspettative sui termini successivi, mentre l’identità delle entità diventa rilevante quando riferimenti e relazioni ricompaiono nel testo. Anche forme più strutturate di computazione possono rivelarsi utili quando consentono di affrontare famiglie di esempi accomunate da regolarità riutilizzabili.

Le analisi dei meccanismi interni dei Transformer offrono risultati compatibili con questa interpretazione. Geva e collaboratori hanno mostrato come i livelli feed-forward possano essere interpretati, entro determinate condizioni, come memorie di tipo key-value nelle quali pattern appresi interagiscono progressivamente con il processo predittivo del modello. Gli autori osservano inoltre una tendenza dei livelli inferiori a catturare configurazioni più superficiali, mentre quelli superiori risultano maggiormente associati a proprietà semantiche (Geva et al., 2021).

La portata di simili risultati va valutata con prudenza, perché essi non costituiscono una teoria completa della computazione nei Transformer. Offrono tuttavia indicazioni importanti sulla possibilità che una funzione obiettivo relativamente semplice favorisca la formazione di rappresentazioni interne molto articolate quando queste permettono di migliorare la predizione attraverso una molteplicità di contesti.

Funzione obiettivo e computazione appresa

Qui emerge una distinzione spesso trascurata fra la funzione obiettivo e la computazione che il modello apprende per soddisfarla.

La prima stabilisce il criterio secondo il quale una previsione viene valutata, mentre la seconda comprende l’insieme delle trasformazioni interne attraverso cui il sistema riesce progressivamente a produrla.

Nel caso di un modello linguistico autoregressivo, l’obiettivo matematico può rimanere relativamente semplice anche quando il meccanismo necessario a ottimizzarlo acquisisce una struttura molto complessa.

L’espressione «predittore del token successivo» descrive dunque in modo corretto il livello dell’obiettivo probabilistico, lasciando aperta la questione di quali rappresentazioni e quali strutture computazionali emergano nel corso dell’apprendimento.

La distinzione è essenziale, perché ridurre il comportamento del modello alla sola formulazione della loss equivale a confondere ciò che il sistema viene addestrato a ottenere con ciò che deve imparare a fare internamente per riuscirci.

La trasformazione più profonda

La storia della modellazione del linguaggio può allora essere letta come una progressiva trasformazione del meccanismo di condizionamento. I modelli n-gram classici stimano probabilità su contesti discreti definiti esplicitamente. I modelli neurali apprendono rappresentazioni continue di quei contesti. Le architetture ricorrenti permettono a tali rappresentazioni di evolvere lungo la sequenza, mentre i Transformer ricostruiscono ripetutamente l’informazione contestuale attraverso interazioni dipendenti dal contenuto distribuite lungo la finestra considerata.

La probabilità rimane al centro dell’intero percorso, mentre cambia lo spazio nel quale l’evidenza rilevante viene organizzata e resa disponibile alla predizione.

La svolta dei moderni modelli linguistici può essere compresa, in questa prospettiva, come il passaggio da una statistica esercitata su rappresentazioni largamente prefissate a una statistica capace di apprendere anche lo spazio nel quale organizzare le proprie evidenze.

In quello spazio, progressivamente costruito dai dati, il contesto acquista una geometria, le regolarità diventano riutilizzabili attraverso configurazioni differenti e la predizione del token successivo raggiunge una potenza che la sola formulazione probabilistica dell’obiettivo lascia difficilmente intuire.

La probabilità fornisce il criterio attraverso il quale il sistema apprende. La rappresentazione determina la forma nella quale ciò che è stato appreso può essere riconosciuto, trasformato e generalizzato.

È nell’interazione fra questi due livelli che si comprende gran parte della distanza fra il conteggio di sequenze osservate e le capacità dei moderni Transformer.

Riferimenti bibliografici

Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research, 3, 1137–1155.

Chen, S. F., & Goodman, J. (1999). An empirical study of smoothing techniques for language modeling. Computer Speech & Language, 13(4), 359–394. https://doi.org/10.1006/csla.1999.0128

Ethayarajh, K. (2019). How contextual are contextualized word representations? Comparing the geometry of BERT, ELMo, and GPT-2 embeddings. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 55–65. https://doi.org/10.18653/v1/D19-1006

Geva, M., Schuster, R., Berant, J., & Levy, O. (2021). Transformer feed-forward layers are key-value memories. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 5484–5495. https://doi.org/10.18653/v1/2021.emnlp-main.446

Hewitt, J., & Manning, C. D. (2019). A structural probe for finding syntax in word representations. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, Human Language Technologies, Volume 1, 4129–4138. https://doi.org/10.18653/v1/N19-1419

Katz, S. M. (1987). Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE Transactions on Acoustics, Speech, and Signal Processing, 35(3), 400–401. https://doi.org/10.1109/TASSP.1987.1165125

Mikolov, T., Karafiát, M., Burget, L., Černocký, J., & Khudanpur, S. (2010). Recurrent neural network based language model. Proceedings of Interspeech 2010, 1045–1048. https://doi.org/10.21437/Interspeech.2010-343

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.