Oltre la predizione del tocken successivo. Come i Transformer apprendono regole matematiche

 

Affermare che un Large Language Model apprende a predire il token successivo è corretto. Una descrizione di questo tipo, tuttavia, rimane largamente insufficiente quando si voglia comprendere che cosa il modello abbia effettivamente appreso e quali strutture computazionali entrino in gioco nel momento in cui produce una risposta.

Prima di affrontare questo problema conviene delimitare con precisione il campo del discorso. Oggi un LLM costituisce spesso soltanto una componente di un’infrastruttura computazionale assai più ampia, nella quale possono operare sistemi agentici di orchestrazione, memorie esterne, meccanismi di retrieval, strumenti analitici, codice eseguibile, competenze specializzate e accesso a sorgenti informative esterne. Sono capacità che meritano un’analisi autonoma. Qui, invece, le lasceremo deliberatamente sullo sfondo, per concentrarci su una questione più circoscritta e, da un punto di vista scientifico, particolarmente interessante, ossia ciò che può emergere all’interno dello stesso modello neurale anche quando, durante l’inferenza, esso non dispone di alcuno strumento esterno.

Senza questa distinzione diventa difficile comprendere come un LLM possa eseguire operazioni matematiche e, più in generale, manifestare forme strutturate di ragionamento algoritmico.

Nella divulgazione ricorre spesso l’idea che un modello neurale, durante l’addestramento, si limiti a «memorizzare i dati» per poi rigurgitarli durante l’inferenza, quasi fosse un «pappagallo stocastico». L’espressione «stochastic parrot» possiede una storia e un significato ben determinati nella letteratura critica sui Large Language Model (Bender et al., 2021). Per inciso, il pappagallo biologico è molto più intelligente di quanto comunemente si immagini. Ciò che interessa qui, tuttavia, è un altro punto. Una lettura puramente mnemonica del funzionamento delle reti neurali non possiede validità generale.

Qualcosa di analogo accade quando si definisce un modello neurale un «motore statistico» e si finisce per assimilare il suo comportamento a una sorta di lancio casuale di una moneta. La componente statistica è naturalmente presente, ma all’interno della rete possono stabilizzarsi rappresentazioni persistenti e procedure computazionali strutturate, capaci di organizzare l’informazione secondo regolarità che vanno ben oltre una semplice associazione locale fra esempi osservati e risposte prodotte (Nanda et al., 2023; Maltoni & Ferrara, 2024).

Durante il pretraining autoregressivo, la funzione obiettivo stabilisce il compito, che possiamo semplificare come «predire il token successivo». L’architettura Transformer e la dinamica dell’apprendimento determinano invece quali rappresentazioni interne e quali procedure possano emergere per assolvere quel compito.

Un esempio particolarmente istruttivo proviene dalla letteratura sul «grokking» (Power et al., 2022; Nanda et al., 2023). Immaginiamo, per semplicità, un piccolo Transformer addestrato su un’operazione elementare come l’addizione modulo 10. In questa aritmetica 7 + 8 = 5, perché, una volta raggiunto 10, il conteggio ricomincia da 0, come illustrato nella figura. I classici esperimenti sul grokking utilizzano problemi analoghi di aritmetica modulare.

L’aspetto decisivo consiste nel modo in cui il Transformer viene addestrato. Durante il training esso osserva numerosi esempi costituiti esclusivamente da coppie input-output, secondo un paradigma interamente data-driven. Può incontrare, per esempio, 2 + 3 → 5 oppure 7 + 8 → 5. Nessuno gli fornisce la regola generale dell’addizione modulare e nessuno gli consegna un algoritmo che spieghi come calcolare il risultato. Quella che, in maniera informale, possiamo chiamare «meta-regola» deve eventualmente emergere dalla struttura degli esempi.

Nelle prime fasi dell’apprendimento il modello può arrivare a riprodurre perfettamente le coppie già osservate e continuare, nello stesso tempo, a fallire su combinazioni nuove. Il comportamento risulta allora in larga misura compatibile con la memorizzazione dei dati di training. Se l’addestramento prosegue, tuttavia, può prodursi una trasformazione assai più interessante. La rete sviluppa progressivamente una struttura interna capace di catturare la regolarità matematica sottostante e comincia quindi a generalizzare correttamente anche a combinazioni input-output che non aveva mai incontrato durante l’apprendimento (Power et al., 2022).

È questo il fenomeno noto come «grokking».

Osservata dall’esterno, la capacità di generalizzazione può apparire quasi improvvisamente, dopo un lungo periodo nel quale il modello sembra essersi limitato all’overfitting. L’interpretabilità meccanicistica ha però consentito di studiare ciò che avviene all’interno della rete durante questa transizione. Nanda et al. (2023) hanno ricostruito il meccanismo appreso da piccoli Transformer impegnati nell’addizione modulare, mostrando la progressiva formazione di circuiti computazionali fondati su rappresentazioni di Fourier e identità trigonometriche. Gli autori distinguono una fase di memorizzazione, una successiva formazione del circuito e infine una fase di «cleanup», durante la quale le componenti maggiormente associate alla memorizzazione vengono progressivamente eliminate.

La rete può quindi arrivare al risultato di un’operazione applicando una procedura computazionale emersa durante il training, senza che la specifica coppia input-output debba essere stata precedentemente memorizzata. Esperimenti differenti sull’aritmetica mostrano inoltre che language model addestrati mediante next-token prediction possono generalizzare a istanze aritmetiche e combinazioni di input assenti dal training, sviluppando rappresentazioni interne nelle quali ha luogo una vera e propria computazione numerica (Maltoni & Ferrara, 2024).

Comprendere questi sistemi richiede dunque di rivolgere l’attenzione anche a ciò che accade dentro il modello, studiando quali rappresentazioni si formino, quali regolarità vengano catturate e quali procedure siano effettivamente applicate durante l’inferenza. La predizione del token successivo descrive il criterio di addestramento. La spiegazione del comportamento richiede un ulteriore livello di analisi.

Nei contesti sperimentali controllati, reti neurali e Transformer hanno ormai mostrato di poter apprendere schemi astratti e procedure algoritmiche riutilizzabili su input nuovi, fino a esibire, in determinate condizioni, capacità di generalizzazione oltre le lunghezze incontrate durante il training (Zhou et al., 2024). Se si guarda in prospettiva all’aumento della capacità dei modelli e alla crescente possibilità di comporre procedure precedentemente apprese, si intravede quindi uno spazio nel quale un sistema neurale potrebbe acquisire, combinare e applicare una varietà sterminata di algoritmi.

Questa prospettiva aiuta anche a comprendere perché sistemi neurali molto avanzati possano essere impiegati nella ricerca matematica su problemi di eccezionale complessità. Un esempio recentissimo è rappresentato dalla soluzione del problema di esistenza e regolarità delle equazioni di Navier–Stokes annunciata da OpenAI l’8 settembre 2026, che, secondo quanto dichiarato dall’azienda, sarebbe stata prodotta da un proprio sistema interno e accompagnata da una formalizzazione in Lean (OpenAI, 2026). Si tratta di una rivendicazione di enorme rilievo, attualmente sottoposta al vaglio della comunità matematica e da considerare, proprio per questo, con la necessaria prudenza (Castelvecchi, 2026).

P.S. Se una rete apprende effettivamente una regola corretta e la applica correttamente, la validità del risultato non dipende dal fatto che quella particolare risposta fosse presente nei dati di addestramento. Il problema epistemico si sposta allora dalla provenienza mnemonica della risposta alla correttezza della regola appresa e alla correttezza della sua applicazione.

Riferimenti

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? 🦜. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610–623). Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922

Castelvecchi, D. (2026, September 8). OpenAI claims huge maths breakthrough on a famed ‘Millennium Problem’. Nature. https://doi.org/10.1038/d41586-026-02842-5

Maltoni, D., & Ferrara, M. (2024). Arithmetic with language models: From memorization to computation. Neural Networks, 179, 106550. https://doi.org/10.1016/j.neunet.2024.106550

Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress measures for grokking via mechanistic interpretability. In The Eleventh International Conference on Learning Representations. https://openreview.net/forum?id=9XFSbDPmdW

OpenAI. (2026, September 8). On the Navier–Stokes Millennium Prize Problem. OpenAI. https://openai.com/index/navier-stokes-solution/

Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization beyond overfitting on small algorithmic datasets. arXiv. https://doi.org/10.48550/arXiv.2201.02177

Zhou, H., Bradley, A., Littwin, E., Razin, N., Saremi, O., Susskind, J. M., Bengio, S., & Nakkiran, P. (2024). What algorithms can Transformers learn? A study in length generalization. In The Twelfth International Conference on Learning Representations. https://openreview.net/forum?id=RtS4JQ4K0P