Oltre il token successivo. Codice di programmazione, strutture inferenziali e organizzazione emergente nei Large Language Models

Una delle descrizioni più comuni dei Large Language Models, o LLM, afferma che questi sistemi prevedono il token successivo sulla base di quelli che lo precedono. L’affermazione possiede un significato tecnico preciso. Un modello linguistico autoregressivo viene effettivamente addestrato a stimare una distribuzione di probabilità p(xₜ | x₍<t₎) – ovvero predire la parola successiva partendo da una lunga serie di parole precedenti note, assegnando probabilità differenti ai token che possono proseguire una determinata sequenza. Durante il pre-training, i parametri vengono progressivamente modificati affinché aumenti la probabilità attribuita ai token presenti nei dati. 

Questa descrizione, pur corretta, lascia aperta una questione più profonda. Una funzione obiettivo stabilisce ciò che il processo di apprendimento deve ottimizzare; le strutture computazionali sviluppate per conseguire quel risultato dipendono invece dall’interazione tra architettura, dati e dinamica dell’ottimizzazione.

La distinzione acquista particolare rilievo quando la previsione di un singolo elemento richiede informazioni distribuite lungo una sequenza estesa. In un programma informatico, il significato di un’espressione può dipendere dallo scope nel quale una variabile è stata definita molte righe prima. In una dimostrazione matematica, una conclusione discende da ipotesi e passaggi intermedi distribuiti lungo l’intera argomentazione. In un testo scientifico, il senso di una frase può derivare da definizioni, assunzioni e conseguenze introdotte nei paragrafi precedenti. Anche una normale conversazione richiede il mantenimento di riferimenti e relazioni semantiche che attraversano una parte considerevole del contesto.

La previsione locale esercita dunque una pressione selettiva verso rappresentazioni sensibili a proprietà che possono estendersi sull’intera sequenza. La semplicità formale dell’obiettivo di training convive con uno spazio di possibili soluzioni computazionali di enorme complessità.

È utile distinguere almeno quattro livelli. Il primo riguarda l’obiettivo attraverso cui viene effettuato l’apprendimento. Il secondo comprende le procedure computazionali sviluppate dal modello. Il terzo concerne le rappresentazioni interne attraverso cui vengono organizzate le regolarità presenti nei dati. Il quarto coincide con il comportamento osservabile durante l’inferenza. La previsione del token successivo descrive il primo livello e vincola quelli successivi, senza esaurirne la spiegazione.

La questione diventa allora più interessante. Quale organizzazione deve acquisire un sistema per raggiungere una simile efficacia predittiva e in quale misura la struttura dei dati di training contribuisce a selezionarla?

Il codice di programmazione offre, da questo punto di vista, un caso particolarmente istruttivo.

Il codice come ambiente ad alta struttura

Un programma informatico e un testo scritto in una lingua naturale possono entrambi essere rappresentati come sequenze di simboli. La densità e la rigidità delle relazioni che governano tali sequenze presentano tuttavia caratteristiche differenti.

I linguaggi di programmazione rendono esplicite numerose dipendenze che nella comunicazione ordinaria possono rimanere sottintese. Le variabili possiedono uno scope, le occorrenze di un identificatore devono rimanere coerenti con la sua definizione, le chiamate di funzione collegano argomenti e risultati, i costrutti condizionali introducono ramificazioni, i cicli descrivono trasformazioni ricorrenti dello stato e le funzioni permettono di comporre procedure elementari in strutture più articolate.

La sequenza lineare dei token incorpora pertanto un’organizzazione che può essere descritta attraverso alberi sintattici, grafi di dipendenza, flussi di controllo e flussi di dati. Un Abstract Syntax Tree, per esempio, rende esplicita una gerarchia che nella stringa originaria appare distribuita lungo una successione lineare.

Consideriamo una stessa relazione elementare espressa in tre forme:

«SE A, ALLORA B»

«Quando la condizione A è verificata, viene eseguita l’operazione B»

«Se A si verifica, ne segue B».

Le superfici simboliche differiscono, mentre una struttura condizionale riconoscibile permane. Nei casi reali le corrispondenze sono naturalmente più complesse e meno nette, ma l’esempio mette in luce il punto essenziale. Un modello esposto a quantità enormi di realizzazioni differenti può trarre vantaggio dalla costruzione di rappresentazioni capaci di conservare alcune regolarità oltre la loro forma superficiale.

Il codice di programmazione costituisce così un ambiente simbolico particolarmente ricco. Annidamento gerarchico, binding, composizione, dipendenze procedurali e condizionalità ricorrono con elevata frequenza e sono sottoposti a vincoli formali più rigidi rispetto a gran parte del linguaggio naturale.

Da qui prende forma l’ipotesi che guiderà il resto dell’articolo. La composizione del corpus potrebbe influenzare le capacità del modello anche attraverso la struttura delle relazioni che rende statisticamente disponibili durante l’apprendimento.

L’ipotesi diventa scientificamente interessante soltanto quando si riesce a separare l’effetto del codice di programmazione da fattori come scala, quantità complessiva dei dati e procedure successive di addestramento. I modelli più capaci nella programmazione sono spesso anche più grandi e addestrati su corpora più vasti, per cui il semplice confronto tra sistemi esistenti offre indicazioni difficili da interpretare causalmente.

Dal codice al ragionamento

Un primo modo per eliminare queste ambiguità consiste nel controllare direttamente la distribuzione di pre-training. Uchiyama e collaboratori hanno seguito precisamente questa strada, addestrando da zero modelli decoder in condizioni comparabili su dieci linguaggi di programmazione e tre corpora di linguaggio naturale. I modelli sono stati successivamente valutati mediante compiti di inferenza logica scelti per ridurre il contributo della conoscenza del mondo. Quasi tutti i sistemi pre-addestrati sui linguaggi di programmazione hanno superato quelli addestrati sui corpora naturali nei compiti considerati, mentre alcune proprietà strutturali dei programmi, tra cui la profondità degli Abstract Syntax Tree, risultano associate alle prestazioni successive (Uchiyama et al., 2024).

Il risultato suggerisce che la natura dei dati possa modificare capacità inferenziali misurate fuori dal dominio di origine. Rimane però da capire se un simile effetto sopravviva in condizioni più vicine alla costruzione reale di un corpus fondazionale, dove codice e linguaggio naturale convivono nella stessa distribuzione.

Le ablation di Aryabumi e collaboratori affrontano questa seconda situazione. Nei modelli studiati, l’introduzione di codice nella miscela di pre-training produce incrementi relativi che raggiungono l’8,2 per cento nei compiti di ragionamento in linguaggio naturale, insieme a effetti misurabili in altri domini. Anche la qualità del codice utilizzato durante l’apprendimento incide sulle prestazioni successive (Aryabumi et al., 2025).

Stabilire che il codice possa produrre un beneficio fuori dominio lascia tuttavia irrisolta una questione ulteriore. Se l’effetto dipendesse semplicemente dall’aumento della ricchezza informativa del corpus, ci si potrebbe attendere un miglioramento relativamente diffuso. Gli esperimenti di Petty, van Steenkiste e Linzen mostrano invece un quadro più selettivo. L’aumento della componente di programmazione favorisce soprattutto compiti matematici, composizionali e caratterizzati da output formalmente strutturati, mentre attività maggiormente dipendenti dalla competenza linguistica o dalla conoscenza del mondo mostrano effetti più deboli, neutri o, in alcuni casi, sfavorevoli (Petty et al., 2025).

La selettività restringe il campo delle possibili spiegazioni. Il codice sembra favorire in misura particolare capacità nelle quali assumono rilievo manipolazione strutturata, composizione e regolarità formali. Diventa quindi naturale chiedersi quale componente del codice renda possibile tale trasferimento.

Gli esperimenti di Liu e collaboratori forniscono un primo indizio. Strutture condizionali espresse mediante codice possono migliorare alcuni compiti di ragionamento causale, con effetti che persistono quando i problemi vengono successivamente formulati in linguaggio naturale (Liu et al., 2025). Una condizione logica e una relazione causale appartengono a categorie differenti; il rilievo dell’esperimento risiede nella possibilità che una struttura simbolica esplicita renda più accessibili relazioni utili anche fuori dal dominio originario.

La questione viene affrontata più direttamente da Waheed e collaboratori attraverso 3.331 esperimenti distribuiti su diverse famiglie e scale di modelli. Gli autori perturbano separatamente componenti strutturali e semantiche del codice e osservano che le alterazioni della struttura producono generalmente danni maggiori, soprattutto nei compiti matematici e di programmazione. Pseudocodice e flowchart possono inoltre conservare una parte sostanziale del beneficio associato al codice eseguibile (Waheed et al., 2026).

Questi ultimi risultati derivano da esperimenti di fine-tuning e appartengono quindi a un regime differente rispetto agli studi sul pre-training. Il loro contributo consiste nel mostrare che il segnale trasferibile non sembra riducibile alla conoscenza di una particolare sintassi di programmazione. Una parte dell’effetto appare legata all’organizzazione delle sequenze e alle relazioni che esse rendono esplicite.

Le evidenze disponibili conducono così a una domanda più generale. Se ciò che viene trasferito oltrepassa la superficie di un linguaggio specifico, il codice potrebbe rappresentare soltanto un caso particolarmente denso di una proprietà più ampia dei dati.

Oltre il codice

Una dimostrazione matematica, un programma informatico, una spiegazione causale e un testo scientifico appartengono a generi differenti. Tutti possono però contenere sequenze nelle quali gli elementi sono collegati da relazioni fortemente organizzate.

Premesse e conclusioni, condizioni e conseguenze, definizioni e applicazioni, dipendenze procedurali e vincoli formali creano strutture che il modello incontra ripetutamente durante l’apprendimento.

Nel linguaggio ordinario molti passaggi inferenziali rimangono impliciti. Gli interlocutori condividono conoscenze che consentono di omettere premesse, ricostruire nessi e affidare al contesto una parte rilevante dell’interpretazione. Nei linguaggi formali e in numerose forme di discorso scientifico le relazioni tendono invece a essere rese più esplicite.

Se questa esplicitazione possiede un valore per l’apprendimento, allora rendere visibili i passaggi normalmente sottintesi dovrebbe modificare le capacità del modello. RATIONALYST verifica precisamente questa possibilità. Jiang e collaboratori osservano che nei corpora naturali molti passaggi intermedi del ragionamento vengono omessi e introducono rationales destinati a esplicitare tali relazioni. Il risultato è un miglioramento delle prestazioni in compiti matematici, scientifici, logici e di ragionamento basato sul senso comune (Jiang et al., 2025).

Una volta riconosciuto il valore della struttura inferenziale esplicita, il problema successivo consiste nel chiedersi se la sua densità possa essere misurata direttamente nel corpus. La Structured Logical Knowledge Density, o SLKD, proposta da Bi e collaboratori affronta precisamente questa possibilità. La misura quantifica la densità di struttura logica nel linguaggio naturale attraverso predicati e primitive inferenziali. Nei loro esperimenti, privilegiare campioni caratterizzati da una maggiore densità logica migliora il ragionamento e la generalizzazione mantenendo invariato il volume complessivo dei dati (Bi et al., 2026).

Questi risultati consentono di formulare un’ipotesi di lavoro più ampia. La SLKD riguarda specificamente la struttura logica del linguaggio naturale. Il caso del codice suggerisce che possano avere rilievo anche gerarchia, binding, composizione, ricorsione, flusso di controllo e dipendenze procedurali.

Possiamo indicare questo insieme di proprietà con l’espressione densità di struttura inferenziale e relazionale. Il termine svolge qui una funzione concettuale e non designa una nuova metrica formalmente definita.

Codice, matematica, logica e testo scientifico possono allora essere collocati in regioni differenti di uno spazio più ampio di strutturazione simbolica. Le superfici rimangono distanti, mentre alcune relazioni astratte ricorrono attraverso domini differenti.

Se molte realizzazioni condividono regolarità simili, la costruzione di rappresentazioni capaci di conservarle può offrire al modello una soluzione riutilizzabile attraverso contesti diversi. In termini molto generali, l’astrazione può essere letta anche come una forma di compressione delle regolarità condivise. Il rapporto tra questa intuizione e il trasferimento specifico tra codice e linguaggio resta, allo stato attuale, una questione aperta.

Fin qui il trasferimento è stato osservato soprattutto dall’esterno, attraverso ciò che il modello riesce a fare dopo essere stato esposto a determinate distribuzioni di dati. Il multilinguismo permette di spostare la domanda all’interno del sistema, perché offre un caso nel quale contenuti semanticamente affini attraversano superfici simboliche differenti.

Dalle lingue agli spazi condivisi

I modelli multilingui incontrano spesso lo stesso contenuto attraverso sistemi lessicali e sintattici differenti. Una proposizione espressa in italiano e la sua traduzione in inglese presentano superfici diverse, pur conservando gran parte della struttura semantica.

Il trasferimento cross-linguale mostra da tempo che i modelli possono utilizzare informazione acquisita attraverso una lingua per operare in un’altra. Il fenomeno dipende da molti fattori e la semplice aggiunta di lingue al corpus non garantisce un miglioramento generale delle prestazioni. Per il problema qui discusso interessa soprattutto la possibilità che contenuti equivalenti convergano verso rappresentazioni interne parzialmente condivise.

La Semantic Hub Hypothesis formulata da Wu e collaboratori offre un’indicazione importante in questa direzione. Nei loro esperimenti, contenuti semanticamente equivalenti provenienti da lingue e modalità differenti tendono a convergere verso regioni rappresentazionali comuni, con un effetto particolarmente evidente negli strati intermedi. La convergenza si estende, con caratteristiche diverse, anche ad aritmetica, codice e altre modalità. Interventi effettuati su queste rappresentazioni producono inoltre effetti prevedibili sugli output, fornendo evidenza del loro coinvolgimento causale nella computazione (Wu et al., 2025).

Il multilinguismo diventa così una sorta di esperimento naturale sull’astrazione dalla superficie simbolica. Se contenuti equivalenti possono essere elaborati attraverso rappresentazioni relativamente condivise nonostante differenze lessicali e sintattiche, diventa plausibile chiedersi se alcune relazioni possano attraversare anche il confine tra linguaggio naturale e linguaggi formali.

Le evidenze disponibili non autorizzano l’idea di uno spazio universale nel quale codice di programmazione e linguaggio vengano rappresentati nello stesso modo. Le rappresentazioni dei Transformer sono distribuite, dipendono dal contesto e vengono continuamente trasformate lungo la profondità della rete.

Anche la nozione di gerarchia richiede cautela. Sapere che una certa informazione può essere estratta da uno strato non equivale a dimostrare che il modello la utilizzi per produrre la risposta. Gli studi di layer-wise probing rendono particolarmente chiara questa distinzione. Jin e collaboratori osservano che informazioni associate a compiti di maggiore complessità nella tassonomia adottata dagli autori diventano spesso più facilmente decodificabili nelle rappresentazioni degli strati profondi (Jin et al., 2025). Il probing mostra quindi la disponibilità dell’informazione; il suo ruolo nella computazione richiede ulteriori verifiche causali.

La profondità di un Transformer va perciò intesa come una traiettoria di trasformazione dello stato rappresentazionale. Alcune proprietà diventano progressivamente accessibili, altre vengono ricodificate e altre ancora possono risultare condivise tra superfici simboliche differenti.

Il trasferimento osservato tra codice di programmazione e linguaggio acquista così un possibile substrato interno. Per trasformare questa plausibilità rappresentazionale in una spiegazione occorre però compiere un passo ulteriore e individuare i meccanismi che utilizzano causalmente tali rappresentazioni.

Dalle rappresentazioni ai meccanismi

Una rappresentazione condivisa, da sola, non costituisce ancora un meccanismo. Per parlare di meccanismo occorre mostrare che una determinata struttura interna partecipa causalmente alla produzione del comportamento osservato.

Gli induction heads studiati da Olsson e collaboratori forniscono uno degli esempi più chiari di questo passaggio. In piccoli Transformer, determinate attention heads sviluppano una funzione interpretabile come procedura algoritmica capace di riconoscere e continuare schemi già incontrati nel contesto. L’ottimizzazione può dunque produrre componenti computazionali alle quali è possibile attribuire una funzione descrivibile a un livello superiore rispetto ai singoli pesi della rete neurale (Olsson et al., 2022).

La ricerca di questi meccanismi incontra tuttavia un ostacolo importante. Le rappresentazioni interne sono fortemente distribuite e una singola unità può contribuire contemporaneamente a proprietà differenti. Cercare il significato nei singoli neuroni rischia quindi di utilizzare un livello descrittivo inadeguato.

Gli Sparse Autoencoders affrontano questo problema cercando caratteristiche latenti più sparse e interpretabili nello spazio delle attivazioni. Huben e collaboratori hanno mostrato che alcune di queste caratteristiche possono essere collegate causalmente a comportamenti osservabili in contesti controllati (Huben et al., 2024). Il passaggio dal neurone alla feature introduce così un livello intermedio che può risultare più vicino alla struttura funzionale effettivamente utilizzata dal modello.

Rimane però necessario stabilire quando una descrizione di alto livello sia davvero fedele alla computazione sottostante. La teoria della causal abstraction proposta da Geiger e collaboratori formalizza precisamente questo problema e riconduce strumenti come activation patching, causal tracing e circuit analysis a una stessa esigenza esplicativa, quella di costruire descrizioni più compatte che preservino le relazioni causali rilevanti del sistema (Geiger et al., 2025).

La possibilità che l’ottimizzazione costruisca veri e propri algoritmi riconoscibili diventa particolarmente evidente nei fenomeni di grokking (fenomeno del machine learning in cui una rete neurale, dopo aver memorizzato i dati di addestramento e apparentemente raggiunto un blocco, sperimenta un improvviso e netto miglioramento nella capacità di generalizzare su dati mai visti prima, a seguito di un addestramento molto prolungato). Nei Transformer addestrati a compiti di counting studiati da Zhao, il passaggio verso una soluzione generalizzante coincide con la formazione di circuiti nei quali attention heads e MLP realizzano operazioni algoritmiche interpretabili. Strutture analoghe vengono rilevate anche in un modello pre-addestrato della famiglia Pythia (Zhao, 2026).

Questa linea di ricerca rende ormai formulabile una domanda che gli studi comportamentali sul codice lasciavano necessariamente aperta. Occorrerebbe identificare una caratteristica latente o un circuito la cui formazione dipenda dall’esposizione al codice e verificare causalmente il suo riutilizzo durante un’inferenza formulata in linguaggio naturale.

La stessa ricerca di feature, circuiti e sottospazi rappresentazionali modifica anche la scala alla quale il modello deve essere descritto. Tutti questi oggetti acquistano significato a un livello differente da quello dei singoli parametri. È precisamente questa distanza tra descrizione microscopica e organizzazione funzionale a rendere pertinente la prospettiva dei sistemi complessi.

Il Transformer come sistema complesso

Un grande Transformer possiede un numero enorme di gradi di libertà e sviluppa proprietà funzionali distribuite tra molte componenti. L’apprendimento e l’inferenza introducono inoltre due dinamiche che operano su scale temporali profondamente differenti.

Durante il training evolve lentamente la configurazione dei parametri

θ₀ → θ₁ → … → θ*

dove θ* indica la configurazione raggiunta al termine dell’apprendimento.

Durante una singola elaborazione i parametri rimangono normalmente fissi, mentre le rappresentazioni interne attraversano rapidamente i layer del modello

h⁽⁰⁾ → h⁽¹⁾ → … → h⁽ᴸ⁾.

La prima dinamica determina la struttura relativamente stabile acquisita dal modello. La seconda realizza la computazione contingente attraverso cui quella struttura elabora un particolare contesto. La generazione autoregressiva introduce un’ulteriore componente dinamica, poiché ogni token prodotto entra nel contesto utilizzato per calcolare quelli successivi.

Emergono così due scale temporali. Una dinamica lenta modifica la struttura appresa durante il training. Una dinamica rapida attraversa le rappresentazioni interne durante ogni inferenza.

La scienza dei sistemi complessi offre un vocabolario particolarmente adatto per studiare sistemi nei quali una descrizione microscopica completa possiede un potere esplicativo limitato rispetto alle proprietà collettive che si intendono comprendere.

Krakauer, Mitchell e Krakauer hanno recentemente proposto di considerare l’emergenza negli LLM attraverso la formazione di variabili efficaci e descrizioni di dimensionalità inferiore rispetto alla configurazione microscopica del sistema (Krakauer et al., 2026). Da questa prospettiva, l’elenco dei miliardi di parametri fornisce una descrizione estremamente dettagliata del modello, mentre circuiti, caratteristiche latenti, geometrie rappresentazionali e procedure algoritmiche possono costituire livelli descrittivi più appropriati per spiegare determinate capacità.

Il parallelo con i sistemi complessi richiede cautela. Un Transformer è un artefatto progettato, sottoposto a vincoli esterni molto forti costituiti dall’architettura, dai dati, dalla funzione di perdita e dall’algoritmo di ottimizzazione. La backpropagation deriva da un obiettivo globale e differisce quindi da molti paradigmi classici nei quali strutture macroscopiche si formano prevalentemente attraverso interazioni locali.

Per descrivere il fenomeno adotteremo l’espressione organizzazione emergente indotta dall’ottimizzazione.

Durante il training, il progettista stabilisce le condizioni entro le quali avviene l’apprendimento, mentre le strutture funzionali che verranno successivamente osservate non vengono assegnate individualmente alle componenti della rete. Una attention head non viene progettata affinché diventi un induction head. Una particolare direzione dello spazio delle attivazioni non viene assegnata in anticipo a una determinata proprietà semantica. Un circuito algoritmico come quelli osservati nei compiti controllati prende forma attraverso l’evoluzione collettiva dei parametri sotto i vincoli del training.

Questa forma di organizzazione presenta affinità con il concetto di auto-organizzazione utilizzato nella scienza della complessità, pur svolgendosi in un sistema fortemente guidato dall’ottimizzazione. Il richiamo alla self-organization acquista pertanto valore quando viene impiegato per interrogare la formazione di ordine funzionale e di livelli collettivi, evitando di trasformarlo in un semplice sinonimo di apprendimento.

Resta tuttavia da chiarire in quale senso una simile organizzazione possa essere definita emergente, poiché lo stesso termine ha acquisito nella letteratura sugli LLM un significato differente e spesso più ristretto.

Emergenza organizzativa

Nel dibattito sugli LLM, «emergenza» ha spesso indicato capacità comportamentali che sembravano comparire improvvisamente con l’aumento della scala. Wei e collaboratori hanno reso popolare questa accezione, mentre Schaeffer, Miranda e Koyejo hanno successivamente mostrato che alcune apparenti discontinuità dipendono dalle metriche adottate e possono assumere un andamento più graduale quando vengono utilizzate misure continue (Wei et al., 2022; Schaeffer et al., 2023).

L’accezione che interessa qui riguarda invece l’organizzazione interna del sistema. Una caratteristica latente, un circuito o una geometria rappresentazionale possono acquisire un ruolo esplicativo a un livello superiore rispetto ai singoli parametri, anche quando la prestazione osservata cresce in maniera continua.

Il grokking rende particolarmente visibile questa possibilità. DeMoss e collaboratori hanno studiato reti che attraversano una transizione dalla memorizzazione verso soluzioni più semplici e generalizzanti, osservando una diminuzione della complessità, secondo la misura introdotta dagli autori, durante il passaggio verso il regime generalizzante (DeMoss et al., 2025). Il caso del counting discusso in precedenza mostra inoltre che una transizione generalizzante può coincidere con la formazione di un circuito algoritmico interpretabile.

I risultati riguardano sistemi controllati e non consentono di ricondurre l’intero ragionamento dei grandi modelli a una singola transizione di fase. Il loro interesse risiede nella possibilità di studiare apprendimento, generalizzazione, complessità e riorganizzazione funzionale come aspetti connessi dello stesso problema.

La next-token prediction descrive la pressione selettiva esercitata durante il training. La struttura organizzativa che si forma per soddisfarla costituisce un ulteriore oggetto scientifico.

Finora questo oggetto è stato osservato dal lato del sistema che produce i segni. Nell’interazione entra però in gioco un secondo livello di organizzazione, costituito dall’essere umano che quei segni riceve e interpreta.

Dalla complessità del modello all’esperienza del segno

L’utente non osserva direttamente parametri, circuiti o spazi latenti. Incontra sequenze linguistiche che possono manifestare continuità semantica, concatenazioni inferenziali, analogie, revisioni, adattamento al contesto e trasferimento tra domini.

Nell’esperienza ordinaria della comunicazione, proprietà di questo genere vengono frequentemente associate all’attività mentale di un interlocutore.

De Santis e Rizzi hanno introdotto la noosemia (dal greco noûs, νοῦς, «mente» o «intelletto», e sēmeîon, σημεῖον, «segno») come configurazione cognitiva e fenomenologica nella quale l’interazione con un sistema generativo induce l’attribuzione di stati mentali, intenzionalità, agency o di una forma di interiorità al sistema stesso. In forma sintetica, il fenomeno può essere descritto come «l’esperienza del segno come segno di mente» (De Santis & Rizzi, 2025).

La formulazione riguarda l’esperienza e l’attribuzione dell’interprete e mantiene distinta la questione relativa allo statuto ontologico del sistema che ha prodotto il segno. L’etimologia rende visibile precisamente questa relazione. Noûs rimanda alla mente e all’intelletto; sēmeîon designa il segno inteso come traccia o indicazione da interpretare. La noosemia riguarda così il processo attraverso cui il segno viene esperito come indizio di una realtà mentale che rimane inferita e non direttamente accessibile.

Il collegamento con il percorso tecnico sviluppato nelle sezioni precedenti può essere rappresentato attraverso uno schema euristico

D → S(D) → Z → C → Y → 𝒩.

D indica i dati di training. S(D) rappresenta le strutture presenti nei dati. Z designa l’organizzazione rappresentazionale sviluppata attraverso l’apprendimento. C raccoglie le capacità computazionali sostenute da tale organizzazione. Y corrisponde al comportamento simbolico osservabile. 𝒩 rappresenta infine l’esperienza noosemica.

Lo schema distingue livelli di spiegazione e ciascun passaggio racchiude dinamiche molto più articolate di quanto la rappresentazione lineare possa suggerire.

La noosemia interviene nell’ultimo tratto della catena. La complexity science e la mechanistic interpretability interrogano l’organizzazione del sistema che genera i segni, mentre la noosemia riguarda ciò che accade quando quei segni entrano nello spazio umano dell’interpretazione.

Da questa prospettiva emerge un’ipotesi ulteriore. Proprietà comportamentali quali consequenzialità, stabilità contestuale, trasferimento concettuale e capacità di costruire relazioni possono rafforzare le condizioni nelle quali l’output viene esperito come manifestazione di attività mentale. Si tratta di un’ipotesi relativa all’esperienza dell’interazione e richiede strumenti di verifica distinti da quelli impiegati nello studio dell’architettura.

La separazione tra i due piani consente di riconoscere la ricchezza dell’organizzazione computazionale e, nello stesso tempo, di mantenere aperta la questione relativa allo statuto mentale del sistema.

Oltre il token successivo

Le evidenze raccolte convergono verso un quadro nel quale l’esposizione a dati fortemente strutturati può influenzare alcune capacità inferenziali, mentre le rappresentazioni e i circuiti interni mostrano che tali capacità possono poggiare su forme di organizzazione più astratte della superficie simbolica dalla quale sono state apprese.

Rimane aperto il collegamento meccanicistico più importante. Una struttura appresa attraverso il codice viene effettivamente riutilizzata, mediante gli stessi meccanismi interni, durante una catena inferenziale formulata in linguaggio naturale?

Una risposta positiva fornirebbe un sostegno molto più forte all’idea che alcuni aspetti del ragionamento degli LLM derivino dalla capacità di astrarre regolarità relazionali presenti in domini simbolici differenti. Una risposta negativa sarebbe altrettanto informativa, poiché mostrerebbe che trasferimenti comportamentali simili possono essere prodotti da organizzazioni interne differenti.

In entrambi i casi, la descrizione del next-token prediction rimane il punto di partenza di un problema scientifico più ampio.

La questione più profonda riguarda, allora, quali strutture un sistema debba aver appreso per prevedere così bene, come vengano organizzate quelle strutture e che cosa accade quando il loro risultato diventa, per un essere umano, un segno che sembra provenire da una mente.

 

Riferimenti bibliografici

Aryabumi, V., Su, Y., Ma, R., Morisot, A., Zhang, I., Locatelli, A., Fadaee, M., Üstün, A., & Hooker, S. (2025). To code, or not to code? Exploring impact of code in pre-training. International Conference on Learning Representations.

Bi, Z., Hu, Z., Chen, X., Chen, M., Deng, C., Xue, Y., Wang, Z., Shen, Q., Zhang, N., & Lou, J. (2026). Logical structure as knowledge: Enhancing LLM reasoning via structured logical knowledge density estimation. Findings of the Association for Computational Linguistics: ACL 2026, 8978–8999. DOI 10.18653/v1/2026.findings-acl.436.

De Santis, E., & Rizzi, A. (2025). Noosemia: Toward a cognitive and phenomenological account of intentionality attribution in human–generative AI interaction [Preprint]. arXiv. DOI 10.48550/arXiv.2508.02622.

DeMoss, B., Sapora, S., Foerster, J., Hawes, N., & Posner, I. (2025). The complexity dynamics of grokking. Physica D: Nonlinear Phenomena, 482, 134859. DOI 10.1016/j.physd.2025.134859.

Geiger, A., Ibeling, D., Zur, A., Chaudhary, M., Chauhan, S., Huang, J., Arora, A., Wu, Z., Goodman, N., Potts, C., & Icard, T. (2025). Causal abstraction: A theoretical foundation for mechanistic interpretability. Journal of Machine Learning Research, 26(83), 1–64.

Huben, R., Cunningham, H., Smith, L. R., Ewart, A., & Sharkey, L. (2024). Sparse autoencoders find highly interpretable features in language models. International Conference on Learning Representations.

Jiang, D., Wang, G., Lu, Y., Wang, A., Zhang, J., Liu, C., Van Durme, B., & Khashabi, D. (2025). RATIONALYST: Pre-training process-supervision for improving reasoning. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics, 26547–26566. DOI 10.18653/v1/2025.acl-long.1288.

Jin, M., Yu, Q., Huang, J., Zeng, Q., Wang, Z., Hua, W., Zhao, H., Mei, K., Meng, Y., Ding, K., Yang, F., Du, M., & Zhang, Y. (2025). Exploring concept depth: How large language models acquire knowledge and concept at different layers? Proceedings of the 31st International Conference on Computational Linguistics, 558–573.

Krakauer, D. C., Mitchell, M., & Krakauer, J. W. (2026). Large language models and emergence: A complex systems perspective. Philosophical Transactions of the Royal Society A, 384(2320), 20250014. DOI 10.1098/rsta.2025.0014.

Liu, X., Yin, D., Zhang, C., Zhao, D., & Feng, Y. (2025). Eliciting and improving the causal reasoning abilities of large language models with conditional statements. Computational Linguistics, 51, 467–504. DOI 10.1162/coli_a_00548.

Olsson, C., Elhage, N., Nanda, N., Joseph, N., DasSarma, N., Henighan, T., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., Drain, D., Ganguli, D., Hatfield-Dodds, Z., Hernandez, D., Johnston, S., Jones, A., Kernion, J., Lovitt, L., … Olah, C. (2022). In-context learning and induction heads [Preprint]. arXiv. DOI 10.48550/arXiv.2209.11895.

Petty, J., van Steenkiste, S., & Linzen, T. (2025). How does code pretraining affect language model task performance? Transactions on Machine Learning Research.

Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are emergent abilities of large language models a mirage? Advances in Neural Information Processing Systems, 36, 55565–55581. DOI 10.52202/075280-2425.

Uchiyama, F., Kojima, T., Gambardella, A., Cao, Q., Iwasawa, Y., & Matsuo, Y. (2024). Which programming language and what features at pre-training stage affect downstream logical inference performance? Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 18139–18149. DOI 10.18653/v1/2024.emnlp-main.1008.

Waheed, A., Wu, Z., Rose, C., & Ippolito, D. (2026). On code-induced reasoning in LLMs. International Conference on Learning Representations.

Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent abilities of large language models. Transactions on Machine Learning Research.

Wu, Z., Yu, X., Yogatama, D., Lu, J., & Kim, Y. (2025). The semantic hub hypothesis: Language models share semantic representations across languages and modalities. International Conference on Learning Representations.

Zhao, Y. (2026). Do transformers grok succinct algorithms? Mechanistic evidence for counting circuits. Findings of the Association for Computational Linguistics: ACL 2026, 26114–26130. DOI 10.18653/v1/2026.findings-acl.1301.