AION-Research

  Affermare che un Large Language Model apprende a predire il token successivo è corretto. Una descrizione di questo tipo, tuttavia, rimane largamente insufficiente quando si voglia comprendere che cosa il modello abbia effettivamente appreso e quali strutture computazionali entrino in gioco nel momento in cui produce una risposta. Prima di affrontare questo problema conviene delimitare con precisione il campo del discorso. Oggi un LLM costituisce spesso soltanto una componente di un’infrastruttura computazionale assai più ampia, nella quale possono operare sistemi agentici di orchestrazione, memorie esterne, meccanismi di retrieval, strumenti analitici, codice eseguibile, competenze specializzate e accesso a sorgenti informative esterne. Sono capacità che meritano un’analisi autonoma. Qui, invece, le lasceremo deliberatamente sullo sfondo, per concentrarci su una questione più circoscritta e, da un punto di vista scientifico, particolarmente interessante, ossia ciò che può emerg...

  Perché la predizione del token successivo è diventata molto più potente quando i modelli linguistici hanno iniziato ad apprendere lo spazio nel quale stimare la probabilità   I Large Language Models vengono spesso descritti, correttamente, come sistemi addestrati a predire il token successivo. Una definizione del genere identifica con precisione l’obiettivo dell’addestramento, tuttavia lascia in ombra gran parte di ciò che rende straordinari i moderni modelli linguistici, perché dice assai poco sulla struttura interna che deve emergere affinché quella predizione possa raggiungere l’efficacia che oggi osserviamo. La predizione del token successivo ha radici molto anteriori agli attuali sistemi generativi. La modellazione del linguaggio viene formulata da lungo tempo come un problema probabilistico e, data una sequenza di token x₁, x₂, …, xₜ, la sua probabilità congiunta può essere fattorizzata nella forma p(x₁, …, xₜ) = ∏ᵀₜ₌₁ p(xₜ ∣ x₁, …, xₜ₋₁) Un modello autoregre...

Una delle descrizioni più comuni dei Large Language Models, o LLM, afferma che questi sistemi prevedono il token successivo sulla base di quelli che lo precedono. L’affermazione possiede un significato tecnico preciso. Un modello linguistico autoregressivo viene effettivamente addestrato a stimare una distribuzione di probabilità p(xₜ | x₍<t₎) – ovvero predire la parola successiva partendo da una lunga serie di parole precedenti note, assegnando probabilità differenti ai token che possono proseguire una determinata sequenza. Durante il pre-training, i parametri vengono progressivamente modificati affinché aumenti la probabilità attribuita ai token presenti nei dati. 

  Che cosa accade quando il linguaggio non appare più come un semplice output, ma comincia a sembrare provenire da qualcuno? Questo saggio esplora la noosemia : l’esperienza del segno come segno di mente. Muovendo da Platone e Jung fino ai Large Language Models, si interroga su come il significato possa eccedere il contenuto e iniziare a suggerire una sorgente, un’interiorità, una possibile mente. La proposta centrale è semplice: nell’interazione tra esseri umani e IA, un enunciato può rinviare non solo a **ciò che viene detto**, ma anche a **chi sembra dirlo**. È in questo secondo movimento che comincia la noosemia. «Un’altra coscienza può anche considerare l’espressione matematica come il simbolo di un fatto psichico ignoto, celato nell’intenzione che sta alla base della sua produzione.» — C. G. Jung, Tipi psicologici (1921), Collected Works ,  vol. 6, par. 817; traduzione degli autori dal tedesco. Il 3 settembre 2026 OpenAI ha presentato GPT-6 Astra, un modello che segna u...