AION-Research

Dall'effetto ELIZA agli LLM, il confine mobile fra comprensione, attribuzione di mente e disincanto L'enigma di una risposta Che cosa occorre per riconoscere una manifestazione di intelligenza? La domanda accompagna da decenni le scienze cognitive e assume un significato particolare quando la sorgente del comportamento osservato è una macchina. Una risposta pertinente, un'analogia inattesa o la soluzione di un problema possono suggerire l'esistenza di una comprensione che non siamo in grado di osservare direttamente. È una circostanza familiare nelle relazioni fra esseri umani, dove ciò che gli altri dicono e fanno costituisce il principale accesso alla loro vita mentale. L'intelligenza artificiale generativa ha introdotto in questa esperienza sorgenti artificiali capaci di produrre manifestazioni linguistiche sempre più articolate, rendendo nuovamente attuali alcune delle questioni più profonde della filosofia della mente. Douglas Hofstadter è uno degli studiosi ch...

  Affermare che un Large Language Model apprende a predire il token successivo è corretto. Una descrizione di questo tipo, tuttavia, rimane largamente insufficiente quando si voglia comprendere che cosa il modello abbia effettivamente appreso e quali strutture computazionali entrino in gioco nel momento in cui produce una risposta. Prima di affrontare questo problema conviene delimitare con precisione il campo del discorso. Oggi un LLM costituisce spesso soltanto una componente di un’infrastruttura computazionale assai più ampia, nella quale possono operare sistemi agentici di orchestrazione, memorie esterne, meccanismi di retrieval, strumenti analitici, codice eseguibile, competenze specializzate e accesso a sorgenti informative esterne. Sono capacità che meritano un’analisi autonoma. Qui, invece, le lasceremo deliberatamente sullo sfondo, per concentrarci su una questione più circoscritta e, da un punto di vista scientifico, particolarmente interessante, ossia ciò che può emerg...

  Perché la predizione del token successivo è diventata molto più potente quando i modelli linguistici hanno iniziato ad apprendere lo spazio nel quale stimare la probabilità   I Large Language Models vengono spesso descritti, correttamente, come sistemi addestrati a predire il token successivo. Una definizione del genere identifica con precisione l’obiettivo dell’addestramento, tuttavia lascia in ombra gran parte di ciò che rende straordinari i moderni modelli linguistici, perché dice assai poco sulla struttura interna che deve emergere affinché quella predizione possa raggiungere l’efficacia che oggi osserviamo. La predizione del token successivo ha radici molto anteriori agli attuali sistemi generativi. La modellazione del linguaggio viene formulata da lungo tempo come un problema probabilistico e, data una sequenza di token x₁, x₂, …, xₜ, la sua probabilità congiunta può essere fattorizzata nella forma p(x₁, …, xₜ) = ∏ᵀₜ₌₁ p(xₜ ∣ x₁, …, xₜ₋₁) Un modello autoregre...