Nel’ambito dei Large Language Models (LLM) come GPT-4, il “contesto” si riferisce alle informazioni che il modello tiene a mente durante una conversazione o un task per generare risposte coerenti e pertinenti.
Cosa include il contesto?
- Prompt iniziale e messaggi precedenti:
- In una chat, il contesto è costituito dalla storia della conversazione, inclusi i tuoi input precedenti e le risposte del modello.
- Ad esempio, se chiedi: “Chi è il presidente della Francia?” e poi “Quanti anni ha?”, il modello usa il contesto per capire che “lui” si riferisce al presidente francese.
- Finestra di contesto (context window)
- Gli LLM hanno un limite massimo di token (parole/caratteri) che possono elaborare in una singola sessione.
- Ad esempio, GPT-4 può gestire fino a 128K token in alcuni modelli avanzati, mentre versioni precedenti avevano limiti inferiori (es. 8K o 32K).
- Memoria a breve termine
- I modelli non hanno memoria permanente tra sessioni (a meno di salvataggi esterni), quindi il contesto si “resetta” quando la conversazione finisce.
Perché è importante?
- Coerenza: Senza contesto, ogni risposta sarebbe isolata e priva di legami con le domande precedenti.
- Precisione: Più informazioni rilevanti sono nel contesto, più accurata sarà la risposta.
- Efficienza: Riduce la necessità di ripetere informazioni già fornite.
Esempio pratico
🔹 Utente: “Chi ha scritto ‘1984’?”
🔹 LLM: “George Orwell.”
🔹 Utente: “In che anno è nato?”
🔹 LLM (grazie al contesto): “George Orwell è nato nel 1903.”
Se il contesto venisse perso, la seconda risposta sarebbe impossibile o richiederebbe una ripetizione (“Chi è George Orwell?”).
Limitazioni
- Se la conversazione supera la finestra di contesto, le informazioni più vecchie vengono “dimenticate”.
- Alcuni sistemi (es. ChatGPT) possono usare riassunti o memoria esterna per estendere il contesto.
