La quantizzazione in un LLM (Large Language Model) è una tecnica di ottimizzazione che riduce la precisione dei numeri utilizzati per rappresentare i parametri del modello (pesi e attivazioni), allo scopo di diminuire la dimensione del modello e migliorare l’efficienza computazionale senza sacrificare eccessivamente le prestazioni. A cosa serve? Tipi di quantizzazione Esempio pratico Svantaggi […]
