Area scientifica Secondaria di secondo grado

LLM ed embedding

a cura di Curvilinea, cooperativa attiva nella divulgazione della matematica.

ChatGpt e Gemini, per esempio, sono tra gli strumenti che rientrano in quella che viene comunemente chiamata “Intelligenza Artificiale”. Si tratta, in modo più preciso, dei Large Language Model: modelli avanzati di elaborazione del linguaggio naturale, in grado di comprendere e generare testo complesso. Ma come fa un LLM a “ricordare”? E come fa un LLM ad associare concetti “simili”? Questo problema è strettamente collegato con due nozioni relativamente basilari di matematica: gli spazi vettoriali e il concetto di distanza. Questi concetti di “memoria”, o, in termine tecnico, “embedding” sono rappresentazioni numeriche di parole in uno spazio vettoriale. La distanza tra questi vettori rappresenta la relazione semantica: parole simili hanno embedding più vicini.

Elementi correlati