Ok, alors première chose que j'aime faire c'est comprendre la signification du mot "vecteur".
Dans le dictionnaire Le Robert je retrouve 4 définitions :
-
Mathématiques : Segment de droite orienté, formant un être mathématique sur lequel on peut effectuer des opérations. Grandeur, direction, sens d'un vecteur.
-
Médecine : Organisme (spécialement insecte) susceptible de transmettre un agent infectieux d'un sujet à un autre.
-
Chose ou personne qui sert d'intermédiaire.
-
Militaire : Aéronef, engin capable de transporter une charge nucléaire.
Une chose qu'on retrouve dans ces définitions c'est la notion de mouvement et de direction (transmettre, transporter, direction, sens, intermédiaire entre 2 personnes). J'en déduis qu'un vecteur est un objet qui exprime/décrit un mouvement, et comme le dit la définition mathématique on peut à partir de cet objet effectuer des opérations avec. J'ai l'idée que c'est un moyen de normaliser des informations qui décrivent un mouvement pour pouvoir effectuer des opérations entre elles.
Quand je parle de "mouvement", on s'imagine instinctivement un mouvement physique, car on se souvient des flèches sur nos plans en 2D en cours de physique ou de maths. Mais la notion de "mouvement" peut s'inscrire dans des choses qu'on peut moins représenter visuellement, parfois on parle de "mouvement politique" ou de "mouvement culturel".
Je parle beaucoup de cette notion de "mouvement" mais dans la définition mathématique on parle de direction et de sens. Parfois j'imagine des calculs un peu naïfs : Direction + Sens = Mouvement. On en vient à se demander qu'est-ce qu'une direction et qu'est-ce qu'un sens. Alors je vais imaginer des questions que je pourrais me poser pour me représenter ce que signifient ces deux mots pour moi.
Dans le contexte où je marche dans une ville. La direction serait une rue et le sens serait la manière dont je me déplace dans la rue (je la remonte ou je la descends ?). Il manque une notion que la définition mathématique nous donne qu'on pourrait ajouter c'est la grandeur qui viendrait ici exprimer la vitesse du mouvement peut-être ?
Tout ça rappelle énormément la représentation qu'on a l'habitude de se faire en physique encore une fois avec cette fameuse flèche qu'on connaît tous. Mais j'aimerais garder en tête qu'un vecteur pourrait être représenté complètement différemment, d'une manière non visuelle.
En cherchant sur wikipédia je suis tombé sur ça :
Le mot « vecteur » (du latin vector, dérivé du latin vehere, signifiant « transporter »)
Donc il y a quand même une grande notion de transporter que j'ai du mal à intégrer complètement à cette idée de description de mouvement. On a la notion de mouvement dans "transporter" qui s'inscrit correctement mais il y a aussi l'idée de "porter" en plus que je ne peux pas exprimer juste avec la notion de mouvement.
Je pense que cette expérience de compréhension par les mots et les définitions permet déjà d'attribuer une place dans notre esprit pour cette notion de vecteur. Mais il va falloir évoluer vers une rigueur mathématique si on veut réellement comprendre le concept.
Je sors un petit peu du cadre de l'article mais la réflexion qu'on a eue jusqu'ici me laisse entrevoir peut-être les limites de ce que peut faire un LLM avec cette idée que tout ne peut pas être décrit avec des mots et de la sémantique et que la compréhension par des mécanismes de représentation diverses est nécessaire pour approfondir certains sujets et maîtriser des concepts. Cela vient automatiquement susciter certaines questions :
Est-ce que l'être humain apprend et maîtrise des concepts avec le langage ? (J'imagine que oui. Ex : on place un mot dans différents contextes et on isole la partie du concept qu'on retrouve à chaque fois)
Est-ce qu'on utilise uniquement le même langage pour apprendre ? (Spoiler non, ça me paraît impossible, il y a le langage visuel par exemple en plus de celui qu'on utilise pour communiquer. J'imagine qu'il y a tout un type de langage, un par sens qu'on possède mais aussi par émotions, sentiments peut-être ? Dans l'idée qu'un concept peut faire ressentir la même chose dans 2 contextes différents)
Est-ce qu'un être humain a quelque chose en plus qui lui permet d'appréhender des concepts que les langages divers qu'on possède ? (En gros : est-ce que les briques élémentaires d'un LLM dans une configuration quelconque permettraient l'apprentissage de concepts comme pour un être humain ?)
Je pense que pour toutes ces questions certains chercheurs devraient avoir une idée de la réponse à cette dernière question. Je pense à Yann LeCun par exemple.
Bon il est temps maintenant de passer aux choses sérieuses et d'établir un peu plus de rigueur mathématique autour des vecteurs. Alors on va se chercher un café et on y va.