Je suis dev. Pas ML engineer. Et j'en ai marre d'utiliser des outils que je ne comprends pas complètement. Alors je vais apprendre à coder un Large Language Model. De A à Z. En public.
La Roadmap
Phase 1 - Les maths :
- Algèbre linéaire : matrices, vecteurs
- Calcul différentiel : dérivées, gradients
- Probas : distributions, moyennes
Phase 2 - ML basics :
- Réseaux de neurones simples
- Backpropagation et optimisation
- Loss functions
Phase 3 - Architecture Transformer :
- Tokenization et embeddings
- Positional encoding
- Attention mechanism
- Assemblage final
Phase 4 - Entraînement :
- Optimisation pratique
- Métriques et debugging
- Génération de texte
Voici la roadmap que j'ai écrite avec un LLM. J'imagine qu'elle n'est pas encore complète mais je pense que c'est déjà un bon point de départ pour savoir où on va.
La première étape est donc pour moi de comprendre les concepts mathématiques derrière un LLM. Je veux tout décortiquer et revenir aux briques élémentaires qui composent un LLM.
Alors on peux directement commencer avec les vecteurs dans le prochain article