Retour au portfolio
Section 14

Architectures Transformers

Exploration des internals des modèles : construction des mécanismes d’attention multi-tête depuis zéro.

Projets dans cette section: 0

Multi-Head Attention from Scratch
Architectures TransformersGitHub

Multi-Head Attention from Scratch

Construction du mécanisme d'attention, tenseur par tenseur.

Transformer LLM from scratch
Architectures TransformersGitHub

Transformer LLM from scratch

Modèle de langage Transformer complet, construit from scratch.