La « distillation » est une technique qui consiste à entraîner un modèle d’IA sur les réponses d’un modèle plus puissant pour en reproduire les capacités.