Réglage fin des LLM multimodaux : l' » oubli  » serait un biais temporaire, pas une perte définitive

Une étude récente de l’université de l’Illinois à Urbana-Champaign remet en question l’idée que les grands modèles de langage multimodaux  » oublient  » définitivement des compétences lors du réglage fin. En ne réentraînant que certaines couches spécifiques – notamment les couches de projection d’auto-attention (Self-Attention Projection, SA Proj) et certains blocs MLP – les chercheurs montrent qu’il est possible d’ajouter des capacités sans effacer les anciennes, en réduisant les coûts et en améliorant la stabilité.

Méthode et expérimentations

Les auteurs ont évalué leur approche sur plusieurs grands modèles multimodaux, dont LLaVA et Qwen2.5-VL. Plutôt que de réentraîner l’intégralité des modèles, ils ont affiné uniquement des sous-ensembles de couches sélectionnées, puis mesuré trois éléments : les gains d’apprentissage sur la tâche ciblée, la stabilité du modèle et la préservation des connaissances mesurées sur des benchmarks externes.

Les modèles ont été entraînés sur cinq tâches cibles :

• classification fine d’espèces d’oiseaux,
• comptage d’objets dans une image,
• réponses à des questions visuelles médicales,
• lecture OCR,
• lecture de l’heure sur des images.

La performance a ensuite été contrôlée sur plusieurs benchmarks standard qui n’avaient pas été utilisés pendant l’affinage afin de mesurer d’éventuelles pertes de compétence.

Principales conclusions

Deux résultats ressortent de ces expériences :

• Le réglage limité aux couches SA Proj permet d’apprendre de nouvelles tâches avec peu ou pas d’oubli mesurable des capacités précédentes.
• Ce qui semblait être un oubli après un réglage fin était souvent réversible : les performances dégradées réapparaissaient lors d’entraînements ultérieurs sur d’autres tâches spécialisées.

Les chercheurs proposent une explication : au lieu d’une perte de concepts, le réglage fin induirait un biais dans la distribution des tokens de sortie – un déplacement d’attribution des tâches. Une analyse approfondie menée pendant la tâche de comptage montre que :

• le réglage des blocs MLP augmente la précision sur la tâche cible mais tend à accroître la probabilité de générer certains tokens, corrélée à une baisse de précision sur les tâches conservées ;
• le réglage de l’auto-attention atteint l’apprentissage cible sans produire ce même biais vers des tokens spécifiques et sans perte notable de précision sur les tâches précédentes.

Une analyse  » Layer-Wise Residual-to-Logit (ResLogit)  » montre que la plupart des changements observés sont écrits par les blocs MLP tardifs plutôt que par les modules d’auto-attention, soutenant l’hypothèse d’une dérive de distribution des tokens plutôt que d’une disparition de concepts.

Conséquences pour les entreprises et limites

Ces résultats ont des implications pratiques : le réentraînement partiel, ciblé sur certaines couches, pourrait réduire les coûts et le temps nécessaires pour mettre à jour des modèles multimodaux, limitant l’impact sur les performances déjà établies. Dans le contexte industriel, cela signifie des mises à jour plus fréquentes et moins disruptives.

Des analystes du secteur interrogés soulignent toutefois la nécessité d’une validation plus large. Faisal Kawoosa (Techarc) voit dans cette approche une réponse possible au problème de  » l’oubli catastrophique « , mais rappelle que des tests supplémentaires seront nécessaires pour confirmer robustesse et généralisabilité. Sanchit Vir Gogia (Greyhound Research) insiste sur l’importance de processus et de gouvernance solides : pour que le  » recyclage partiel  » fonctionne à grande échelle, il faudra des bonnes pratiques de contrôle des versions, de monitoring et de reproductibilité.

Ce qu’il reste à faire

Les chercheurs recommandent plusieurs axes pour confirmer et exploiter ces résultats :

• tests supplémentaires sur d’autres architectures et jeux de données ;
• évaluations en conditions opérationnelles variées pour mesurer la robustesse ;
• élaboration de workflows industriels incluant contrôle de versions, monitoring des dérives de distribution des tokens et outils de reproductibilité.

En somme, l’étude propose une lecture moins alarmiste du phénomène d' » oubli  » après réglage fin : plutôt qu’une perte permanente de compétences, il s’agirait souvent d’un biais temporaire de sortie. Cette distinction peut orienter des stratégies de maintenance plus légères et moins coûteuses, à condition de procéder à des validations et d’installer des garde-fous opérationnels.