Source : [[State of AI]] MOC : [[INTELLIGENCE ARTIFICIELLE]] Auteur : [[Nathan Benaich]] - [[Alex Chalmers]] Date : 2025-01-28 *** Utiliser un "gros" modèle large pour affiner et synthétiser la data et entraîner un modèle plus compact en conservant la performance. On commence à voir des modèles suffisamment compacts pour tourner sur des smartphones. De même, on commence à tâtonner sur les trade-offs entre précision pour gain de performance. Suivre: ReFT (Representation Fine-tuning) En revanche, la data synthétisée est un peu alarmante, car un taux d'erreur initial légèrement plus élevé pourrait entraîner des erreurs composées. Il faut trouver le tipping point (masse critique) ?