MOC: [[Intelligence artificielle]] Date : 2025-03-24 Auteur: [[Cathy O'Neil]] Tags: #livre Note : *** ## L'idéologie de la réation de modèles Pour créer un modèle, on commence par choisir quoi y inclure. Un modèle biaisé reflète donc les jugement, choix et critères prioritaires de ses créateurs. Entraîner un modèle est donc un acte hautement idéologique, car de sa création jusqu'au jugement de sa performance, tout est subjectif. Un modèle (eg : récidive criminelle) fortement biaisé peut par exemple être raciste, et générer une boucle de renforcement désastreuse. C'est finalement similaire au fonctionnement des biais et à prioris chez les humains : à une échelle primaire, c'est comme ça que le racisme existe... ## Les WMD... Les WMD sont les "Weapons of Math Destruction" comme Cathy O'Neil les appelle. Ce sont des algorithmes, applications et modèles basés sur la data et surtout les maths, qui peuvent entraîner des conséquences désastreuses. Ces WMD partagent trois facteurs : - Opacité - ce sont des boîtes noires et il est difficile de comprendre leur fonctionnement - Scale - ces armes (ou moteurs de prédiction) se répandent à grande échelle et affectent une grande partie de la population - Dommages - en cas de biais ou de mauvaise utilisation, les WMD peuvent causer des dommages graves au monde et à la société ## ... Et les boucles de rétroaction Les WMD créent des spirales infernales où le modèle se retrouve à confirmer ses propres prédictions. Par exemple, quelqu'un considéré comme "à risque" sera plus surveillé, donc plus susceptible d'être pris en faute, ce qui renforce l'idée qu'il était effectivement "à risque". Ce cercle vicieux transforme les prédictions en prophéties auto-réalisatrices. ## L'échec des mécanismes correctifs Contrairement aux "bons modèles" qui apprennent de leurs erreurs, les WMD manquent cruellement de systèmes d'ajustement. Ils continuent simplement à perpétuer leurs erreurs sans s'améliorer, car personne ne les remet en question et leurs impacts réels ne sont pas mesurés. ## Le problème des proxies Les WMD utilisent des raccourcis mathématiques (proxies) souvent bancals. Au lieu de mesurer directement ce qui compte vraiment, ils se rabattent sur des approximations comme utiliser le code postal pour deviner la race, ou les scores de crédit pour juger de la fiabilité d'un employé. Ces substitutions créent des injustices systémiques. ## Applications concrètes et dérives Dans l'éducation, l'emploi, la justice, le crédit et la publicité, les WMD s'immiscent partout. Les enseignants sont évalués par des formules obscures, les CV sont filtrés par des algorithmes biaisés, les juges s'appuient sur des scores de récidive mathématiquement biaisés, les assureurs pénalisent les plus vulnérables, et les publicitaires exploitent algorithmiquement nos faiblesses. ## Vers des solutions Pour éviter ces dérives, O'Neil suggère de revenir à des principes simples mais cruciaux: exiger de la transparence dans les codes et les formules, instaurer un droit de contestation des décisions algorithmiques, mettre en place des audits réguliers pour débusquer les biais, et surtout, responsabiliser les créateurs de modèles en les poussant à adopter une sorte de serment d'Hippocrate. ## Le message fondamental La mathématisation à outrance de nos systèmes sociaux n'est pas une fatalité. C'est finalement un choix politique et éthique que nous faisons collectivement. Nous pouvons et devons décider où les algorithmes sont pertinents et où l'humain doit garder la main, en privilégiant l'équité plutôt que l'optimisation aveugle.