29 octobre 2026

Qui répond d'une décision de modération automatique

Un classifieur retire une publication. Ou met un compte en sourdine, ou masque un message, ou supprime une vidéo. Personne ne l'a choisi : un seuil a été franchi. Multipliez cela par le volume que produit n'importe quelle grande communauté en une soirée et vous obtenez des milliers de petites décisions par jour que personne n'a prises et dont tout le monde est responsable.

La question intéressante n'est pas de savoir si le modèle est précis. C'est ce qui se passe le jour où quelqu'un demande pourquoi.

Les deux erreurs ne sont pas symétriques

Tout système de modération échange une erreur contre une autre. Montez le seuil et le contenu nuisible reste visible plus longtemps. Baissez-le et vous emportez des gens qui n'ont rien fait.

Les deux sont mauvais, mais pas de la même manière, et la différence compte quand on règle le curseur. Le contenu nuisible qui passe nuit aux personnes qui y sont exposées, et la plateforme l'apprend généralement par les signalements : il y a un canal, et le dommage est visible. Un faux positif nuit à une seule personne, en silence, et la plateforme ne l'apprend souvent jamais, parce que la plupart des gens mis en sourdine à tort ne font pas de recours. Ils concluent que l'endroit est arbitraire et vont ailleurs.

Ce qui signifie que la métrique qui rassure tout le monde — la précision sur un jeu de test étiqueté — ne dit presque rien du second type de dommage. Le chiffre qui compte est celui que personne ne collecte par défaut : parmi les décisions que personne n'a contestées, combien étaient fausses ?

Quatre cas documentés

Rien de tout cela n'est théorique. Ces quatre cas sont publics, datés, et racontés par ceux qui les ont subis ou provoqués.

YouTube, printemps 2020. Les réviseurs humains étant chez eux à cause de la pandémie, YouTube a laissé ses classificateurs automatiques retirer des vidéos sans confirmation humaine, en acceptant explicitement qu'ils pécheraient par excès. Au trimestre d'avril à juin, il a retiré environ 11,4 millions de vidéos, le double de la normale. Les recours sont passés de 166 000 à 325 000, et les vidéos rétablies de 41 000 à 161 000 : la moitié de ceux qui ont fait appel avaient raison, contre un quart le trimestre précédent. L'entreprise l'explique elle-même sur son blog officiel. Notez le détail : moins de 3 % des retraits ont fait l'objet d'un recours. Les autres erreurs, on ne les connaîtra jamais.

Instagram, octobre 2020. Une utilisatrice brésilienne a publié huit photographies de symptômes du cancer du sein, avec un texte explicatif, pendant le mois de sensibilisation. Un système automatique l'a retirée pour nudité. Les règles de la plateforme prévoyaient déjà une exception explicite pour la sensibilisation au cancer du sein, mais le classificateur ne l'a pas appliquée et aucune personne n'est intervenue. Meta n'a rétabli la publication que lorsque l'Oversight Board a sélectionné le cas, en décembre : la campagne était terminée. La décision du Board (affaire 2020-004-IG-UA) a demandé que l'utilisateur soit informé lorsque le retrait est automatique et qu'un recours devant une personne soit possible. C'est aujourd'hui exactement ce qu'exige le DSA.

Meta, janvier 2025. L'entreprise elle-même a mis un chiffre sur le problème. En annonçant un changement de cap dans la modération, elle a écrit que, bien que les retraits représentent moins de 1 % du contenu publié chaque jour, « nous pensons qu'une ou deux de ces actions sur dix ont pu être des erreurs ». Autrement dit : la plus grande plateforme du monde estimait qu'entre 10 % et 20 % de ses propres décisions étaient des faux positifs. Elle l'a publié sur son blog d'entreprise.

Xbox, 2025. Les plateformes de jeu vidéo ont le même problème à une autre échelle. Selon le rapport de transparence de Xbox pour 2025, tel que le relaie la presse spécialisée, le système a modéré de manière proactive des milliards de contenus, reçu environ 39 millions de signalements de joueurs et 332 000 recours uniques contre des sanctions ; environ 26 % ont abouti. Une personne sur quatre qui a protesté avait raison. Celles qui n'ont pas protesté n'apparaissent nulle part.

Ce que demande réellement le droit européen

Le règlement sur les services numériques (DSA), règlement (UE) 2022/2065, est le texte qui régit cela dans l'UE, et il porte moins sur ce que vous modérez que sur la manière dont vous en rendez compte. Quatre articles portent l'essentiel du poids :

Ce n'est pas que du texte. Depuis 2023, chaque plateforme de l'UE doit transmettre chaque exposé des motifs à la base de données de transparence du DSA, qui est publique : on peut y consulter, décision par décision, quelle part a été prise par des moyens entièrement automatisés. Une analyse académique de la première année a constaté que certaines plateformes déclaraient un usage massif de modération uniquement automatique dans leurs rapports de transparence tout en n'enregistrant presque aucune décision « entièrement automatisée » dans la base : la cohérence entre ce que l'on dit et ce que l'on consigne fait aussi partie de l'obligation. Et en octobre 2025, la Commission européenne a adressé à Meta des conclusions préliminaires pour avoir rendu trop difficile le signalement de contenus illégaux et, par ricochet, la contestation des décisions, avec des amendes possibles allant jusqu'à 6 % du chiffre d'affaires mondial.

Lus ensemble, l'architecture que le règlement présuppose devient évidente. Il n'interdit pas l'automatisation. Il exige qu'elle soit déclarée, qu'elle soit réversible, et qu'une personne se tienne derrière la réversion. Ce sont trois exigences d'ingénierie distinctes, et la troisième est une exigence d'opérations, pas de modèle.

Remarquez à quel point cela rejoint la logique des règles de transparence du règlement IA, dont j'ai parlé dans l'article sur le règlement IA : le législateur est détendu sur le fait qu'une machine produise la sortie, et strict sur le fait qu'un humain en réponde.

La phrase qui fait le mal

« Votre contenu a été retiré pour non-respect des Règles de la communauté. »

C'est là que se perd l'essentiel de la confiance, et la phrase échoue selon ses propres termes. Elle ne dit pas quelle règle. Elle ne dit pas quelle partie du contenu. Elle ne dit pas si un humain a regardé. Et elle laisse la personne sans rien sur quoi agir, hormis un grief.

Un exposé des motifs qui fonctionne dit quatre choses : ce qui a été restreint, contre quelle règle précise cela a été confronté, si la décision était automatisée, et ce que la personne peut faire ensuite. Deux lignes de plus. Cela transforme un événement arbitraire en procédure, et les gens discutent avec les procédures bien plus calmement qu'avec les murs.

Il y a aussi un bénéfice plus discret, et c'est celui que je mettrais dans un dossier d'investissement : chaque exposé des motifs bien formé est une donnée étiquetée sur votre propre système. Un exposé vague ne vous apprend rien.

Les recours sont une opération, pas un formulaire

C'est là qu'un programme de modération échoue le plus souvent, et pour des raisons qui n'ont rien à voir avec l'IA. La file des recours est la file la moins prestigieuse du bâtiment. Elle est dotée en dernier, mesurée le moins, et c'est le seul endroit où les erreurs du système lui-même sont visibles.

Ce dont elle a besoin, c'est ce dont toute file de service a besoin — ma déformation professionnelle tout entière :

• Un SLA réel, et différent selon la gravité. La suspension d'un compte et un message masqué ne devraient pas être dans la même file avec la même priorité.
• Une règle de routage qui ne renvoie pas le recours à qui — ou à ce qui — a pris la décision initiale.
• Des réviseurs qualifiés, avec le contexte que le système automatisé n'avait pas : le fil, l'historique, la langue, la blague.
• Un taux d'annulation que quelqu'un lit délibérément. Une catégorie avec un taux d'annulation élevé n'est pas un problème de recours : c'est un seuil mal réglé, et il coûte moins cher de le corriger au niveau du seuil.

Ce dernier point est celui que je défendrais le plus fermement en comité de pilotage. La file des recours est la seule boucle de rétroaction honnête dont dispose un système de modération. La traiter comme un centre de coût à minimiser, c'est la manière qu'a une organisation de s'assurer de ne jamais découvrir que son classifieur dérive.

Les chiffres ci-dessus expliquent pourquoi. Chez YouTube, en 2020, le taux de rétablissement des recours est passé de 25 % à 50 % en un trimestre : ce n'était pas un problème de recours, c'était un seuil qui avait bougé. Chez Xbox, en 2025, une sanction contestée sur quatre a été annulée. Si ces chiffres sont lus par quelqu'un qui a l'autorité de toucher au seuil, le système apprend. S'ils ne sont lus que par l'équipe qui vide la file, le système répète l'erreur le lendemain.

Ce qui doit pouvoir être reconstitué

Six mois après une décision, quelqu'un posera la question : un régulateur, un journaliste, un client, un tribunal, ou simplement un utilisateur très persévérant. Ce dont vous avez besoin à ce moment-là, c'est d'un enregistrement, pas d'un souvenir. Pour chaque décision, cela signifie pouvoir dire :

1. Ce qui a été décidé et quand, à la seconde.
2. Par quoi : quel modèle, quelle version, quel seuil, ou quelle personne.
3. Contre quelle règle, dans la version des règles en vigueur ce jour-là. Les politiques changent ; une décision doit être jugée à l'aune de la politique sous laquelle elle a été prise.
4. Ce qui a été dit à la personne, dans les mots exacts qu'elle a reçus.
5. Ce qui s'est passé ensuite : recours ou non, confirmé ou annulé, et par qui.

Rien de tout cela n'est exotique. C'est la même discipline de la preuve sur laquelle fonctionne tout secteur réglementé, et je l'ai apprise dans un endroit sans le moindre algorithme : un hôpital sous accréditation Joint Commission, où aucun système ne passait en production tant qu'on ne pouvait pas montrer qui avait décidé quoi, quand, et sur quelle information.

Avant qu'un modèle n'approche la production

L'évaluation qui compte n'est pas celle qui produit un chiffre de précision pour le titre. C'est celle qui répond par écrit à des questions inconfortables :

• La performance tient-elle par langue ? Un classifieur entraîné surtout en anglais sera, en silence, un système moins bon pour votre communauté lusophone, et le chiffre agrégé le masquera.
• Tient-elle par communauté ? Les insultes réappropriées, les plaisanteries de groupe et les provocations compétitives — dans un jeu, un forum ou une section de commentaires — sont la fabrique classique de faux positifs.
• Quel est le profil d'erreur, et non le taux d'erreur : qui est touché à tort, et est-ce toujours le même type de personne ?
• Quel est le comportement par défaut quand le modèle est indisponible ou dégradé ? Laisser passer ou bloquer sont deux options défendables ; ne pas avoir décidé n'en est pas une.

Et celle à laquelle je reviens toujours : qu'est-ce qui nous ferait l'éteindre ? S'il n'y a pas de réponse, ce n'est pas un déploiement contrôlé. C'est un espoir.

Pourquoi c'est un problème de gestion

Tout ce qui précède peut s'acheter sous forme de technologie et échouera quand même, parce que les parties difficiles sont un seuil dont personne n'est propriétaire, une file que personne ne dote, une version de politique que personne n'a consignée et une métrique que personne ne lit. Ce ne sont pas des problèmes d'IA. Ce sont les problèmes ordinaires d'une opération de service à volume, en plusieurs langues, vingt-quatre heures sur vingt-quatre — avec cette propriété supplémentaire que les erreurs tombent sur des personnes plutôt que sur des tickets.

C'est, au fond, la raison pour laquelle je trouve ce sujet digne d'être écrit. La partie intéressante de la gouvernance de l'IA n'a jamais été le modèle. C'est de savoir si l'organisation qui l'entoure peut encore s'expliquer six mois plus tard.

Les sources

Responsible policy enforcement during Covid-19 (blog officiel de YouTube, août 2020) ; décision 2020-004-IG-UA de l'Oversight Board sur les symptômes du cancer du sein et la nudité (janvier 2021) ; More speech and fewer mistakes (Meta, janvier 2025) ; données de sécurité Xbox 2025 (Pure Xbox, février 2026) ; base de données de transparence du DSA (Commission européenne) ; A Year of the DSA Transparency Database: What it (Does Not) Reveal (2025) ; conclusions préliminaires de la Commission sur TikTok et Meta (octobre 2025).

Cet article est une information générale, pas un conseil juridique. Le texte de référence est le règlement (UE) 2022/2065 (règlement sur les services numériques), en particulier ses articles 14, 16, 17 et 20. Pour une décision précise ayant des conséquences juridiques, consultez un juriste.