29 d'octubre de 2026

Qui respon d'una decisió de moderació automàtica

Un classificador retira una publicació. O silencia un compte, o amaga un missatge, o treu un vídeo. Ningú no ho ha triat: s'ha creuat un llindar. Multiplica-ho pel volum que genera qualsevol comunitat gran en una tarda i tens milers de petites decisions al dia que ningú no ha pres i de les quals tothom és responsable.

La pregunta interessant no és si el model és precís. És què passa el dia que algú pregunta per què.

Els dos errors no són simètrics

Tot sistema de moderació canvia un error per l'altre. Apuja el llindar i el contingut nociu queda visible més temps. Abaixa'l i t'endús gent que no ha fet res.

Tots dos són dolents, però no de la mateixa manera, i la diferència importa quan ajustes el dial. El contingut nociu que s'escapa fa mal a les persones que hi queden exposades, i la plataforma normalment se n'assabenta per les denúncies: hi ha un canal i el dany és visible. Un fals positiu fa mal a una sola persona en silenci, i la plataforma sovint no se n'assabenta mai, perquè la majoria de la gent silenciada per error no apel·la. Conclou que el lloc és arbitrari i se'n va.

Això vol dir que la mètrica que tranquil·litza tothom —la precisió sobre un conjunt de prova etiquetat— no diu gairebé res del segon tipus de dany. El número que importa és el que ningú no recull per defecte: de les decisions que ningú no va apel·lar, quantes eren errònies?

Quatre casos documentats

Res d'això és teòric. Aquests quatre casos són públics, estan datats i els explica qui els va patir o qui els va provocar.

YouTube, primavera del 2020. Amb els revisors humans a casa per la pandèmia, YouTube va deixar que els classificadors automàtics retiressin vídeos sense confirmació humana, assumint expressament que s'equivocarien per excés. El trimestre d'abril a juny va retirar uns 11,4 milions de vídeos, el doble del normal. Les apel·lacions van passar de 166.000 a 325.000, i els vídeos restaurats, de 41.000 a 161.000: la meitat de qui va apel·lar tenia raó, quan al trimestre anterior era una quarta part. Ho explica la mateixa empresa al seu blog oficial. Fixa't en el detall: menys del 3% de les retirades es van apel·lar. La resta d'errors no els sabrem mai.

Instagram, octubre del 2020. Una usuària brasilera va publicar vuit fotografies de símptomes de càncer de mama, amb text explicatiu, durant el mes de sensibilització. Un sistema automàtic la va retirar per nuesa. Les normes de la plataforma ja preveien una excepció explícita per a la sensibilització sobre el càncer de mama, però el classificador no la va aplicar i no hi va haver cap persona al mig. Meta va restaurar la publicació només quan l'Oversight Board va seleccionar el cas, al desembre: la campanya ja s'havia acabat. La decisió del Board (cas 2020-004-IG-UA) va demanar que s'informi l'usuari quan la retirada és automàtica i que hi hagi apel·lació a una persona. Avui això és exactament el que exigeix la DSA.

Meta, gener del 2025. La mateixa empresa va posar un número al problema. En anunciar un canvi de rumb en la moderació, va escriure que, tot i que les retirades representen menys de l'1% del contingut publicat cada dia, «creiem que una o dues de cada deu d'aquestes accions poden haver estat errors». És a dir: la plataforma més gran del món estimava que entre el 10% i el 20% de les seves pròpies decisions eren falsos positius. Ho va publicar al seu blog corporatiu.

Xbox, 2025. Les plataformes de videojocs tenen el mateix problema a una escala diferent. Segons l'informe de transparència de Xbox del 2025, tal com el recull la premsa especialitzada, el sistema va moderar proactivament milers de milions de continguts, va rebre uns 39 milions de denúncies de jugadors i 332.000 apel·lacions úniques contra sancions; al voltant del 26% van prosperar. Una de cada quatre persones que va protestar tenia raó. Les que no van protestar, no consten.

Què demana de debò el dret europeu

La Digital Services Act, el Reglament (UE) 2022/2065, és el text que regula això a la UE, i tracta menys de què modereu que de com en rendiu comptes. Quatre articles porten gairebé tot el pes:

Això no és només text. Des del 2023, cada plataforma de la UE ha d'enviar cada exposició de motius a la Base de dades de transparència de la DSA, que és pública: s'hi pot consultar, decisió per decisió, quina part s'ha pres per mitjans totalment automatitzats. Una anàlisi acadèmica del primer any va detectar que algunes plataformes declaraven un ús massiu de moderació només automàtica als informes de transparència i, en canvi, gairebé cap decisió «totalment automatitzada» a la base de dades: la coherència entre el que es diu i el que es registra també és part de l'obligació. I a l'octubre del 2025 la Comissió Europea va comunicar a Meta unes conclusions preliminars per fer massa difícil denunciar contingut il·legal i, de retruc, recórrer les decisions, amb multes possibles de fins al 6% de la facturació mundial.

Llegits junts, l'arquitectura que el reglament dona per suposada es fa evident. No prohibeix l'automatització. Exigeix que l'automatització sigui declarada, que sigui reversible, i que hi hagi una persona darrere de la reversió. Són tres requisits d'enginyeria diferents, i el tercer és un requisit d'operacions, no de model.

Fixa't com s'assembla a la lògica de les normes de transparència de l'AI Act, de les quals vaig parlar a l'article sobre l'article 50: el legislador és relaxat amb el fet que una màquina produeixi la sortida, i estricte amb si una persona en respon.

La frase que fa el mal

«El teu contingut s'ha retirat per incomplir les Normes de la comunitat.»

Aquesta frase és on es perd la major part de la confiança, i falla en els seus propis termes. No diu quina norma. No diu quina part del contingut. No diu si algú ho ha mirat. I deixa la persona sense res sobre què actuar, només amb un greuge.

Una exposició de motius que funciona diu quatre coses: què s'ha restringit, contra quina norma concreta s'ha contrastat, si la decisió ha estat automàtica, i què pot fer la persona a continuació. Ocupa dues línies més. Converteix un fet arbitrari en un procediment, i la gent discuteix amb els procediments molt més tranquil·lament que amb les parets.

Hi ha també un benefici més discret, i és el que jo posaria en un cas de negoci: cada exposició de motius ben feta és una dada etiquetada sobre el teu propi sistema. Una de vaga no t'ensenya res.

Les apel·lacions són una operació, no un formulari

Aquí és on un programa de moderació sol fallar, i falla per raons que no tenen res a veure amb la IA. La cua d'apel·lacions és la cua amb menys prestigi de l'edifici. És l'última que es dota de personal, la que menys es mesura, i l'únic lloc on els errors del propi sistema són visibles.

El que necessita és el que necessita qualsevol cua de servei, que és tota la meva deformació professional:

• Un SLA que sigui real, i diferent per gravetat. La suspensió d'un compte i un missatge amagat no haurien d'estar a la mateixa cua amb la mateixa prioritat.
• Una regla d'encaminament que no torni l'apel·lació a qui —o a què— va prendre la decisió original.
• Revisors qualificats, amb el context que el sistema automàtic no tenia: el fil, l'historial, la llengua, la broma.
• Una taxa de revocació que algú llegeixi a propòsit. Una categoria amb una taxa de revocació alta no és un problema d'apel·lacions: és un llindar mal posat, i surt més barat arreglar-lo al llindar.

Aquest últim punt és el que defensaria amb més força en un comitè de seguiment. La cua d'apel·lacions és l'únic bucle de retroalimentació honest que té un sistema de moderació. Tractar-la com un centre de cost a minimitzar és la manera que té una organització d'assegurar-se que mai no descobrirà que el seu classificador va a la deriva.

Els números de dalt expliquen per què. A YouTube, el 2020, la taxa de restauració de les apel·lacions va saltar del 25% al 50% en un trimestre: això no era un problema d'apel·lacions, era un llindar que s'havia mogut. A Xbox, el 2025, una de cada quatre sancions apel·lades es va revocar. Si aquestes xifres les llegeix algú amb autoritat per tocar el llindar, el sistema aprèn. Si només les llegeix l'equip que buida la cua, el sistema repeteix l'error l'endemà.

Què ha de ser reconstruïble

Sis mesos després d'una decisió, algú en preguntarà: un regulador, un periodista, un client, un jutjat, o simplement un usuari molt persistent. El que necessites en aquell moment és un registre, no un record. Per a cada decisió, vol dir poder dir:

1. Què es va decidir i quan, al segon.
2. Per part de què: quin model, quina versió, quin llindar, o quina persona.
3. Contra quina norma, en la versió de les normes que era vigent aquell dia. Les polítiques canvien; una decisió s'ha de jutjar contra la política amb què es va prendre.
4. Què se li va dir a la persona, amb les paraules exactes que va rebre.
5. Què va passar després: si es va apel·lar o no, si es va confirmar o revocar, i qui ho va fer.

Res d'això és exòtic. És la mateixa disciplina d'evidència amb què funciona qualsevol sector regulat, i jo la vaig aprendre en un lloc sense cap algorisme: un hospital sota acreditació Joint Commission, on cap sistema no entrava en producció fins que podies demostrar qui havia decidit què, quan, i amb quina informació.

Abans que un model s'acosti a producció

L'avaluació que importa no és la que produeix una xifra de precisió per al titular. És la que respon per escrit preguntes incòmodes:

• El rendiment aguanta per llengua? Un classificador entrenat sobretot en anglès serà, en silenci, un sistema pitjor per a la teva comunitat en portuguès, i la xifra agregada ho amagarà.
• Aguanta per comunitat? Els insults reapropiats, la conya interna i les provocacions competitives —en un joc, en un fòrum o en una secció de comentaris— són la fàbrica clàssica de falsos positius.
• Quin és el perfil d'error, no la taxa d'error: a qui afecta erròniament, i és sempre el mateix tipus de persona?
• Quin és el comportament per defecte quan el model no està disponible o funciona degradat? Deixar passar o bloquejar són totes dues opcions defensables; no haver-ho decidit, no.

I la que sempre m'acaba sortint: què ens faria desconnectar-ho? Si no hi ha resposta, no és un desplegament controlat. És una esperança.

Per què és un problema de gestió

Tot el que hi ha aquí dalt es pot comprar com a tecnologia i fallarà igualment, perquè les parts difícils són un llindar que ningú no té assignat, una cua que ningú no dota, una versió de política que ningú no va registrar i una mètrica que ningú no llegeix. No són problemes d'IA. Són els problemes ordinaris de fer funcionar una operació de servei amb volum, en diverses llengües, les vint-i-quatre hores, amb la propietat afegida que els errors cauen sobre persones i no sobre tiquets.

I això és, al final, per què trobo que val la pena escriure'n. La part interessant de la governança de la IA mai no ha estat el model. És si l'organització que l'envolta encara es pot explicar sis mesos després.

Les fonts

Responsible policy enforcement during Covid-19 (blog oficial de YouTube, agost del 2020); decisió 2020-004-IG-UA de l'Oversight Board sobre símptomes de càncer de mama i nuesa (gener del 2021); More speech and fewer mistakes (Meta, gener del 2025); dades de seguretat de Xbox del 2025 (Pure Xbox, febrer del 2026); Base de dades de transparència de la DSA (Comissió Europea); A Year of the DSA Transparency Database: What it (Does Not) Reveal (2025); conclusions preliminars de la Comissió sobre TikTok i Meta (octubre del 2025).

Aquest article és informació divulgativa, no assessorament jurídic. El text de referència és el Reglament (UE) 2022/2065 (Digital Services Act), en particular els articles 14, 16, 17 i 20. Per a una decisió concreta amb conseqüències legals, consulta amb un professional del dret.