29 de octubre de 2026

Quién responde de una decisión de moderación automática

Un clasificador retira una publicación. O silencia una cuenta, o esconde un mensaje, o quita un vídeo. Nadie lo ha elegido: se ha cruzado un umbral. Multiplícalo por el volumen que genera cualquier comunidad grande en una tarde y tienes miles de pequeñas decisiones al día que nadie ha tomado y de las que todos son responsables.

La pregunta interesante no es si el modelo es preciso. Es qué pasa el día en que alguien pregunta por qué.

Los dos errores no son simétricos

Todo sistema de moderación cambia un error por otro. Sube el umbral y el contenido dañino queda visible más tiempo. Bájalo y te llevas por delante a gente que no ha hecho nada.

Ambos son malos, pero no del mismo modo, y la diferencia importa cuando ajustas el dial. El contenido dañino que se escapa daña a las personas expuestas a él, y la plataforma normalmente se entera por las denuncias: hay un canal y el daño es visible. Un falso positivo daña a una sola persona en silencio, y la plataforma a menudo no se entera nunca, porque la mayoría de quienes son silenciados por error no apelan. Concluyen que el sitio es arbitrario y se van.

Lo que significa que la métrica que tranquiliza a todos —la precisión sobre un conjunto de prueba etiquetado— no dice casi nada del segundo tipo de daño. El número que importa es el que nadie recoge por defecto: de las decisiones que nadie apeló, ¿cuántas eran erróneas?

Cuatro casos documentados

Nada de esto es teórico. Estos cuatro casos son públicos, están fechados y los cuenta quien los sufrió o quien los provocó.

YouTube, primavera de 2020. Con los revisores humanos en casa por la pandemia, YouTube dejó que los clasificadores automáticos retiraran vídeos sin confirmación humana, asumiendo expresamente que se equivocarían por exceso. En el trimestre de abril a junio retiró unos 11,4 millones de vídeos, el doble de lo normal. Las apelaciones pasaron de 166.000 a 325.000, y los vídeos restaurados, de 41.000 a 161.000: la mitad de quienes apelaron tenían razón, cuando el trimestre anterior era una cuarta parte. Lo explica la propia empresa en su blog oficial. Fíjate en el detalle: menos del 3% de las retiradas se apelaron. El resto de errores no los sabremos nunca.

Instagram, octubre de 2020. Una usuaria brasileña publicó ocho fotografías de síntomas de cáncer de mama, con texto explicativo, durante el mes de sensibilización. Un sistema automático la retiró por desnudez. Las normas de la plataforma ya preveían una excepción explícita para la sensibilización sobre el cáncer de mama, pero el clasificador no la aplicó y no hubo ninguna persona en medio. Meta restauró la publicación solo cuando el Oversight Board seleccionó el caso, en diciembre: la campaña ya había terminado. La decisión del Board (caso 2020-004-IG-UA) pidió que se informe al usuario cuando la retirada es automática y que haya apelación ante una persona. Hoy eso es exactamente lo que exige la DSA.

Meta, enero de 2025. La propia empresa le puso un número al problema. Al anunciar un cambio de rumbo en la moderación, escribió que, aunque las retiradas representan menos del 1% del contenido publicado cada día, «creemos que una o dos de cada diez de estas acciones pueden haber sido errores». Es decir: la plataforma más grande del mundo estimaba que entre el 10% y el 20% de sus propias decisiones eran falsos positivos. Lo publicó en su blog corporativo.

Xbox, 2025. Las plataformas de videojuegos tienen el mismo problema a otra escala. Según el informe de transparencia de Xbox de 2025, tal como lo recoge la prensa especializada, el sistema moderó proactivamente miles de millones de contenidos, recibió unos 39 millones de denuncias de jugadores y 332.000 apelaciones únicas contra sanciones; alrededor del 26% prosperaron. Una de cada cuatro personas que protestó tenía razón. Las que no protestaron, no constan.

Qué pide de verdad el derecho europeo

La Digital Services Act, el Reglamento (UE) 2022/2065, es el texto que regula esto en la UE, y trata menos de qué se modera que de cómo se rinde cuentas de ello. Cuatro artículos llevan casi todo el peso:

Esto no es solo texto. Desde 2023, cada plataforma de la UE debe enviar cada exposición de motivos a la Base de datos de transparencia de la DSA, que es pública: se puede consultar, decisión por decisión, qué parte se ha tomado por medios totalmente automatizados. Un análisis académico del primer año detectó que algunas plataformas declaraban un uso masivo de moderación solo automática en sus informes de transparencia y, en cambio, casi ninguna decisión «totalmente automatizada» en la base de datos: la coherencia entre lo que se dice y lo que se registra también forma parte de la obligación. Y en octubre de 2025 la Comisión Europea comunicó a Meta unas conclusiones preliminares por hacer demasiado difícil denunciar contenido ilegal y, de rebote, recurrir las decisiones, con multas posibles de hasta el 6% de la facturación mundial.

Leídos juntos, la arquitectura que el reglamento da por supuesta se hace evidente. No prohíbe la automatización. Exige que la automatización sea declarada, que sea reversible, y que haya una persona detrás de la reversión. Son tres requisitos de ingeniería distintos, y el tercero es un requisito de operaciones, no de modelo.

Fíjate en cuánto se parece a la lógica de las normas de transparencia del AI Act, de las que hablé en el artículo sobre el artículo 50: el legislador es relajado con que una máquina produzca la salida, y estricto con que una persona responda de ella.

La frase que hace el daño

«Tu contenido se ha retirado por incumplir las Normas de la comunidad.»

Esa frase es donde se pierde la mayor parte de la confianza, y falla en sus propios términos. No dice qué norma. No dice qué parte del contenido. No dice si alguien lo ha mirado. Y deja a la persona sin nada sobre lo que actuar, solo con un agravio.

Una exposición de motivos que funciona dice cuatro cosas: qué se ha restringido, contra qué norma concreta se ha contrastado, si la decisión ha sido automática, y qué puede hacer la persona a continuación. Ocupa dos líneas más. Convierte un hecho arbitrario en un procedimiento, y la gente discute con los procedimientos mucho más tranquila que con las paredes.

Hay también un beneficio más discreto, y es el que yo pondría en un caso de negocio: cada exposición de motivos bien hecha es un dato etiquetado sobre tu propio sistema. Una vaga no te enseña nada.

Las apelaciones son una operación, no un formulario

Aquí es donde un programa de moderación suele fallar, y falla por razones que no tienen nada que ver con la IA. La cola de apelaciones es la cola con menos prestigio del edificio. Es la última que se dota de personal, la que menos se mide, y el único sitio donde los errores del propio sistema son visibles.

Lo que necesita es lo que necesita cualquier cola de servicio, que es toda mi deformación profesional:

• Un SLA que sea real, y distinto por gravedad. La suspensión de una cuenta y un mensaje escondido no deberían estar en la misma cola con la misma prioridad.
• Una regla de enrutamiento que no devuelva la apelación a quien —o a lo que— tomó la decisión original.
• Revisores cualificados, con el contexto que el sistema automático no tenía: el hilo, el historial, el idioma, la broma.
• Una tasa de revocación que alguien lea a propósito. Una categoría con una tasa de revocación alta no es un problema de apelaciones: es un umbral mal puesto, y sale más barato arreglarlo en el umbral.

Ese último punto es el que defendería con más fuerza en un comité de seguimiento. La cola de apelaciones es el único bucle de retroalimentación honesto que tiene un sistema de moderación. Tratarla como un centro de coste a minimizar es la manera que tiene una organización de asegurarse de que nunca descubrirá que su clasificador va a la deriva.

Los números de arriba explican por qué. En YouTube, en 2020, la tasa de restauración de las apelaciones saltó del 25% al 50% en un trimestre: eso no era un problema de apelaciones, era un umbral que se había movido. En Xbox, en 2025, una de cada cuatro sanciones apeladas se revocó. Si esas cifras las lee alguien con autoridad para tocar el umbral, el sistema aprende. Si solo las lee el equipo que vacía la cola, el sistema repite el error al día siguiente.

Qué tiene que ser reconstruible

Seis meses después de una decisión, alguien preguntará por ella: un regulador, un periodista, un cliente, un juzgado, o simplemente un usuario muy persistente. Lo que necesitas en ese momento es un registro, no un recuerdo. Para cada decisión, significa poder decir:

1. Qué se decidió y cuándo, al segundo.
2. Por parte de qué: qué modelo, qué versión, qué umbral, o qué persona.
3. Contra qué norma, en la versión de las normas vigente ese día. Las políticas cambian; una decisión debe juzgarse contra la política con la que se tomó.
4. Qué se le dijo a la persona, con las palabras exactas que recibió.
5. Qué pasó después: si se apeló o no, si se confirmó o se revocó, y quién lo hizo.

Nada de esto es exótico. Es la misma disciplina de evidencia con la que funciona cualquier sector regulado, y yo la aprendí en un sitio sin ningún algoritmo: un hospital bajo acreditación Joint Commission, donde ningún sistema entraba en producción hasta que podías demostrar quién había decidido qué, cuándo, y con qué información.

Antes de que un modelo se acerque a producción

La evaluación que importa no es la que produce una cifra de precisión para el titular. Es la que responde por escrito preguntas incómodas:

• ¿El rendimiento aguanta por idioma? Un clasificador entrenado sobre todo en inglés será, en silencio, un sistema peor para tu comunidad en portugués, y la cifra agregada lo esconderá.
• ¿Aguanta por comunidad? Los insultos reapropiados, la broma interna y las provocaciones competitivas —en un juego, en un foro o en una sección de comentarios— son la fábrica clásica de falsos positivos.
• ¿Cuál es el perfil de error, no la tasa de error: a quién afecta erróneamente, y es siempre el mismo tipo de persona?
• ¿Cuál es el comportamiento por defecto cuando el modelo no está disponible o funciona degradado? Dejar pasar o bloquear son opciones defendibles; no haberlo decidido, no.

Y la que siempre acabo haciendo: ¿qué nos haría desconectarlo? Si no hay respuesta, no es un despliegue controlado. Es una esperanza.

Por qué es un problema de gestión

Todo lo anterior se puede comprar como tecnología y fallará igualmente, porque las partes difíciles son un umbral que nadie tiene asignado, una cola que nadie dota, una versión de política que nadie registró y una métrica que nadie lee. No son problemas de IA. Son los problemas ordinarios de hacer funcionar una operación de servicio con volumen, en varios idiomas, las veinticuatro horas, con la propiedad añadida de que los errores caen sobre personas y no sobre tickets.

Y eso es, al final, por lo que me parece que vale la pena escribir sobre esto. La parte interesante de la governanza de la IA nunca ha sido el modelo. Es si la organización que lo rodea todavía puede explicarse seis meses después.

Las fuentes

Responsible policy enforcement during Covid-19 (blog oficial de YouTube, agosto de 2020); decisión 2020-004-IG-UA del Oversight Board sobre síntomas de cáncer de mama y desnudez (enero de 2021); More speech and fewer mistakes (Meta, enero de 2025); datos de seguridad de Xbox de 2025 (Pure Xbox, febrero de 2026); Base de datos de transparencia de la DSA (Comisión Europea); A Year of the DSA Transparency Database: What it (Does Not) Reveal (2025); conclusiones preliminares de la Comisión sobre TikTok y Meta (octubre de 2025).

Este artículo es información divulgativa, no asesoramiento jurídico. El texto de referencia es el Reglamento (UE) 2022/2065 (Digital Services Act), en particular los artículos 14, 16, 17 y 20. Para una decisión concreta con consecuencias legales, consulta con un profesional del derecho.