W.Todos hemos visto una proliferación de contenido sensacionalista, divisivo y falso en línea relacionado con el conflicto entre Israel y Hamás. En respuesta, periodistas, reguladores, políticos y grupos de la sociedad civil han presionado a las empresas de redes sociales para que incrementen sus esfuerzos de moderación de contenido, lo que implica encontrar y abordar casos individuales de contenido que violan las políticas de la plataforma. Durante más de 4 años en Meta, trabajé para mejorar el impacto de la plataforma en numerosos conflictos. Desde que me fui, me he centrado en el diseño de plataformas, en parte porque los límites de la moderación de contenido son aún más agudos cuando hay mucho en juego. Por supuesto, existe contenido que debe moderarse y ciertamente las plataformas podrían hacerlo mejor en esos casos, pero la moderación nunca afectará más que una pequeña fracción del contenido dañino y, por lo tanto, centrarse en él no mejorará materialmente el discurso en línea.
A continuación se muestra un ejemplo de contenido del conflicto actual que el New York Times destacó como falso.
En respuesta a publicaciones como ésta, los funcionarios de la iglesia emitieron una declaración que decía que “St. La iglesia de Porfirio en Gaza está intacta”, pero eso sólo fue posible porque la afirmación era específica y retroactiva (varios días después, la iglesia fue efectivamente alcanzada por un ataque aéreo). Más comunes en el discurso en línea son declaraciones más generales, como publicaciones que sugieren el uso amplio e indiscriminado de bombas de fósforo o agresión sexual por el otro lado. Este tipo de declaraciones que inducen miedo general son imposibles de moderar eficazmente porque:
- No se puede probar una negativa general.. ¿Cómo harías para demostrar que algo nunca ha ocurrido, cuando no se hace ninguna afirmación sobre ningún caso en particular? Es posible desacreditarlo cuando un cartel hace una afirmación específica o utiliza imágenes recicladas, pero mucha gente no lo hará.
- No quieres censurar contenido importante. Estas declaraciones son potencialmente violaciones de los derechos humanos y es importante documentarlas. Las personas también pueden utilizar esa información para mantenerse seguras, si pueden confiar en ella. Eliminar por error dicho contenido podría ser un error costoso.
- La gente está motivada a difundir dicho contenido. En el contexto de un conflicto, difundir información incendiaria sobre la otra parte es una táctica que todas las partes naturalmente van a utilizar. Dicho contenido será publicado con frecuencia y difundido rápidamente por personas que quieran apoyar a su lado, sin dejar tiempo para los hechos se corrigen antes de que hayan sido ampliamente leídos.
- La gente está ansiosa por recibir la información más reciente. Este deseo de disponer de la información más reciente significa que las personas que no tienen información ni opinión sobre el conflicto seguirán estando motivadas para conseguir atención, seguidores e ingresos publicitarios, compitiendo por ser los primeros con la información más reciente y convincente. Tienen pocos incentivos para preocuparse por si la información es verdadera, falsa o potencialmente mala para el mundo. Si se elimina algo, simplemente pueden volver a intentarlo, tal vez con una cuenta nueva.
Para ser claros, no estoy diciendo que la moderación de contenido no haga un trabajo bueno e importante. Pero pedir a las empresas que se esfuercen más en moderar, como lo ha hecho la UE con Meta y Twitter, tendrá un efecto muy limitado, ya que la mayoría de los contenidos dañinos no violarán las políticas y a menudo coexistirán con expresiones políticas auténticas. Citando este documento interno de Facebook, “porciones importantes de contenido dañino, como historias personales, preguntas capciosas o burlas, a menudo son completamente inaplicables. A medida que el trabajo de FB Integrity madura y se vuelve más conocido, los actores problemáticos giran hacia estas brechas”. Y en esas brechas, las plataformas han reconocido que el contenido a menudo se ve recompensado con una mayor distribución por acercarse a la línea de desinformación y odio.
Leer más: La nueva estrategia de Hamás en las redes sociales
De hecho, cuando las plataformas dependen de la moderación, a menudo crean nuevos problemas. Sabemos por experiencias anteriores que una mayor aplicación de medidas en el conflicto entre Israel y Palestina ha dado lugar a informes creíbles de censura y parcialidad. Cuando se aplica con cuidado a casos limitados y claros de contenido dañino (por ejemplo, una imagen tergiversada), la moderación es una herramienta importante. Pero la mayoría de los casos de contenido dañino no están claros, y cuando la moderación se amplía como medida de emergencia para abordar un conjunto más amplio de contenido dañino, donde los juicios requieren más matices y subjetividad, es probable que se cometan errores.
Es por eso que las empresas a menudo recurren a medidas de “romper el cristal” neutrales en cuanto al contenido para abordar las crisis. Podemos aprender de estos esfuerzos para sugerir alternativas a un enfoque en la moderación de contenido que no se basen en reglas rígidas sobre qué contenido es bueno o malo. Entre las medidas que pueden abordar la desinformación de manera más escalable se encuentran limitar la tasa de todas las cuentas para que sea más difícil para pequeños grupos de personas manipular el sistema, eliminar los incentivos de participación para que las personas no obtengan más distribución por ser más sensacionalistas, aumentar la protección de la privacidad de las personas autorizadas. fuentes que discuten eventos en línea y priorizan cuentas que tienen historias positivas y confiables sobre cuentas nuevas que se crean para monetizar el momento. Estos métodos han demostrado ser lo suficientemente útiles como para que muchos se pregunten por qué se desactivan y algunos se han adoptado de forma permanente. En el Centro Neely de la USC, hemos reunido apoyo para un “código de diseño” para codificar las mejores prácticas que un amplio conjunto de partes interesadas solicitarían de las plataformas en línea.
En un conflicto es inevitable cierta cantidad de propaganda. La pregunta no es su existencia, que es anterior a las redes sociales, sino más bien por qué prevalece mucho más en línea que fuera de línea. ¿Cuáles son las características estructurales de las redes sociales que causan que esto ocurra? ¿Deberíamos optimizar las noticias sobre conflictos para obtener comentarios, clics y compartir? Pedir a las empresas que apliquen sus políticas con más vigor, como lo han hecho varios políticos, sin los cambios de diseño que los acompañan y que han pedido críticos como Tristan Harris y Roger McNamee, conducirá a resultados decepcionantes y potencialmente dañinos. La moderación es una herramienta a utilizar. después ha reducido el incentivo para competir por la atención. En lugar de centrarse en la moderación, los políticos deberían presionar a las empresas para que realicen cambios simples en los diseños de sus sistemas, para asegurarse de no incentivar información errónea divisiva que pueda empeorar aún más una mala situación.
Continuar leyendo: Por qué la moderación en línea suele fallar durante un conflicto