Tecnología / Técnicas para evitar imágenes ofensivas en un sitio web

Estoy planeando construir un sitio web cuya característica principal es el uso de imágenes. Me preguntaba qué técnicas existentes se utilizan para evitar que los usuarios carguen imágenes ofensivas (es decir, pornografía). es decir, ¿qué usa Facebook o Pinterest?

Además, me gustaría saber cuáles serían sus recomendaciones para controlar las imágenes ofensivas que se cargan en el sitio (quizás herramientas OpenSource ...) Teniendo en cuenta que este es un proyecto personal y se desarrollará con un presupuesto muy pequeño.

Gracias

No existe una solución tecnológica que le diga que una imagen es "ofensiva".

Debe tener en cuenta que "ofensivo" depende de la cultura (así como también una cosa individual), es decir, lo que puede encontrar ofensivo y lo que yo pueda ser probablemente muy diferente.

Este es un problema social y solo se puede resolver con soluciones sociales; esto puede significar moderación (o moderación de la comunidad).

Por lo tanto, haga que los moderadores aprueben / rechacen cada imagen o instale un sistema que permita a sus usuarios marcar las imágenes como ofensivas y que las elimine cuando se alcance un cierto umbral. Es posible que desee realizar un seguimiento de los usuarios que cargan esas imágenes para moderarlas / prohibirlas también.

Hay filtros de contenido de imagen por ahí que pueden evitar este tipo de cosas. Suben el contraste de la imagen y trazan los bordes y se comparan con imágenes para adultos "conocidas". Hay mucha investigación sobre el tema ... y sé que hay al menos 1 servicio que lo hace, se me escapa por ahora ... pero están ahí afuera

Algunos intentos de esto existen como un concepto contra tipos específicos de ofensiva basados ​​en la detección de bordes. He visto trabajos de investigación al respecto, pero como cuestión práctica, cualquier cosa que se "detecte" sería fácilmente jugable por tintado o cualquier cosa que rompa los contornos obvios de los objetos.

Incluso si pudieras obtener una implementación funcional de esto, Internet solo te subiría un poco de obscenidad con la pintura deslumbrante de estilo naval de la Segunda Guerra Mundial en los artistas o los artistas con trajes ghillie para ser difícil.

Si no te refieres a ofensivo como obscenidad, sino como violento o de mal color, ni siquiera creo que puedas encontrar una forma automática de calificarlo, incluso si tuvieras un proceso de detección de imagen perfecto solo porque el problema de nadie está de acuerdo cuando cruza la línea

Todo vuelve al reconocimiento de patrones. La razón por la que tenemos un software de reconocimiento facial son las caras, en su mayor parte, tienen rasgos similares, y la mayoría de las imágenes que tomamos de las personas las tienen frente a la cámara. Pero eso aún era muy difícil de desarrollar. Consideremos por un momento una imagen de bomba golpeando un objetivo poblado. ¿Cómo crearías un patrón para eso? La imagen tendría una explosión, bastante simple de entender para un humano, pero bastante difícil de programar. Una explosión podría ser de varios tamaños, formas y colores. Digamos que creas algún tipo de sistema basado en reglas. ¿Qué pasa si la imagen es una explosión para el control de avalanchas en las montañas? Eso no es violento u ofensivo, pero contendría muchas de las mismas características.

Como muchas otras personas han señalado, es muy difícil definir obsceno. La Corte Suprema de los Estados Unidos intentó hacerlo en el caso de Miller vs. California, y como resultado tenemos la llamada Prueba de Miller, que consta de tres partes:

• Si "la persona promedio, aplicando estándares comunitarios contemporáneos", encontraría que el trabajo, en su conjunto, atrae el interés pruriente,
• Si el trabajo describe / describe, de una manera claramente ofensiva, la conducta sexual específicamente definida por la ley estatal aplicable,
• Si la obra, en su conjunto, carece de un valor literario, artístico, político o científico serio

Agradable y ambiguo, hace que las cosas sean un poco difíciles de programar. La mayoría de los sitios que le permiten subir imágenes tienen algún tipo de moderación humana. Por ejemplo, todas las imágenes publicadas en sitios de citas en línea deben seguir un conjunto de reglas y deben aprobarse manualmente.

Como otros han señalado, hay algunas soluciones tecnológicas, pero solo te llevan hasta cierto punto. Este artículo del NY Times analiza cómo los sitios grandes (como Facebook) filtran el contenido.

Para responder a su pregunta: "¿Qué usa Facebook o Pinterest?"

Personas.

No olvide que una vez que ha transmitido que filtra las imágenes "ofensivas", se abre a demandas si se pierde una. Puede agregar un botón de marca a cada página y estar preparado para eliminar la foto ofensiva después de revisarla.