Filtro de malas palabras para un chat MMO

Estamos desarrollando un MMO usando el servidor Smartfox. El público objetivo son niños de 7 a 12 años.

Hay una opción de chat global en este MMO.
Cualquier cosa que el usuario escriba en un cuadro de texto se mostrará junto al avatar del usuario después de que él / ella presione enter.

Nos gustaría filtrar lenguaje / blasfemias abusivas de este chat.
Podríamos capturar el chat y leer el texto. El problema es obtener la lista de blasfemias en sí.

Nuestras preguntas son

1. ¿Dónde se obtendrá una lista exhaustiva de todas las blasfemias?
2. ¿Qué método se adopta en un escenario similar para filtrar estos?

No lo hagas

Los filtros no funcionan. Al menos, solo los filtros no funcionan. Listas blancas, listas negras, no importa. Ninguno de estos evitará que los niños se acosen entre ellos. La única forma de hacer que esto funcione sería no filtrar el chat, sino proporcionar grandes bloques de construcción para las oraciones. Por ejemplo, un niño puede seleccionar "¿Desea ...?" Y las opciones para "ir a ..." y "comerciar ..." se abrirían. Al seleccionar "ir a ...", aparecerá una lista de lugares en el juego.

Disney se decidió por este método para su MMO "Toontown", después de que su sujeto de prueba de la lista blanca de 14 años decidiera "pegar [su] jirafa de cuello largo en [su] conejito blanco esponjoso". En pocas palabras, no puede incluir en la lista negra o en la lista blanca suficientes palabras para evitar el abuso.

Dicho todo esto, si estuviera diseñando un MMO para niños, realmente implementaría un estricto filtro de lista negra, pero solo como una segunda línea de defensa. Su primera línea de defensa siempre debe ser moderadores y la capacidad de denunciar el abuso. Consideraría las palabras en la lista negra, y cada usuario obtendría un puntaje secreto de cuán profanos están tratando de ser.

Lo más probable es que cualquier usuario que intente evadir su filtro lo active primero. Las blasfemias más obvias (en oposición a las oscuras u obsoletas) o los intentos de blasfemias más repetidos, los ponen en una lista de vigilancia para los moderadores, o algún tipo de lista de prohibición . De esta manera, los moderadores pueden centrarse en los usuarios que parecen estar tratando de hostigar a otros en lugar de perder el tiempo leyendo los comentarios de niños aún inocentes.

En respuesta a las personas que dicen no proporcionar el filtro, argumentaría que tiene que proporcionar un filtro, por ninguna otra razón que cubrir su propio trasero con respecto a los padres de su audiencia prevista. Solo asegúrese de que el usuario pueda desactivarlo. Al implementar un filtro de blasfemias (aunque imperfecto y totalmente opcional), puede decir que ha hecho todo lo que se esperaba de usted para proteger la sensibilidad de su público más joven.

Al hacer posible la deshabilitación, desalienta a los usuarios de tratar de eludirlo utilizando una puntuación o sustitución inteligente, ya que las personas que favorecen ese tipo de lenguaje deshabilitarán inmediatamente el filtro en sus propias computadoras, y habrán olvidado hace mucho tiempo que incluso existe un filtro .

Con ese entendimiento, no se preocupe tanto por la implementación. No necesita ser infalible (lo cual es bueno, porque no puede ser infalible), pero debe ser relativamente completo y lo menos intrusivo posible. Es decir, no quiere asegurarse de no cometer el " error clbuttic ".

La implementación puede ser extremadamente simple: obtenga una lista de palabras y reemplace las palabras encontradas en la lista con asteriscos o algo similar. Lo mejor es buscar solo palabras completas, también.

En cuanto a una lista de palabras, eso es fácil: http://www.google.com/search?q=profanity+word+list

Recuerde, no tiene que ser exhaustivo, solo debe ser representativo de un valiente esfuerzo de su parte para proteger a los niños.

Intentaría implementar una solución que permita una lista negra y una lista blanca, donde podría agregar 'coño' a la lista negra y 'scunthorpe' a la lista blanca, por ejemplo.

No creo que alguna vez pueda implementar una solución a prueba de fallos, por lo que trataría de obtener las palabras más "populares" en su diccionario y facilitar lo más posible agregar nuevas palabras a las listas.

La razón de esto es que los idiomas, especialmente el inglés, evolucionan constantemente y algo que ha sido inofensivo durante décadas podría volverse ofensivo en el contexto correcto.

Trate de obtener la mayor cantidad de palabras posible y vaya desde allí, tenga tiempos de reacción rápidos cuando las personas se quejen y demuestre que esto es generalmente una preocupación y dudo que tenga algún problema.

Sería una buena idea saber exactamente cuáles son las pautas para la censura en los Estados Unidos: ¡MBNL! (yo no sea abogado!)

As I commented, filtering all offensive words is really hard - but you could turn it around, and use a whitelist of allowed words. Doing a google search, it seems fairly common for children's game to limit what they can type to a list. For instance, Lego Universe uses a whitelist.

Also see: Whitelisting for game chat. And note that whitelists can be circumvented. There is no guaranteed solution.

Considering that it's for young children, and mis-spelling could be a problem - depending on the client interface, you might consider word auto-completion. As the players start typing letters, offer a list of possible words and let them select the correct one.

There's an answer from Programmers describing one system for building a profanity filter. He doesn't explain how he actually built it in great detail, but it should be enough to get an idea for implementation.

This is a problem best solved by humans and social design rather than code.

Your best source for an exhaustive list is a live human who is present in the game and monitoring the chat stream. Put people in your game and let them be your ultimate filter.

Spend some time looking into Lane Merrifield's ideas and philosophies behind Club Penguin and about providing service. Here are two writeups from his presentation at the Austin GDC in 2008. I saw it and remember being very impressed with his style of solving human problems with humans and not code.

http://gamasutra.com/php-bin/news_index.php?story=20234

http://www.raphkoster.com/2008/09/15/agdc08-lane-merrifield-at-their-service/

Specifically because your game is aimed at kids, it's more than just swear filters you'll need to think about. You'll need to worry about people posing as kids who may or may not have bad motives. You'll need to assure parents that their kids are safe. You'll need to assure kids that they are safe too for that matter.

Another plus for humans is that they will understand context. You don't want some kid saying, "My Mom has breast cancer" and getting kicked.

Simple solution to the problem:

1. Remove all spaces and punctuation from your input.
2. Blacklist everything in the Urban Dictionary.
3. Blacklist all homophones etc
4. Blacklist everything that could be use as a euphamism.
5. Write your software to understand the content, intention and tone of what is left.
6. Throw away game and go to market with sentient and omniscient creation from step 5.

Some MMOs for children simply replace chat with a predefined list of emotes and phrases and simply doesn't allow free-form chat. Perhaps the game could be designed to accommodate that.