Cazador de Bots: fakes y campañas en Twitter

Desde hace unos meses, en mis tiempos libres, me puse a trabajar en una aplicación renovada para analizar tanto el accionar de bots, cuentas falsas, cuentas políticas y todo el submundo de rivalidades en Twitter que se manifiesta mucho más fuerte en época de elecciones.
Era una excelente oportunidad de obtener una buena muestra de datos reales, el conflicto te brinda mucha información y hay que poder clasificarla para hacer análisis y, de paso, quería crear una herramienta que me pudiese dar información temprana, de primera mano, que pudiese capturar con muy poco tiempo de margen lo que sucedía y qué se hablaba.
Decidí centrarme en las elecciones así que mi tarea inicial era capturar una muestra de datos, catalogarlo y a partir de ahí automatizar y ésto es lo que hice y los resultados que arrojó y que sigue dando porque mi aplicación funciona todos los días sin detenerse!
Primero que nada vale aclarar que no tengo financiación de nadie para hacer esto (una lástima, es re vendible, pero las cosas a mitad de camino no deberían comercializarse :P) y no hay una postura política. Son datos, y si bien aplico mi criterio personal para curar y catalogar lo que veo, es fácil de ir mejorando y purificando los datos.
Para hacer todo esto tan sólo utilizo la API de Twitter para desarrolladores sin ningún aditivo, sólo con los límites que aplica Twitter a cualquier usuario menor, pero aquí hay una interesante salvedad: no hace falta más.
Rápidamente descubrí que no era necesario un volúmen bestial de datos, hacía falta encontrar el hilo que desarmaba la madeja, una cierta cantidad de usuarios clave y uno ya tiene la muestra representativa, de ahí en más pude desenroscar la red que los conecta y más allá de lo que muchos piensan no es que esté lleno de bots, está más bien lleno de cuentas falsas para simular participación y todo ocurre en un ecosistema demasiado pequeño como para mover tanto los hilos.
Motivación
Me motiva a crear esto no sólo la posibilidad de desarrollar una aplicación de alerta temprana para aquellos temas que van a dar que hablar, sino para identificar algo que yo venía diciendo hace mucho pero que requería algún grado de evidencia para sustentar: La mayoría de los temas que supuestamente toca el público en las redes sociales son falsos, impuestos por militantes y operadores políticos y levantados por los periodistas con pocas luces que necesitan llenar de contenido sus medios.
Así pues lo que resaltó de dos meses de investigación fue sencillamente lo que sospechaba, la gran mayoría de los temas tratados en esta red en particular (y Facebook también pero no entra en este análisis) son impuestos, falsificados, inflados y testeados día a día hasta que uno logra la atención de algún medio o persona relevante. Luego de eso se difunden como un buen viral, desparramándose como una media verdad, media mentira, pero sembrando el tema que se deseaba insertar.
El éxito de una campaña de este tipo es que en los diarios de mañana se hable de la idea que se intentó incorporar hoy, el medio es económico, demasiado, y hasta un partido venido a menos pero con suficiente masa crítica de militantes puede hacerlo.
Desenmascarar esto es muy divertido, además desarrollar una aplicación que funcione y tenga un fin específico.
Tecnología y números
Todo está montado en un sencillo servidor Linux con Nginx, Apache, PHP y MySQL, un VPS económico pero con suficiente memoria y procesador como para poder hacer querys complejos en la base de datos para estos informes.
Utilizo tan sólo una API key, el sistema fácilmente se podría extender para utilizar varias si quisiera más volúmen de datos pero con esto fue suficiente para las elecciones PASO.
Al momento de escribir este artículo cuento con 1.3 millones de tuits en la base de datos, 193k usuarios, 19k hashtags. Como verán no es tan grande, es manejable y he decidido ir borrando tuits viejos más que nada de usuarios sin catalogar.
Por cada usuario decidí analizar lo siguiente, si es Pro, si es K, si es Massa, o si es de otro partido (desde los de izquierda a Losteau me dan igual por el poco volúmen que tienen), además si es un Bot, si es Fake, si es un Troll, si es un medio, si es un operador político, si es famoso, si es un usuario relativamente normal, etc. Es caprichoso y restringe la muestra, pero es justamente lo que necesitaba hacer, acotar en base a mis posibilidades (que esto no me da dinero, che!).
Por otra parte la aplicación tiene un servicio en cron que levanta datos permanentemente aprovechando los usuarios que ya tiene catalogados para darse cuenta qué hashtags son relevantes para inspeccionar y así alertar al usuario de prestarle atención.
La aplicación
Con el nombre heredado de Botkillah 2.0 (algún día le pondré el nombre final, tomemos esto como el nombre clave del proyecto) la Aplicación tiene un index bastante sencillo pero directo, desde las 50 tendencias del día, los hashtags que más menciones tuvieron, las alertas de dónde está la masa de usuarios interesantes y la actividad hora a hora.
El sistema automáticamente toma entre 300 y 1000 tuits por hora para analizar dependiendo la actividad y sólo se queda con aquellos con usuarios ya catalogados en cantidad. De los 190k usuarios que capturé tengo analizados unos 40k, suficiente muestra de militancia :)
Uno puede capturar más info buscando directo por la API o haciendo un "mega search" que es bastante más violento con la API y come recursos a lo loco pero me permite caputrar de a varios miles por acción.
Además por cada tuit se lo puede analizar, verificar qué usuarios le dieron RT, traer todo el timeline de un usuario (ideal para confirmar su tendencia política o si es un bot retuiteador) y por cada usuario catalogarlo en cualquier momento y lugar por parte del operador.
Los resultados
Ahora les voy a contar un poco lo que estuve viendo, obviamente no soy experto en estadística ni análisis político, pero los números son lo suficientemente claros como para ver cómo se maneja el ambiente político argentino y evitar hablar sin fundamento.
El informe es sencillo y captura los datos desde el 20 de Julio de 2017 al 20 de Agosto de 2017 (hay más pero tengan piedad de mi servidor :P), como verán no es constante la cantida de publicaciones no sólo porque muchas veces no he intervenido para capturar más datos (tengo una vida) sino porque la actividad también varía con respecto a lo que sucede en cada día.
Lo que es notable es que la militancia es más de utilizar los hashtags que la gente "real". Con real no quiero confundir, podría decir "el pueblo" pero Twitter no es representativo de la sociedad. Lo cierto es que aquellos que no estan muy metidos en un partido político no usan hashtags, los militantes sí.
Todos los HT que pueden ver son de índole política, no hay nada de programas de televisión o concursos ni bandas de rock o famosos, así que limpia la base de esos ruidos es obvio que hubo una constante guerra por ver quién se quedaba con la "plaza digtal".
Proporcionalmente, en cantidad de tuits, el kirchnerismo es mayoría, tienen una base de usuarios (entre falsos y verdaderos) de más del doble que el Pro y en el ruido mediático se nota. Pero por otra parte Cambiemos tiene una masa suficiente de apartidarios pero que se sumaron a varias acciones previo al comicio y se notó fuerte.
Hice cinco consultas predefinidas, Macri, Kirchner, Cambiemos, Cristina y Vidal, es muy interesante ver estos gráficos día a día y cómo progresaron, si alguien tiene ganas puede contrastarlo con las noticias del día y notará por qué fueron tan mencionados.
Por otra parte tomé varios de esos hashtags y entré uno por uno para ver cómo fue la acción, son muy interesantes:
#GanoCristina
#MacriSis
#NoProtejanAJulioDeVido
#PASO2017
#ProMilico
#TimbreoNacional
#CAMBIEMOS
Conclusión
Como notarán hay mucho para sacar de todo esto, todavía me falta terminarle algunas partes más que nada en la generación de informes, lo bueno es que pude probar que funciona, tanto la captura en tiempo real como la programada y la voluntaria, se puede juntar mucha información y estoy seguro que para las elecciones de Octubre va a ser mucho más interesante y jugoso todavía.
Desde ya que el código de esto no es tá liberado, primero que nada porque no es un código muy prolijo (lo siento, los que programamos a veces somos vanidosos), segundo porque sería ideal comercializarlo (es aplicable a cualquier tipo de acción comercial) y es mi idea poder hacerlo (sponsors bienvenidos).
Tampoco es que inventé la rueda, existen infinidad de desarrollos enlatados que hacen algo parecido, pero no vi ninguno (todavía) que se dedique a esta parte del análisis.
Para futuro quiero terminar de aprender algo como para implementar Machine Learning en dos áreas. Una en la de análisis de sentimiento, estuve probando la API de Google pero los ejemplos que brinda estan tan mal programados que nunca funcionan, imposible hacerlo bien (Odio a Google cuando no le da importancia ni a su propio negocio!).
Pero también quiero aplicar ML para identificar la tendencia política y si el usuario es real o ficticio. La base de aprendizaje ya está (40k catalogados más o menos, no digo que bien, lo hice yo sólo) y con eso se podría generar un buen modelo e ir taggeando al resto de usuarios que todavía me queda por catalogar y los que vengan a futuro.
Hay infinidad de usuarios apócrifos, cuentas creadas ad-hoc para la campaña que no tienen más que un tuit real de actividad y el resto son retuits, como una gran caja de resonancia dentro de la propia burbuja de cualquier político.
Si la masa del pueblo se diera cuenta de esto dejaría de votarlos, pero claro, la apariencia es clave en la política y la misma masa aplaude a aquél que aparenta tener un gran séquito de obsecuentes. Nadie quiere votar al perdedor! (salvo la izquierda, claro :D)
Queda mucho por hacerle y se aceptan sugerencias, si alguno tiene un interés real también puedo darle acceso, pero seré muy receloso, no porque se puedan robar la idea, ya se las estoy compartiendo! sino porque tiene algún que otro bug y, como les dije, uno es un poco vanidoso como developer :P
Para otro día queda el análisis particular de los operadores políticos más ferreos, los "megáfonos" que incitan a la tropa, son todo un tema que merece dicho capítulo aparte.












