El problema del volumen de datos que nunca pudiste probar

Imagen de El problema del volumen de datos que nunca pudiste probar


Más de una vez programamos algo pensando que está funcionando ok, que la solución fue bien pensada, que está todo como debería. Lo probamos, "en local funciona", armamos el deploy y lo mandamos al servidor sin volver a pensar en él.

Pero siempre, siempre, hay un problema de performance, y les puedo contar mil y una historias de problemas semejantes. Nadie testea una puta mierda con volúmen, nadie le da importancia y todo empieza a fallar.

Como sabrán algunos este blog no utiliza Wordpress, lo programé todo de cero y todavía sobrevive porque lo hackeo constantemente, un cachito aquí, otro allá, y más o menos sobrevive al paso del tiempo. Pero para cuestiones laborales o de otros clientes siempre utilizo Wordpress y un clásico allí son los plugins.

No voy a meterme en detalles técnicos demasiado complejos pero me dan ganas de contar un poco cómo es este tema para aquellos que putean desde el otro lado y no entienden qué está sucediendo en realidad, es como un pequeño rant para programadores, implementadores y usuarios que putean a diario :D

Les cuento la historia de un pequeño plugin, el mismo lo habíamos comprado para un cliente, vendía lo que necesitábamos que hiciera así que era el ideal, miramos el puntaje, estaba bien calificado, venga, diez dólares solucionarían todo.

Lo instalamos, anduvo todo perfecto, entregamos el sitio y, como habitualmente se hace en estos casos, no volvimos a entrar hasta que el cliente no nos pidió algún cambio.

Imaginen entrar al panel de administración de un sitio y que tarde, literalmente, 20 segundos en entrar en cada cosa. Digo veinte segundos porque instalé un plugin para medir los tiempos y ver qué cuernos pasaba. Cada click eran 20 segundos.

¿Qué estaba pasando? Yo había instalado todo, el primer día andaba genial ¿Qué se rompió? ¿Alguna actualización?

Investigando un poco di con lo que es el problema habitual de los plugins de Wordpress: Estan programados como el orto por malos programadores paranoicos que quieren cobrarse licencias por todo pero no se preocupan por la performance de sus plugins.

La situación era la siguiente, el plugin consultaba el servidor del desarrollador para ver si había una versión más nueva y así poder ofrecértela para que pagues por otra cosa o, por si no tenías licencia, para reclamarte un serial KEY. El Key lo tenemos, el plugin lo compramos, pero esta confirmación la chequeaba TODAS LAS VECES que una página se mostraba.

Si entrabas al dashboard, consultaba, si entrabas a editar una nota, consultaba, le dabas guardar, volvía a consultar. Algo que no tenía NADA que ver con la sección del administrador donde estabas, consultaba igual. Esto es prácticamente un ataque DDOS al servidor del desarrollador, dos personas trabajando en el sitio eran una bomba, por lo que cada consulta se tardaba 14 segundos en completarse.

WTF? 14 segundos para preguntar algo que deberías consultar una vez al día con suerte? Edité el código del plugin, le comenté la cosulta, le emparché un poco aquí y allá y listo.

¿Saben quién más hace esto?

El mismo puto Wordpress.

Todo el tiempo hace al menos cuatro consultas a api.wordpress.org (que a todo esto es super inseguro) verificando si hay algún parche de seguridad, en vez de hacerlo aleatoriamente o cada cierto tiempo lo hace al cargar cada página del wp-admin, pero como la velocidad de respuesta depende mucho de la conexión entre un servidor y otro (el del cliente es una mierda lenta insostenible, pero no es mío, no puedo cambiárselo) cada una de estas consultas se llevaba 1 segundo y pico extra, ahí tenía los 20 segundos totales.

Estos 4-5 segundos varían, a veces baja a 0.2 seg, algo super aceptable, otras veces sube hasta 5 seg, inaceptable, pero es el costo de la misma plataforma y de mantenerla actualizada. No estoy precisamente de acuerdo con el método.



La cuestión es que ninguno de estos sistemas tenía en cuenta el volúmen de usuarios, cuando se encontró con un escenario real todo falló e indagar cual es el problema en el código de otro es una mierda.

Otro plugin guardaba un log con la actividad de no se qué, cargaba el log en memoria apenas uno entraba al admin, no cuando uno consultaba las estadísticas de ese plugin, las cargaba SIEMPRE. Otro ejemplo de programar como el orto. Tengan en cuenta que la mayoría de sistemas que guardan data en una base de datos y ésta no se pasa a archivo nunca (la data vieja) van llenando el servidor al punto que una consulta se vuelve imposible. Esto no lo chequea nadie en ningún sistema porque nadie se molesta en generar un set de datos de prueba de millones de registros, mucho trabajo! nunca va a pasar!

En este mismo blog, y por mi propia culpa, en una época hacía miles de consultas innecesarias. Me di cuenta cuando me atacaron el sitio. Un día me cansé e implementé una caché bien simple, archivos .html guardados para cada usuario o para anónimos, duran unos minutos, pero si recibo un DDOS el servidor lo único que "gasta" es en preguntarse si existe una sesión de usuario y sino busca un archivo, sólo genera de nuevo la página si el archivo es muy viejo. Ahorro del 90% de uso de procesador más o menos :D

Ante la circunstancia de alto tráfico nos damos cuenta del problema real, hoy no hay sitio con Wordpress que no tenga que implementar alguna forma de caché, este blog puede funcionar sin problemas sin caché, sólo que me conviene tenerlo por las dudas de un DDOS.

Pero claro, yo no me la paso pidiéndole a sitios de terceros data de un update o cosas por el estilo, cada vez que alguien programa dependiendo de un tercero es cuando se da el problema principal y el código de terceros sólo preocupados en vender una licencia más está haciendo mierda la performance de muchos sitios.

Ahora bien, si creías que mucho cuidado sobre tu software podía solucionar esto, tal vez no sea posible. El mejor ejemplo está en la sonda Schiaparelli que se hizo puré contra Marte hace un par de semanas, la razón del error fue un sensor que emitió tal volumen de información al cruzar la tenue atmósfera marciana que el procesador se confundió y abrió paracaídas y preparó el proceso de aterrizaje cuando todavía estaba a 3km de la superficie. La saturación provocó un cuelgue y la destrucción de la sonda algo que en las decenas de pruebas previas no saltó a la luz.



Otra circunstancia con la que seguro muchos ya se encontraron es cuando un "mago" de estos que meten código sin entenderlo pide servidores a mansalva para que su software funcione bien, como si el problema fuere siempre que la máquina no alcanza. Vuelvo a ese plugin, seguramente con un servidor bestial nunca se iba a notar el problema, estaríamos usando mil veces más recursos de los necesarios, pero no se notaría.

Creo que eso es lo más importante que aprendí en la facultad cuando todavía cursaba, esa época en la que nos daban 8Kb de RAM para ordenar un millón de registros, cosas así, uno debía pensar la solución sin reventar la memoria, algo que hoy en día ya casi ni se analiza.

Hemos ido perdiendo el control en capas y capas de código que no entendemos, detrás de frameworks y abstracciones, probando cosas nuevas sin haber terminado el trabajo con las viejas, y como dice un programador que conozco, todo el software está roto. Lo importante es entender siempre esto.

Volver al inicio Ver original