Es hora de hacer un balance de febrero, un mes productivo a pesar de su brevedad. El enfoque principal estuvo en la automatización de procesos, la optimización del funcionamiento de la base de datos y el aumento del volumen de dominios procesados.

✅ Logros en febrero

• Automatización completa del proceso de HBTracker — el servicio ahora funciona sin intervención manual, asegurando una operación continua incluso en mi ausencia.
• Velocidad de visualización de estadísticas en el sitio — se han optimizado algunas consultas complejas y el trabajo continúa. Se está desarrollando un sistema de almacenamiento en caché de consultas para reducir la carga en la base de datos y acelerar la carga de las páginas.
• Búsqueda de soluciones para aumentar la velocidad de generación de informes — se identificó un problema de sobrecarga de la base de datos debido a un gran número de consultas. Aún no se ha encontrado una solución. El soporte del hosting no responde, por lo que puede ser necesario implementar una base de datos local o un búfer intermedio.
• Se añadió la opción de registrarse en el sitio — los usuarios registrados tendrán acceso a funcionalidades adicionales. Por el momento, estas están en desarrollo.
• Gracias al rastreo de resultados de búsqueda, la base de dominios ha crecido hasta ±300k — sin embargo, la arquitectura actual puede no soportar un mayor crecimiento.
• Se inició el trabajo en la catalogación de editores. Todavía no hay una solución para automatizar el trabajo manual. Se utiliza la taxonomía IAB 3.1 para la clasificación.
• Desarrollo de Battleboard — el monitoreo de adaptadores continúa por tercer mes, se agregó un nuevo adaptador, DynoTech, y el número total de adaptadores alcanzó los 61.

❌ Desafíos en febrero

• Optimizar el algoritmo de escaneo — la alta carga en la base de datos y el consumo excesivo de tráfico siguen siendo un problema crítico.
• Implementar la clasificación automática de sitios basada en consultas de búsqueda — aún en desarrollo.
• Desarrollar una arquitectura escalable para el catalogador — la automatización es técnicamente posible, pero requiere recursos significativos.
• Resolver el rápido crecimiento de la base de dominios — la base de datos actual ya muestra problemas de rendimiento.
• Problema con dominios en cirílico y mixtos — aún no se ha encontrado una solución.

🚀 Objetivos para marzo

• Automatizar el proceso de recopilación de semántica — esto mejorará la eficiencia del catalogador de clasificaciones gracias a una capa adicional de información.
• Crear un buscador de dominios — facilitará el trabajo con sitios web.
• Mejorar la página de dominios — optimizar la interfaz y las funcionalidades.
• Mejorar las funciones de Luminex — agregar la visualización de los resultados de rastreo de Yandex y Google.
• Mayor orquestación de los procesos de escaneo — optimizar el procesamiento de datos.
• Refactorización de LibTracker — el módulo de recopilación de información sobre bibliotecas no se ha actualizado desde diciembre. Es necesario modernizar el bot y ampliar sus capacidades.
• Desarrollo de la estrategia de producto y creación del backlog — corregir deficiencias de meses anteriores.
• Agregar nuevas funcionalidades para usuarios registrados — ampliar la cantidad de datos accesibles.

Febrero permitió alcanzar un nuevo nivel gracias a la automatización. Sin embargo, me he encontrado con nuevas limitaciones y será necesario realizar muchos cambios nuevamente o enfocarme en las funcionalidades. En marzo, habrá mucha optimización de lo existente, ¡y también intentaré agregar muchas novedades!

Battleboard: febrero 2025 — dos reyes y su corte

PubMag • 2025-03-02

Resultados de enero y planes para febrero

PubMag • 2025-02-04

Vacaciones de enero

PubMag • 2025-01-07

Cómo vinculé datos de HBTracker y LibTracker y qué surgió de ello

PubMag • 2024-12-10