Автономная работа HBTracker

Дата публикации: 2025-03-06 | Источник: PubMag

Пришло время отчитаться за февраль, который оказался продуктивным месяцем, несмотря на его краткость. Основной фокус был направлен на автоматизацию процессов, оптимизацию работы базы данных и увеличение объема обрабатываемых доменов.

✅ Что получилось в феврале

Полностью автоматизирован процесс работы HBTracker — сервис теперь работает без ручного вмешательства, обеспечивая непрерывную работу системы даже в мое отсутствие.
Скорость вывода статистики на сайте — оптимизирована часть сложных запросов, работа продолжается. Разрабатывается система кеширования запросов для снижения нагрузки на базу и ускорения загрузки страниц.
Поиск решений для увеличения скорости сбора отчетов — выявлена проблема перегрузки базы данных из-за большого количества запросов. Решение пока не найдено. Саппорт хостинга не отвечает, возможно, потребуется внедрить локальную работу с базой данных или промежуточный буфер.
Добавлена возможность зарегистрироваться на сайте — зарегистрированные пользователи получат расширенный функционал. На данный момент дополнительные возможности в разработке.
Благодаря парсингу поисковой выдачи удалось увеличить базу доменов до ±300k — однако текущая архитектура может не справиться с дальнейшим ростом.
Запущена работа по каталогизации издателей. Пока нет решения для автоматизации ручного труда. Для разметки используется таксономия IAB 3.1
Развитие Battleboard — мониторинг адаптеров продолжается третий месяц, добавлен новый адаптер DynoTech, общее количество адаптеров достигло 61.

❌ Что не получилось в феврале

Оптимизировать алгоритм сканирования — высокая нагрузка на БД и избыточный расход трафика остаются критическим узким местом.
Реализовать автоматизированную разметку сайтов по собранным поисковым запросам — все еще в разработке.
Разработать масштабируемую архитектуру каталогизатора — автоматизация технически возможна, но требует значительных ресурсов.
Решить проблему быстрого роста базы доменов — текущая база данных уже показывает проблемы с производительностью.
Существует проблема с кириллическими и смешанными доменами. Решение пока не найдено.

🚀 Цели на март

Автоматизировать процесс сбора семантики — это повысит эффективность каталогизатора разметки благодаря дополнительному слою информации.
Создать поиск по доменам — это упростит работу с сайтами.
Доработка страницы домена — улучшить интерфейс и функционал.
Улучшение функционала Luminex — добавить вывод результатов парсинга поисковой выдачи Яндекс и Google.
Дальнейшая оркестрация процессов сканирования — оптимизировать обработку данных.
Рефакторинг LibTracker — модуль сбора информации о библиотеках не обновлялся с декабря. Необходимо модернизировать бота и расширить его возможности.
Развитие продуктовой стратегии и формирование бэклога — исправить недочеты прошлых месяцев.
Добавление новых возможностей для зарегистрированных пользователей — расширить объем доступных данных.

В феврале удалось достичь нового уровня благодаря автоматизации. Однако я снова уперся в ограничения и потребуется либо опять много менять, либо сосредоточиться на функционале. В марте точно будет много оптимизации того что уже есть, а также я постараюсь добавить много нового!