Стартап Uptime Industries представил устройство Lemony AI — компактное решение "AI-in-a-box" для локального запуска LLM и AI-агентов прямо на стороне заказчика. Гаджет размером с бутерброд способен запускать языковые модели до 75 млрд параметров, поддерживает open source и адаптированные коммерческие модели, потребляет всего 65 Вт, а также масштабируется в кластеры для увеличения мощности.

Устройства ориентированы на сегменты с особыми требованиями к приватности данных — финансы, здравоохранение, юриспруденция — и позволяют полностью хранить и обрабатывать данные локально ("в коробке"). Стартап заключил партнёрства с IBM и JetBrains для доступа к моделям и поднял $2 млн посевных инвестиций (True Ventures, Alumni Ventures и др.).

Стоимость Lemony AI — $499/мес. за до 5 пользователей. Uptime планирует расширить возможности ПО (Lemony OS), сделав его кросс-хардварным и пригодным для командной работы, а не только для индивидуального использования.