Подборка открытых решений для генерации синтетических данных
Хабр собрал подборку открытых решений для генерации синтетических данных, которые помогают сократить расходы на работу с ML и упростить эксперименты. В центре внимания четыре Python-библиотеки.
Bespoke Curator (Bespoke Labs, 2025) под Apache 2.0 автоматизирует построение масштабируемых пайплайнов и интеграцию с API OpenAI и Anthropic. Отличается кэшированием сгенерированных данных и встроенным CodeExecutor, уже применялся для создания датасетов OpenThoughts2-1M и других.
Distilabel (Argilla, 2023) — фреймворк для генерации структурированных синтетических наборов с использованием Outlines, Instructor, Ray и Faiss. Применялся для датасетов OpenHermesPreference и Intel Orca DPO.
mostlyai (MOSTLY AI, 2023) генерирует обезличенные синтетические данные на основе клиентских таблиц, опираясь на TabularARGN. Способен создавать миллионы записей за минуты даже на CPU, подходит для ML и тестирования ПО.
DataDreamer (Университеты Пенсильвании и Торонто, 2024, MIT) создан для академических исследований: поддерживает многошаговые пайплайны, интеграцию с Hugging Face и автоматическое кэширование. Все инструменты снабжены документацией и примерами для быстрого старта.
Читайте также
Муниципальная компания Рио-де-Жанейро выпустила открытую ИИ-модель на 397 млрд параметров
Стоит ли использовать Qwen: качество и цена- Как AI-агент и локальные модели помогли за вечер разобрать 36 000 фотографий и почту с 2005 года
WPP прогнозирует, что реклама в AI-поиске станет самым быстрорастущим каналом в рекламе- ИИ в управлении мастер-данными: от точечных улучшений к новому опыту взаимодействия
- Bespoke Curator: генерация синтетических данных с кэшированием: Bespoke Curator (Bespoke Labs, 2025) автоматизирует построение масштабируемых пайплайнов генерации данных и поддерживает интеграцию с API OpenAI и Anthropic. Уникальная особенность — автоматическое кэширование, позволяющее возобновлять процесс с места прерывания и строить многоступенчатые пайплайны. Инструмент уже применялся для создания крупных датасетов, включая OpenThoughts2-1M для обучения reasoning-моделей.
[Инструменты для работы с данными]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться