Хабр собрал подборку открытых решений для генерации синтетических данных, которые помогают сократить расходы на работу с ML и упростить эксперименты. В центре внимания четыре Python-библиотеки.

Bespoke Curator (Bespoke Labs, 2025) под Apache 2.0 автоматизирует построение масштабируемых пайплайнов и интеграцию с API OpenAI и Anthropic. Отличается кэшированием сгенерированных данных и встроенным CodeExecutor, уже применялся для создания датасетов OpenThoughts2-1M и других.

Distilabel (Argilla, 2023) — фреймворк для генерации структурированных синтетических наборов с использованием Outlines, Instructor, Ray и Faiss. Применялся для датасетов OpenHermesPreference и Intel Orca DPO.

mostlyai (MOSTLY AI, 2023) генерирует обезличенные синтетические данные на основе клиентских таблиц, опираясь на TabularARGN. Способен создавать миллионы записей за минуты даже на CPU, подходит для ML и тестирования ПО.

DataDreamer (Университеты Пенсильвании и Торонто, 2024, MIT) создан для академических исследований: поддерживает многошаговые пайплайны, интеграцию с Hugging Face и автоматическое кэширование. Все инструменты снабжены документацией и примерами для быстрого старта.