Вторая глава серии ML Q & AI на «Хабре» посвящена self-supervised learning (SSL) — методу предварительного обучения, позволяющему использовать неразмеченные данные в стиле supervised-подхода. В публикации проводится сравнение SSL с трансферным обучением: оба метода позволяют использовать предварительно обученные модели, но в случае SSL метки создаются автоматически, а не вручную.

Подробно разобраны две ключевые категории SSL:

• Self-prediction — подход, при котором части входных данных маскируются или искажаются, а модель обучается их восстанавливать. Примеры включают денойзинг и маскированные автоэнкодеры, а также предсказание пропущенных слов, как в GPT.
• Контрастное обучение — метод, при котором модель учится различать схожие и непохожие пары объектов, минимизируя расстояние между эмбеддингами схожих примеров и максимизируя — между разнородными. Визуализируется через сиамские сети.

Особое внимание уделено применимости SSL: оно особенно эффективно для трансформеров и LLM, но бесполезно в классических ML-моделях (деревья решений, бустинг). Публикация иллюстрирует важность SSL в условиях нехватки размеченных данных и растущей сложности нейросетевых архитектур.