Как я дообучал модель на своих текстах после провала статьи на Хабре
Коротко
- Автор признаёт ошибку предыдущей AI-статьи: проблема была не в ИИ как таковом, а в отсутствии проверки фактов и финальной вычитки.
- Стандартный промптинг с tone of voice, структурой и few-shot-примерами дал формально рабочий, но слишком усреднённый результат.
- Для fine-tuning использовали 15 пар «сырой вход — готовый текст», чтобы модель училась редактировать черновики в авторском стиле.
- Первая настройка с 8 эпохами и multiplier 2 привела к переобучению: Train Loss падал, а Validation Loss оставался нестабильным.
- После перехода на 3 эпохи и multiplier 0,5 Validation Loss стабилизировался на 0,697, а качество стало ближе к рабочему процессу.
Поводом стал провал предыдущей публикации: автор признаёт, что слишком доверился ИИ, не перепроверил устаревшие данные и не вычитал текст. Он спорит только с тезисом, что текст, созданный с помощью ИИ, автоматически плохой: проблема не в инструменте, а в том, что модель используют вместо мышления и редакторской ответственности.
Сначала автор пробовал стандартную схему: системный промпт, tone of voice, структуру и few-shot-примеры. Такой подход выполнял формальные KPI, но давал усреднённый деловой текст, поэтому он собрал 15 пар «сырой вход — готовый отредактированный текст» и написал скрипт для обучения, чтобы управлять параметрами fine-tuning.
Первая конфигурация с 8 эпохами и learning rate multiplier 2 привела к переобучению: Train Loss упал примерно до 0,136, а Validation Loss гулял от 0,2 до 1,8. После сокращения до 3 эпох и multiplier 0,5 Validation Loss стабилизировался на 0,697, Full Valid Loss улучшился с 1,694 до 0,697, accuracy держалась около 0,78; автор оценивает итог как 60–70% от желаемого результата и подчёркивает, что маленький датасет ограничивает потолок качества.
FAQ
Зачем автор дообучал модель на собственных текстах, если уже можно было использовать обычные промпты и few-shot-примеры?
Обычный промптинг давал слишком усреднённый деловой стиль. Fine-tuning нужен был, чтобы модель лучше превращала черновики в материалы, похожие на реальные тексты автора.
Какая настройка обучения оказалась удачнее после первой попытки с признаками переобучения модели?
Автор сократил число эпох с 8 до 3 и снизил learning rate multiplier с 2 до 0,5. После этого Validation Loss стабилизировался на 0,697.
Почему даже после fine-tuning автор не считает модель полноценной заменой человеку в подготовке текстов?
Он оставляет за собой фактуру, контекст, тезисы и финальную проверку. Модель используется как инструмент оптимизации, а не как автономный автор.
Читайте также
- Редакционный контроль при использовании ИИ для текстов: AI-генерация в редакционном процессе требует обязательного человеческого контроля: проверки фактов, актуальности данных, структуры и финальной вычитки. Ошибка возникает не из-за самого ИИ, а когда модель используют как замену авторскому мышлению и редакторской ответственности.
[AI-контент и редакционный процесс]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
ХабрLLMfine-tuningai-writingprompt-engineeringai-dev-practicescontent-marketingml-datasetscreative-writingtechnical-writingmachine-learningfew-shot-prompting
Автор
Хабр-статьи описывает, как после неудачного AI-текста перешёл от промптов к fine-tuning модели на собственных материалах. Главный вывод: ИИ полезен не как замена автора, а как часть процесса, где человек отвечает за фактуру, смысл и финальную проверку.