Денис Матаков

При обучении моделей машинного обучения часто возникает вопрос: сколько эпох нужно? Когда модель уже «поняла» данные, а когда она начинает запоминать их слишком точно (то есть переобучаться)?

В этой статье:

• Что такое эпоха
• Как понять, что модель переобучается
• Сколько эпох нужно
• Как выбрать и настроить обучение правильно

---

Что такое эпоха

Эпоха — это один полный проход по всему обучающему набору данных.

Допустим, у вас есть 10 000 примеров, и вы обучаете модель с batch_size=100. Это значит, за одну эпоху модель увидит все примеры по 100 штук за раз — всего 100 шагов.

Когда эпох несколько, модель повторно видит одни и те же данные, чтобы «отточить» предсказания.

(далее…)

Большие языковые модели (LLM) часто требуют десятки гигабайт видеопамяти и мощные серверы для запуска и обучения. Квантование — это способ уменьшить объём модели и ускорить её работу, с минимальной потерей качества.

В этой статье:

• Что такое квантование
• Какие есть методы: GPTQ, GGUF, QLoRA
• Чем они отличаются
• Когда и как их применять

---

Что такое квантование

Квантование — это перевод весов модели из 32-битного формата (float32) в более компактные форматы: float16, int8, int4 и т. д.

Цель:

• уменьшить размер модели (в 2–8 раз)
• сократить использование VRAM
• ускорить инференс

Пример: модель в fp32 весит 13 ГБ, а в int4 — 3–4 ГБ.

(далее…)

Когда модель готова, важно не только её обучить, но и запустить эффективно, особенно если она используется в проде. Большие языковые модели (LLM) требуют особого подхода к инференсу — и тут приходят на помощь оптимизированные форматы и инференс-серверы.

---

Что нужно для продакшен-инференса

• Высокая скорость обработки запросов
• Эффективное использование GPU
• Поддержка большого числа одновременных пользователей
• Гибкость и переносимость модели

Обычный pipeline() из Hugging Face удобен, но не масштабируется. Для продакшена нужны другие инструменты.

(далее…)

Когда вы обучаете или используете модели машинного обучения и большие языковые модели (LLM), важно измерять их качество. Без метрик невозможно понять, стала ли модель лучше, хуже или осталась такой же.

В этой статье мы рассмотрим:

• Метрики для классификации
• Метрики для генерации текста
• Специальные бенчмарки для LLM
• Как и когда их применять

---

Классификация: accuracy, F1 и другие

Если модель должна выбрать правильный вариант ответа (например, категорию объявления), используются классические метрики:

• Accuracy — доля правильных ответов
• Precision — точность (насколько предсказанные метки действительно верные)
• Recall — полнота (насколько хорошо модель нашла все правильные ответы)
• F1-score — среднее между precision и recall

(далее…)

RAG (Retrieval-Augmented Generation) — это подход, при котором большая языковая модель (LLM) получает не только сам вопрос, но и дополнительную информацию из базы знаний. Модель не «вспоминает» ответ из своей памяти, а «читает» найденный текст и отвечает на основе него.

---

Зачем нужен RAG

LLM не знает ничего о ваших внутренних документах, продуктах или инструкциях. Она может галлюцинировать — выдумывать ответы.

RAG позволяет использовать актуальные и точные данные:

• Вы передаёте в модель текст, найденный по запросу
• Модель отвечает с опорой на этот текст

---

Как работает RAG

1. Получаем вопрос от пользователя
2. Кодируем его в вектор (эмбеддинг)
3. Ищем похожие документы в базе (векторный поиск)
4. Склеиваем найденные тексты и добавляем к вопросу
5. Передаём всё это в LLM как prompt
6. Модель отвечает

(далее…)

При разработке моделей важно не только обучить модель, но и уметь:

• отслеживать параметры обучения
• сохранять метрики (точность, F1 и др.)
• версионировать модели и датасеты
• воспроизводить эксперименты

Для этого используются инструменты вроде MLflow и DVC.

---

Зачем нужен трекинг

Допустим, вы обучили три модели с разными параметрами. Какая из них лучше? Сколько эпох было? Какой learning_rate? Где лежит файл модели?

Без трекинга это всё теряется в коде и папках. С трекингом — у вас есть история всех запусков и чёткая структура.

(далее…)

QLoRA — это метод, который позволяет дообучать большие языковые модели (LLM) в сжатом 4-битном виде, экономя память и ресурсы. Он позволяет запускать fine-tuning даже на одной видеокарте вроде RTX 3060 или 3090.

В этой статье разберёмся:

• Что такое QLoRA
• Как она работает
• Когда и зачем её использовать
• Как на практике дообучить свою модель с помощью QLoRA

---

Что такое QLoRA

QLoRA (Quantized LoRA) сочетает два подхода:

• Квантование — уменьшает размер модели, переводя её веса в 4-битный формат (вместо 16 или 32 бит)
• LoRA (Low-Rank Adapters) — позволяет добавлять к модели небольшие обучаемые адаптеры, не изменяя сами веса модели

(далее…)

vLLM — это фреймворк для высокоэффективного запуска больших языковых моделей (LLM), разработанный с нуля для максимальной скорости, параллельности и поддержки большого количества запросов одновременно.

Если вы используете LLaMA, Mistral, Falcon или другие большие модели в проде или прототипе — vLLM это то, что стоит попробовать.

---

Что делает vLLM особенным

vLLM оптимизирован для инференса LLM. В отличие от стандартного подхода через Hugging Face pipeline(), он:

• поддерживает OpenAI-совместимый API
• эффективно управляет памятью (через PagedAttention)
• обрабатывает десятки и сотни запросов одновременно
• совместим с популярными моделями

(далее…)

Transformers — это библиотека от Hugging Face, которая позволяет легко использовать мощные языковые модели вроде BERT, GPT, RoBERTa и многих других. Она содержит как сами модели, так и удобные инструменты для инференса, обучения и обработки текста.

В этом материале:

• Что такое pipeline и как быстро сделать инференс
• Как загружать модели и токенизаторы вручную
• Как обучить модель под свою задачу (fine-tuning)
• Как сохранить и использовать свою модель

(далее…)