Автор: Денис Матаков

  • Как настроить мультиязычную встречу в Google Meet с автопереводом

    Как настроить мультиязычную встречу в Google Meet с автопереводом


    Команды становятся всё более интернациональными — участники говорят на английском, русском, французском, испанском и даже китайском. Но как провести созвон, если не все владеют одним общим языком? Удивительно, но Google Meet уже умеет помогать в таких ситуациях: автоматически распознавать речь и переводить её в субтитры.

    Звучит как магия, и — спойлер — работает это действительно хорошо. Особенно если на встрече используется два языка. Когда больше — потребуется чуть больше внимания к настройке, но и это вполне реально.


    Что нужно для работы

    Google Meet умеет автоперевод только в платных версиях (Google Workspace Business/Enterprise). Также потребуется:

    • компьютер (на мобильных устройствах есть ограничения),
    • браузер Google Chrome (он самый стабильный для этой функции),
    • и немного терпения на начальной настройке.
    (далее…)
  • Эпохи и переобучение: как понять, когда модель уже научилась

    Эпохи и переобучение: как понять, когда модель уже научилась

    При обучении моделей машинного обучения часто возникает вопрос: сколько эпох нужно? Когда модель уже «поняла» данные, а когда она начинает запоминать их слишком точно (то есть переобучаться)?

    В этой статье:

    • Что такое эпоха
    • Как понять, что модель переобучается
    • Сколько эпох нужно
    • Как выбрать и настроить обучение правильно

    Что такое эпоха

    Эпоха — это один полный проход по всему обучающему набору данных.

    Допустим, у вас есть 10 000 примеров, и вы обучаете модель с batch_size=100. Это значит, за одну эпоху модель увидит все примеры по 100 штук за раз — всего 100 шагов.

    Когда эпох несколько, модель повторно видит одни и те же данные, чтобы «отточить» предсказания.

    (далее…)
  • Обзор методов квантования языковых моделей: GPTQ, GGUF, QLoRA

    Обзор методов квантования языковых моделей: GPTQ, GGUF, QLoRA

    Большие языковые модели (LLM) часто требуют десятки гигабайт видеопамяти и мощные серверы для запуска и обучения. Квантование — это способ уменьшить объём модели и ускорить её работу, с минимальной потерей качества.

    В этой статье:

    • Что такое квантование
    • Какие есть методы: GPTQ, GGUF, QLoRA
    • Чем они отличаются
    • Когда и как их применять

    Что такое квантование

    Квантование — это перевод весов модели из 32-битного формата (float32) в более компактные форматы: float16, int8, int4 и т. д.

    Цель:

    • уменьшить размер модели (в 2–8 раз)
    • сократить использование VRAM
    • ускорить инференс

    Пример: модель в fp32 весит 13 ГБ, а в int4 — 3–4 ГБ.

    (далее…)
  • Базовая инфраструктура для запуска LLM: Triton, ONNX, TorchScript и другие

    Базовая инфраструктура для запуска LLM: Triton, ONNX, TorchScript и другие

    Когда модель готова, важно не только её обучить, но и запустить эффективно, особенно если она используется в проде. Большие языковые модели (LLM) требуют особого подхода к инференсу — и тут приходят на помощь оптимизированные форматы и инференс-серверы.


    Что нужно для продакшен-инференса

    • Высокая скорость обработки запросов
    • Эффективное использование GPU
    • Поддержка большого числа одновременных пользователей
    • Гибкость и переносимость модели

    Обычный pipeline() из Hugging Face удобен, но не масштабируется. Для продакшена нужны другие инструменты.

    (далее…)
  • Метрики оценки качества моделей

    Метрики оценки качества моделей

    Когда вы обучаете или используете модели машинного обучения и большие языковые модели (LLM), важно измерять их качество. Без метрик невозможно понять, стала ли модель лучше, хуже или осталась такой же.

    В этой статье мы рассмотрим:

    • Метрики для классификации
    • Метрики для генерации текста
    • Специальные бенчмарки для LLM
    • Как и когда их применять

    Классификация: accuracy, F1 и другие

    Если модель должна выбрать правильный вариант ответа (например, категорию объявления), используются классические метрики:

    • Accuracy — доля правильных ответов
    • Precision — точность (насколько предсказанные метки действительно верные)
    • Recall — полнота (насколько хорошо модель нашла все правильные ответы)
    • F1-score — среднее между precision и recall
    (далее…)
  • RAG: Ответы на основе поиска в базе знаний

    RAG: Ответы на основе поиска в базе знаний

    RAG (Retrieval-Augmented Generation) — это подход, при котором большая языковая модель (LLM) получает не только сам вопрос, но и дополнительную информацию из базы знаний. Модель не «вспоминает» ответ из своей памяти, а «читает» найденный текст и отвечает на основе него.


    Зачем нужен RAG

    LLM не знает ничего о ваших внутренних документах, продуктах или инструкциях. Она может галлюцинировать — выдумывать ответы.

    RAG позволяет использовать актуальные и точные данные:

    • Вы передаёте в модель текст, найденный по запросу
    • Модель отвечает с опорой на этот текст

    Как работает RAG

    1. Получаем вопрос от пользователя
    2. Кодируем его в вектор (эмбеддинг)
    3. Ищем похожие документы в базе (векторный поиск)
    4. Склеиваем найденные тексты и добавляем к вопросу
    5. Передаём всё это в LLM как prompt
    6. Модель отвечает
    (далее…)
  • Трекинг экспериментов с MLflow и DVC

    Трекинг экспериментов с MLflow и DVC

    При разработке моделей важно не только обучить модель, но и уметь:

    • отслеживать параметры обучения
    • сохранять метрики (точность, F1 и др.)
    • версионировать модели и датасеты
    • воспроизводить эксперименты

    Для этого используются инструменты вроде MLflow и DVC.


    Зачем нужен трекинг

    Допустим, вы обучили три модели с разными параметрами. Какая из них лучше? Сколько эпох было? Какой learning_rate? Где лежит файл модели?

    Без трекинга это всё теряется в коде и папках. С трекингом — у вас есть история всех запусков и чёткая структура.

    (далее…)
  • Обучение больших моделей с помощью QLoRA

    Обучение больших моделей с помощью QLoRA

    QLoRA — это метод, который позволяет дообучать большие языковые модели (LLM) в сжатом 4-битном виде, экономя память и ресурсы. Он позволяет запускать fine-tuning даже на одной видеокарте вроде RTX 3060 или 3090.

    В этой статье разберёмся:

    • Что такое QLoRA
    • Как она работает
    • Когда и зачем её использовать
    • Как на практике дообучить свою модель с помощью QLoRA

    Что такое QLoRA

    QLoRA (Quantized LoRA) сочетает два подхода:

    • Квантование — уменьшает размер модели, переводя её веса в 4-битный формат (вместо 16 или 32 бит)
    • LoRA (Low-Rank Adapters) — позволяет добавлять к модели небольшие обучаемые адаптеры, не изменяя сами веса модели
    (далее…)
  • vLLM: Ускоренный инференс языковых моделей

    vLLM: Ускоренный инференс языковых моделей

    vLLM — это фреймворк для высокоэффективного запуска больших языковых моделей (LLM), разработанный с нуля для максимальной скорости, параллельности и поддержки большого количества запросов одновременно.

    Если вы используете LLaMA, Mistral, Falcon или другие большие модели в проде или прототипе — vLLM это то, что стоит попробовать.


    Что делает vLLM особенным

    vLLM оптимизирован для инференса LLM. В отличие от стандартного подхода через Hugging Face pipeline(), он:

    • поддерживает OpenAI-совместимый API
    • эффективно управляет памятью (через PagedAttention)
    • обрабатывает десятки и сотни запросов одновременно
    • совместим с популярными моделями
    (далее…)
  • Hugging Face Transformers: Пошаговое введение

    Hugging Face Transformers: Пошаговое введение

    Transformers — это библиотека от Hugging Face, которая позволяет легко использовать мощные языковые модели вроде BERT, GPT, RoBERTa и многих других. Она содержит как сами модели, так и удобные инструменты для инференса, обучения и обработки текста.

    В этом материале:

    • Что такое pipeline и как быстро сделать инференс
    • Как загружать модели и токенизаторы вручную
    • Как обучить модель под свою задачу (fine-tuning)
    • Как сохранить и использовать свою модель
    (далее…)