Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 20 · Текст · ~5 мин

Быстрый инференс LLM в продакшене

Урок 20 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом разделе мы рассмотрим продвинутые фреймворки для оптимизации развертывания LLM: Text Generation Inference (TGI), vLLM и llama.cpp. Эти приложения в первую очередь используются в промышленной эксплуатации для обслуживания LLM реальных пользователей. Раздел посвящен тому, как разворачивать эти фреймворки в production, а не тому, как использовать их для инференса на одной машине.

Мы разберем, как эти инструменты максимизируют эффективность инференса и упрощают промышленное развертывание больших языковых моделей.

TGI, vLLM и llama.cpp решают схожие задачи, но обладают особенностями, которые делают их более подходящими для разных сценариев использования. Рассмотрим ключевые различия между ними, уделив особое внимание производительности и интеграции.

TGI создан для стабильной и предсказуемой работы в production: фиксированная длина последовательностей позволяет поддерживать равномерное потребление памяти. TGI управляет памятью с помощью Flash Attention 2 и техники непрерывного батчинга (continuous batching). Это значит, что вычисления внимания выполняются очень эффективно, а GPU постоянно загружен работой. При необходимости система может перемещать части модели между CPU и GPU, что помогает работать с более крупными моделями.

Flash Attention — это техника, которая оптимизирует механизм внимания в трансформерных моделях, устраняя узкие места в пропускной способности памяти. Как уже обсуждалось в главе 1.8, механизм внимания имеет квадратичную сложность и потребление памяти, из за чего он неэффективен для длинных последовательностей.

Ключевое новшество заключается в том, как управляются передачи данных между High Bandwidth Memory (HBM) и более быстрым кешем SRAM. Традиционное внимание многократно передает данные между HBM и SRAM, создавая узкие места и оставляя GPU простаивать. Flash Attention загружает данные в SRAM один раз и выполняет все вычисления там, сводя к минимуму дорогостоящие передачи данных между видами памяти.

Хотя наибольший выигрыш эта техника дает при обучении, сниженное потребление VRAM и повышенная эффективность Flash Attention полезны и при инференсе, позволяя обслуживать LLM быстрее и с большей масштабируемостью.

vLLM использует другой подход, основанный на PagedAttention.

PagedAttention — это техника, устраняющая еще одно…

План урока

  1. Как выбрать фреймворк
  2. Управление памятью и производительность
  3. Развертывание и интеграция
  4. Начало работы
  5. Установка и базовая настройка
  6. Базовая генерация текста
  7. Продвинутое управление генерацией
  8. Выбор токенов и сэмплирование

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды