О чём урок
В этом разделе мы рассмотрим продвинутые фреймворки для оптимизации развертывания LLM: Text Generation Inference (TGI), vLLM и llama.cpp. Эти приложения в первую очередь используются в промышленной эксплуатации для обслуживания LLM реальных пользователей. Раздел посвящен тому, как разворачивать эти фреймворки в production, а не тому, как использовать их для инференса на одной машине.
Мы разберем, как эти инструменты максимизируют эффективность инференса и упрощают промышленное развертывание больших языковых моделей.
TGI, vLLM и llama.cpp решают схожие задачи, но обладают особенностями, которые делают их более подходящими для разных сценариев использования. Рассмотрим ключевые различия между ними, уделив особое внимание производительности и интеграции.
TGI создан для стабильной и предсказуемой работы в production: фиксированная длина последовательностей позволяет поддерживать равномерное потребление памяти. TGI управляет памятью с помощью Flash Attention 2 и техники непрерывного батчинга (continuous batching). Это значит, что вычисления внимания выполняются очень эффективно, а GPU постоянно загружен работой. При необходимости система может перемещать части модели между CPU и GPU, что помогает работать с более крупными моделями.
Flash Attention — это техника, которая оптимизирует механизм внимания в трансформерных моделях, устраняя узкие места в пропускной способности памяти. Как уже обсуждалось в главе 1.8, механизм внимания имеет квадратичную сложность и потребление памяти, из за чего он неэффективен для длинных последовательностей.
Ключевое новшество заключается в том, как управляются передачи данных между High Bandwidth Memory (HBM) и более быстрым кешем SRAM. Традиционное внимание многократно передает данные между HBM и SRAM, создавая узкие места и оставляя GPU простаивать. Flash Attention загружает данные в SRAM один раз и выполняет все вычисления там, сводя к минимуму дорогостоящие передачи данных между видами памяти.
Хотя наибольший выигрыш эта техника дает при обучении, сниженное потребление VRAM и повышенная эффективность Flash Attention полезны и при инференсе, позволяя обслуживать LLM быстрее и с большей масштабируемостью.
vLLM использует другой подход, основанный на PagedAttention.
PagedAttention — это техника, устраняющая еще одно…
План урока
- Как выбрать фреймворк
- Управление памятью и производительность
- Развертывание и интеграция
- Начало работы
- Установка и базовая настройка
- Базовая генерация текста
- Продвинутое управление генерацией
- Выбор токенов и сэмплирование
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.