Введение в малые языковые модели для генеративного ИИ для начинающих

Цели урока

• Что такое SLM?
• В чём разница между SLM и LLM?
• Что представляет собой семейство Microsoft Phi-3/3.5?
• Как выполнять инференс с моделями семейства Microsoft Phi-3/3.5?

О чём урок

Примечание AI University. Примеры кода в оригинале курса рассчитаны на Azure OpenAI или GitHub Models. Те же запросы можно отправлять через OpenAI API или другой OpenAI-совместимый сервис: замените клиент, адрес сервиса, название модели и ключ на свои и сверьтесь с документацией выбранного провайдера. Генеративный ИИ представляет собой увлекательную область искусственного интеллекта, которая сосредоточена на создании систем, способных генерировать новый контент. Этот контент может варьироваться от текста и изображений до музыки и даже целых виртуальных сред. Одно из самых интересных применений генеративного ИИ находится в области языковых моделей. Малая языковая модель (SLM) представляет собой уменьшенный вариант большой языковой модели (LLM), использующий многие архитектурные принципы и методы LLM, но при этом обладающий значительно меньшими вычислительными затратами. SLM: подмножество языковых моделей, предназначенных для генерации текста, похожего на человеческий. В отличие от своих более крупных аналогов, таких как GPT-4, SLM более компактны и эффективны, что делает их идеальными для приложений с ограниченными вычислительными ресурсами. Несмотря на меньший размер, они способны выполнять множество задач. Как правило, SLM создаются путём сжатия или дистилляции LLM с целью сохранить значительную часть функциональности и лингвистических возможностей исходной модели. Такое уменьшение размера модели снижает общую сложность, делая SLM более эффективными как с точки зрения использования памяти, так и вычислительных требований. Несмотря на эти оптимизации, SLM могут выполнять широкий спектр задач обработки естественного языка (NLP): Генерация текста: создание связных и контекстуально релевантных предложений или абзацев. Дополнение текста: прогнозирование и завершение предложений на основе заданного промпта. Перевод: преобразование текста с одного языка на другой. Суммирование: сокращение длинных текстов до более коротких, более понятных резюме. При этом возможны некоторые компромиссы в производительности или глубине понимания по сравнению с их более крупными аналогами. SLM обучаются на огромных объёмах текстовых данных.

План урока

1. Что такое малые языковые модели?
2. Как работают малые языковые модели?
3. Различия между большими языковыми моделями (LLM) и малыми языковыми моделями (SLM)
4. Применение малых языковых моделей
5. Знакомство с семейством Phi-3 / Phi-3.5
6. Phi-3 / 3.5 Instruct
7. Phi-3 / 3.5 Vision
8. Phi-3.5-MoE