Модели с открытым исходным кодом

Цели урока

• Получить представление об открытых моделях.
• Понять преимущества работы с открытыми моделями.
• Изучить открытые модели, доступные на Hugging Face и в каталоге моделей Microsoft Foundry.

О чём урок

Мир больших языковых моделей (LLM) с открытым исходным кодом захватывающий и постоянно развивается. В этом уроке мы подробно рассмотрим открытые модели. Если вы ищете информацию о сравнении проприетарных и открытых моделей, перейдите к уроку "Изучение и сравнение различных LLM". В этом уроке также будет затронута тема дообучения (fine-tuning), но более подробное объяснение вы найдёте в уроке "Дообучение LLM". Программное обеспечение с открытым исходным кодом сыграло решающую роль в развитии технологий в различных областях. Инициатива Open Source Initiative (OSI) определила 10 критериев для программного обеспечения, чтобы оно классифицировалось как открытое. Исходный код должен быть открыто опубликован под лицензией, одобренной OSI. Хотя разработка LLM имеет схожие элементы с разработкой программного обеспечения, процесс не совсем идентичен. Это вызвало много дискуссий в сообществе относительно определения открытого исходного кода в контексте LLM. Чтобы модель соответствовала традиционному определению открытого исходного кода, следующая информация должна быть общедоступной: Наборы данных, использованные для обучения модели. Полные веса модели как часть обучения. Код для оценки. Код для дообучения. Полные веса модели и метрики обучения. В настоящее время лишь немногие модели соответствуют этим критериям. Модель OLMo, созданная Институтом искусственного интеллекта Аллена (AllenAI), относится к этой категории. В этом уроке мы будем называть модели "открытыми моделями", поскольку на момент написания они могут не полностью соответствовать приведённым выше критериям. Высокая настраиваемость. Поскольку открытые модели выпускаются с подробной информацией об обучении, исследователи и разработчики могут изменять внутренние компоненты модели. Это позволяет создавать высокоспециализированные модели, дообученные для конкретной задачи или области исследования. Примеры включают генерацию кода, математические операции и биологию. Стоимость. Стоимость за токен при использовании и развёртывании этих моделей ниже, чем у проприетарных моделей. При создании приложений генеративного ИИ следует оценивать соотношение производительности и цены при работе с этими моделями для вашего варианта использования. Источник: Artificial Analysis Гибкость. Работа с открытыми моделями позволяет вам быть гибкими в использовании различных моделей или их комбинаций.

План урока

1. Введение
2. Что такое открытые модели?
3. Преимущества открытых моделей
4. Изучение различных открытых моделей
5. Llama 2
6. Mistral
7. Falcon
8. Как выбрать