Как работают большие языковые модели (LLM): уроки на русском
Большая языковая модель (LLM) — это нейросеть, обученная на огромном объёме текстов предсказывать следующий фрагмент текста (токен). Из этого простого механизма вырастают ответы на вопросы, перевод, код и рассуждения. Большинство современных LLM построены на архитектуре «трансформер». Ниже уроки о том, как устроены и работают языковые модели.
На странице 25 уроков из 6 курсов, 1 из них открыты бесплатно (отмечены зелёным). Уроки переведены на русский, у видео русские субтитры, к каждому уроку есть конспект.
Уроки по теме
Mistral AI Cookbook
Официальный курс Mistral AI Cookbook от Mistral AI на русском · 148 уроков · первые 3 урока бесплатно
- Детерминизм
- LLM - Краткий обзор
- Основы – Краткий обзор
- Токенизатор V1:
- Границы - Напоминание
- Токенизатор V1
- Кодирование
- Токенизация – Краткий обзор
- Настройка LLM и Embedding Model
HuggingFace: курс по Transformers
Официальный курс Hugging Face Learn от Hugging Face на русском · 104 уроков · первые 3 урока бесплатно
- 1️⃣ Введение в обучение с подкреплением и его роль в LLM
- Современные большие языковые модели (LLM)
- Подготовка к обучению
- 1. Когда следует обучать новый токенизатор?
- Группировка сущностей
- Датасет CoNLL-2003
- Перплексия языковых моделей
- 1. Какую из следующих задач можно сформулировать как проблему классификации токенов?
Возможности и ограничения AI
Официальный курс Anthropic Academy от Anthropic на русском · 14 уроков · первые 3 урока бесплатно
- Предсказание Следующего Токена: Сердце Генеративного ИИ
- Знания больших языковых моделей: Откуда Claude берет информацию и где ее границы
- Понимание смысла: Как LLM работают с текстом через эмбеддинги
OpenAI Cookbook
Официальный курс OpenAI Academy от OpenAI на русском · 299 уроков · первые 3 урока бесплатно
- Добавление галлюцинаций
- 1.1 Подсчет токенов в каждом фрагменте
- 1.2.1 Мы создаём dataset и отфильтровываем все разделы, содержащие менее 40 токенов, поскольку они вряд ли содержат достаточно контекста для постановки хорошего вопроса.
MCP: продвинутые темы
Официальный курс Anthropic Academy от Anthropic на русском · 18 уроков · первые 3 урока бесплатно
Промпт-инженерия: интерактивный курс
Официальный курс Anthropic Academy от Anthropic на русском · 13 уроков · первые 3 урока бесплатно
Как начать бесплатно
Первые уроки каждого курса открыты без оплаты: достаточно войти через Telegram. Начните с первого урока любого курса из списка:
- Mistral AI Cookbook: урок 1 — первые 3 урока бесплатно
- HuggingFace: курс по Transformers: урок 1 — первые 3 урока бесплатно
- Возможности и ограничения AI: урок 1 — первые 3 урока бесплатно
- OpenAI Cookbook: урок 1 — первые 3 урока бесплатно
- MCP: продвинутые темы: урок 1 — первые 3 урока бесплатно
- Промпт-инженерия: интерактивный курс: урок 1 — первые 3 урока бесплатно
Полный доступ ко всем урокам
Курсы одного провайдера: 1490 руб., все 59 курсов: 4900 руб. Разовый платёж, без подписки.
Открыть каталог курсовЧастые вопросы
Как работает нейросеть простыми словами?
Языковая модель по частям предсказывает продолжение текста, опираясь на закономерности, выученные из огромного корпуса текстов. Отвечая, она каждый раз выбирает наиболее вероятный следующий токен.
Что такое токен?
Это кусочек текста (часть слова, слово или знак), с которым работает модель. От числа токенов зависят лимиты и стоимость запросов.
Почему нейросети ошибаются и «галлюцинируют»?
Модель выбирает правдоподобное продолжение, а не проверяет факты. Уроки ниже объясняют, как снижать ошибки: давать источники, просить ссылаться на них, использовать RAG.