Нейросети с нуля: по открытому коду Андрея Карпати на русском — курс по открытому коду Андрея Карпати
Неофициальный курс AI University по открытому коду (MIT) Андрея Карпати: автоград micrograd, символьные модели makemore, GPT в nanoGPT и токенизатор BPE из minbpe. Разбор кода с русскими комментариями и задания.
Собственный курс AI University на русском по открытому коду (лицензия MIT). Неофициальный курс: автор кода не связан с ним и не одобрял его. 16 уроков, первые 3 бесплатно, дальше разовая оплата без подписки.
Уровень: Продвинутый. Длительность: около 480 минут. Формат: текст с примерами.
Что вы сможете после курса
- Понимать, как работает автоматическое дифференцирование, и написать обратное распространение с нуля
- Собирать и обучать символьные языковые модели: биграммы, MLP, нормализация, иерархия
- Разбирать устройство GPT в nanoGPT: self-attention, блок трансформера, обучение и генерация
- Обучать собственный BPE-токенизатор и понимать, как токены влияют на работу LLM
Почему этому курсу можно доверять
- Открытый код: курс построен на реальном коде открытых репозиториев (лицензия MIT), фрагменты приводятся с русскими комментариями и ссылками на исходные файлы.
- Собственные объяснения: тексты, примеры и задания написаны командой AI University. Это неофициальный курс, автор кода не связан с ним и не одобрял его.
- Без VPN и иностранных платформ: все уроки лежат здесь, вход через Telegram.
- Актуальность: следим за обновлениями первоисточника и добавляем новые уроки по мере выхода.
- Прозрачная оплата: первые 3 3 урока бесплатно, разовый платёж без подписки, доступ навсегда, возврат 14 дней. Российская компания, оферта и чек.
- Именной сертификат: после прохождения курса выдаём сертификат с номером, QR-кодом и страницей проверки подлинности, PDF приходит на почту.
Уроки курса
- Введение: что мы соберём и как запускать код
- micrograd: значение и граф вычислений
- micrograd: обратное распространение и правило цепочки
- micrograd: нейрон, слой, сеть и обучение
- makemore: данные и биграммная модель
- makemore: MLP по символам и эмбеддинги
- Активации, инициализация и нормализация батчем
- Иерархия вместо плоского контекста: WaveNet-подобная модель и рекуррентные сети
- nanoGPT: токены и данные на примере shakespeare_char
- Self-attention с нуля
- Блок трансформера и модель GPT целиком
- Обучение и генерация текста в nanoGPT
- Масштабирование: от игрушечной модели к GPT-2
- minbpe: токенизатор BPE с нуля
- minbpe: регулярное разбиение и специальные токены
- Что дальше, лицензии и источники
Вопросы о курсе
Курс бесплатный?
Первые 3 3 урока открыты бесплатно и без входа. Остальные уроки открывает доступ к курсам Карпати (открытый код) (1490 руб) или полный доступ ко всем курсам платформы (4900 руб), разовый платёж без подписки.
Нужен ли VPN?
Нет. Оригинал курса опубликован Карпати (открытый код) на английском и часто недоступен из России, а здесь все уроки, видео и субтитры уже переведены и открываются без VPN.
На каком языке курс?
На русском: переведены тексты уроков и субтитры к видео, термины и примеры кода сохранены в оригинале.
Выдаётся ли сертификат?
Да. После прохождения всех уроков курса при платном доступе выдаётся именной сертификат AI University с номером и QR-кодом, PDF приходит на почту, подлинность проверяется по номеру на сайте. Сертификат о прохождении курса не является документом об образовании.