Пробуем сами

О чём урок

Напиши другу Маркову — 100% интерпретируемый генератор следующего токена Давным-давно мы с друзьями играли в такую игру: брали телефон и составляли сообщение другу, используя только рекомендованные следующие слова. Возможно, вы тоже так делали. Вот симулятор, который был "обучен" на небольшом объеме контента. Поиграйте! Мы говорили об этом, как будто это был "Я-бот". Мы знали, что он рекомендовал слова, основываясь на наших индивидуальных моделях использования, и мы могли видеть наши голоса в наших персонализированных рекомендациях. В то время мы с радостью списывали это на волшебство технологий. Я не думаю, что мы осознавали, насколько простым мог быть алгоритм. Продолжайте читать, если хотите создать такой со мной :) Давайте обучимся на нескольких сообщениях. Все, что нам нужно сделать, это подсчитать связи между словами. Сделаем это по одному сообщению за раз. Эта готовая карта связей между словами называется таблицей частот. Нормализуйте каждую строку, и вы получите распределение вероятностей того, что будет дальше. Действие по выбору следующего слова на основе того, что у вас уже есть, называется сэмплированием. Мы используем тот же термин для этого процесса с современными языковыми моделями, такими как Claude. Используя ту же матрицу, основанную на 5 текстах, попробуйте сыграть в нашу игру более осознанно. Мы покажем вам вероятности. Выделенная строка — это ваш текущий контекст. Выберите слово из доступных вариантов, чтобы продолжить. "Это настоящая технология?" Отличный вопрос, читатель. Марков опубликовал эту идею в 1906 году. Столетие спустя, в 2010 году, n-граммные модели, подобные этой, обеспечивали предсказание следующего слова на вашем телефоне (SwiftKey, затем Apple QuickType). Примерно в 2015 году нейронные сети — сначала RNN, затем трансформеры в 2017 году — начали заменять подход с табличным поиском на обучаемую функцию, а остальное... ну, это то, над чем мы работаем сейчас.

План урока

1. Отправь сообщение
2. "Обучение" вашей модели
3. Выполните сэмплирование
4. Технология столетней давности