Обзор типов генеративных моделей ИИ

О чём урок

Давайте поговорим о типах моделей, которые доступны нам, когда на входе у нас текст, и о том, как они помогают решать задачи. Например, такую: я никак не могу понять своих друзей, когда они говорят о футболе. Первый тип: text to text («текст в текст»). Модели text-to-text принимают на вход текст на естественном языке и выдают текст на выходе. Эти модели обучаются находить соответствие между парами текстов, например при переводе с одного языка на другие.

Далее идут модели text to image («текст в изображение»). Модели text-to-image обучаются на большом наборе изображений, к каждому из которых дано короткое текстовое описание. Одним из методов, которые для этого применяются, является диффузия.

Есть также модели text to video («текст в видео») и text to 3D («текст в 3D»). Модели text-to-video предназначены для создания видео по входному тексту. Входным текстом может быть что угодно, от одного предложения до полного сценария. А на выходе получается видео, которое соответствует этому тексту. Подобным образом модели text-to-3D создают трёхмерные объекты по текстовому описанию пользователя, чтобы использовать их в играх или других 3D-мирах.

И наконец, существуют модели text to task («текст в задачу»). Модели text-to-task обучаются выполнять определённую задачу или действие на основе входного текста. Это может быть самый широкий круг действий: ответить на вопрос, выполнить поиск, сделать прогноз или предпринять какое-либо действие. Например, модель text-to-text можно обучить перемещаться по веб-интерфейсу или вносить изменения в документ через графический интерфейс. Как видите, с такими моделями я наконец-то могу понять, о чём говорят мои друзья, когда идёт матч.

Ещё одна модель, которая крупнее перечисленных, это фундаментальная модель (foundation model). Так называют большую модель ИИ, предварительно обученную на огромном объёме данных и предназначенную для адаптации или дообучения (fine-tuning) под широкий круг прикладных задач, таких как анализ тональности, подписывание изображений и распознавание объектов.

Если вы ищете фундаментальные модели, в Vertex AI есть Model Garden, где…

План урока

1. Текст видео
2. Фундаментальные модели