Hello World: первое знакомство с языковым ИИ

О чём урок

Здесь мы совершим краткий обзор возможностей языкового ИИ с помощью API большой языковой модели (LLM) Cohere. Это "Hello, World!" языкового ИИ, написанный для разработчиков с небольшим или полным отсутствием опыта в ИИ. Фактически, мы сделаем это, исследуя саму фразу "Hello, World!". Прочитайте сопутствующую запись в блоге здесь. Мы рассмотрим три группы задач, с которыми вы обычно сталкиваетесь при работе с языковыми данными, включая: Генерация текста Классификация текста Анализ текста Первый шаг — установить Cohere Python SDK. Затем создайте API key, который можно сгенерировать на панели управления Cohere. Endpoint Cohere Generate генерирует текст на основе входных данных, называемых "prompt". prompt предоставляет контекст того, какой текст мы хотим, чтобы модель сгенерировала. Чтобы проиллюстрировать это, начнем с простого prompt в качестве входных данных. Вывод неплох, но его можно улучшить. Нам нужно найти способ сделать вывод более соответствующим нашим желаниям, и именно здесь мы используем prompt engineering. В реальных приложениях вам, вероятно, потребуется постоянно генерировать такой текст, используя различные входные данные. Давайте смоделируем это на нашем примере. Endpoint Cohere Classify позволяет легко взять список текстов и предсказать их категории или классы. Типичная модель машинного обучения требует много обучающих примеров для выполнения классификации текста, но с Classify endpoint вы можете начать всего с 5 примеров на класс. Endpoint Cohere Embed принимает фрагмент текста и преобразует его в векторный embedding. Embeddings представляют текст в виде чисел, которые отражают его смысл и контекст. Это означает, что он дает вам возможность превращать неструктурированные текстовые данные в структурированную форму. Это открывает возможности для их анализа и извлечения инсайтов. Здесь у нас есть список из 50 самых популярных поисковых запросов о Hello, World!, взятых из инструмента для работы с ключевыми словами. Давайте рассмотрим несколько примеров: Мы используем Embed endpoint для получения embeddings для каждого из этих ключевых слов. Мы рассмотрим пару примеров приложений. Первый пример — это semantic search.

План урока

1. Попробуйте простой Prompt
2. Создайте лучший Prompt
3. Автоматизация процесса
4. Анализ настроений
5. Получение embeddings
6. Семантический поиск
7. Семантическое исследование