Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 07 · Текст · ~5 мин

Поиск по коду через эмбеддинги

Урок 7 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как Ada embeddings могут быть использованы для реализации семантического поиска кода. Для этой демонстрации мы используем наш собственный репозиторий кода openai-python. Мы реализуем простую версию парсинга файлов и извлечения функций из файлов Python, которые затем могут быть embedded, проиндексированы и запрошены.

Сначала мы настроим несколько простых функций парсинга, которые позволят нам извлекать важную информацию из нашей кодовой базы.

Сначала мы загрузим папку openai-python и извлечем необходимую информацию, используя функции, которые мы определили выше.

Теперь, когда у нас есть наш контент, мы можем передать данные модели text-embedding-3-small и получить наши векторные embeddings.

Давайте протестируем наш endpoint с помощью нескольких простых запросов. Если вы знакомы с репозиторием openai-python, вы увидите, что мы можем легко находить нужные функции, используя лишь простое описание на английском языке.

Мы определяем метод `search_functions`, который принимает наши данные, содержащие embeddings, строку запроса и некоторые другие параметры конфигурации. Процесс поиска в нашей базе данных работает следующим образом:

  1. Сначала мы embedded нашу строку запроса (code_query) с помощью text-embedding-3-small. Причина в том, что строка запроса, такая как 'функция, которая переворачивает строку', и функция, такая как 'def reverse(string): return string[::-1]', будут очень похожи при embedded.
  2. Затем мы вычисляем косинусное сходство между embedding нашей строки запроса и всеми точками данных в нашей базе данных. Это дает расстояние между каждой точкой и нашим запросом.
  3. Наконец, мы сортируем все наши точки данных по их расстоянию до строки запроса и возвращаем количество результатов, запрошенное в параметрах функции.

План урока

  1. Поиск кода с использованием embeddings
  2. Вспомогательные функции
  3. Тестирование

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды