О чём урок
Этот notebook демонстрирует, как Ada embeddings могут быть использованы для реализации семантического поиска кода. Для этой демонстрации мы используем наш собственный репозиторий кода openai-python. Мы реализуем простую версию парсинга файлов и извлечения функций из файлов Python, которые затем могут быть embedded, проиндексированы и запрошены.
Сначала мы настроим несколько простых функций парсинга, которые позволят нам извлекать важную информацию из нашей кодовой базы.
Сначала мы загрузим папку openai-python и извлечем необходимую информацию, используя функции, которые мы определили выше.
Теперь, когда у нас есть наш контент, мы можем передать данные модели text-embedding-3-small и получить наши векторные embeddings.
Давайте протестируем наш endpoint с помощью нескольких простых запросов. Если вы знакомы с репозиторием openai-python, вы увидите, что мы можем легко находить нужные функции, используя лишь простое описание на английском языке.
Мы определяем метод `search_functions`, который принимает наши данные, содержащие embeddings, строку запроса и некоторые другие параметры конфигурации. Процесс поиска в нашей базе данных работает следующим образом:
- Сначала мы embedded нашу строку запроса (code_query) с помощью text-embedding-3-small. Причина в том, что строка запроса, такая как 'функция, которая переворачивает строку', и функция, такая как 'def reverse(string): return string[::-1]', будут очень похожи при embedded.
- Затем мы вычисляем косинусное сходство между embedding нашей строки запроса и всеми точками данных в нашей базе данных. Это дает расстояние между каждой точкой и нашим запросом.
- Наконец, мы сортируем все наши точки данных по их расстоянию до строки запроса и возвращаем количество результатов, запрошенное в параметрах функции.
План урока
- Поиск кода с использованием embeddings
- Вспомогательные функции
- Тестирование
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.