О чём урок
Отказ от ответственности: Это руководство предназначено исключительно для образовательных целей. Убедитесь, что вы соблюдаете все применимые законы и условия предоставления услуг при использовании технологий веб-поиска и скрапинга. В этом руководстве поиск будет ограничен доменом openai.com для получения общедоступной информации с целью иллюстрации концепций. Большие языковые модели (LLM), такие как GPT-4o, имеют дату отсечения знаний, что означает отсутствие у них информации о событиях, произошедших после этой даты. В сценариях, где крайне важны самые актуальные данные, необходимо предоставить LLM доступ к текущей веб-информации для обеспечения точных и релевантных ответов. В этом руководстве мы создадим инструмент Bring Your Own Browser (BYOB) с использованием Python для преодоления этого ограничения. Наша цель — создать систему, которая предоставляет актуальные ответы в вашем приложении, включая самые последние разработки, такие как новейшие запуски продуктов OpenAI. Интегрируя возможности веб-поиска с LLM, мы позволим модели генерировать ответы на основе самой свежей информации, доступной в интернете. Хотя вы можете использовать любые общедоступные search API, мы воспользуемся Google Custom Search API для выполнения веб-поиска. Полученная информация из результатов поиска будет обработана и передана LLM для генерации окончательного ответа посредством Retrieval-Augmented Generation (RAG). Инструменты Bring Your Own Browser (BYOB) позволяют пользователям программно выполнять задачи веб-серфинга. В этом notebook мы создадим BYOB инструмент, который: #1. Настройка поисковой системы: Используйте публичный search API, такой как Google Custom Search API, для выполнения веб-поиска и получения списка релевантных результатов. #2. Создание словаря поиска: Соберите заголовок, URL и краткое содержание каждой веб-страницы из результатов поиска для создания структурированного словаря информации. #3. Генерация RAG-ответа: Реализуйте Retrieval-Augmented Generation (RAG), передавая собранную информацию LLM, которая затем генерирует окончательный ответ на запрос пользователя. В этом руководстве мы рассмотрим пример пользователя, который хочет получить список недавних запусков продуктов OpenAI в хронологическом порядке.
План урока
- Создание инструмента Bring Your Own Browser (BYOB) для веб-серфинга и суммаризации
- Сценарий использования
- Настройка инструмента BYOB
- Шаг 1: Настройка поисковой системы для предоставления результатов веб-поиска
- Шаг 2: Создание словаря поиска с заголовками, URL и краткими содержаниями веб-страниц
- Шаг 3: Передача информации модели для генерации RAG-ответа на запрос пользователя
- Заключение
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.