О чём урок
В этом ноутбуке мы рассмотрим несколько различных способов запроса к базе данных Википедии, включая: Поиск по ключевым словам Плотное извлечение Переранжирование Кроме того, мы объединяем возможности поиска с конечной точкой Chat от Cohere, чтобы выдавать точные ответы в формате предложений на запрос. Этот ноутбук дополняет раздел Семантический поиск LLM University. Мы начнем с установки необходимых инструментов, а затем импортируем их. Введите ваш API key Cohere в следующей ячейке. Для этого сначала зарегистрируйтесь в Cohere (бесплатно!), если вы еще этого не сделали. Затем получите ваш API key здесь. Этот раздел дополняет главу Поиск по ключевым словам LLM University. Мы выполним поиск по двум запросам, используя поиск по ключевым словам. Простой запрос: "Кто открыл пенициллин?" (Ответ: Александр Флеминг) Сложный запрос: "Кто был первым человеком, получившим две Нобелевские премии?" (Ответ: Мария Кюри) Вы заметите, что поиск по ключевым словам очень хорошо справляется с простым запросом, но не так хорошо со сложным. Этот раздел дополняет главу Плотное извлечение LLM University. Теперь мы будем использовать плотное извлечение для поиска ответов на два запроса. Вы заметите, что результаты хороши для обоих запросов. Изменение параметра results_lang на любой из следующих: en, de, fr, es, it, ja, ar, zh, ko, hi (доступные языки в демо-версии) позволяет получать результаты на любом языке, который вы хотите. Например, вот результаты сложного запроса на арабском языке. Запрос также может быть на любом другом языке. Вот французские результаты на запрос на испанском языке. Этот раздел дополняет главу Переранжирование LLM University. ReRank — это мощный метод, который улучшит любую поисковую модель. Вкратце, ReRank принимает запрос и набор ответов (или документов) и выводит те из них, которые наиболее релевантны в качестве ответов на запрос. Мы будем использовать ReRank для улучшения поиска по ключевым словам со сложным запросом. Этот раздел дополняет главу Генерация ответов LLM University.
План урока
- Настройка
- Поиск на других языках
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.