Урок из полного доступа, первые уроки курса бесплатно Официальный курс Gemini API Cookbook на русском
Урок 12 · Текст · ~5 мин

Проверяем, честно ли RAG цитирует источники

Урок 12 из 84 курса «Gemini API: примеры использования»: официальный курс Gemini API Cookbook (Гугл Джемини) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Когда ответ Gemini RAG ссылается на свои источники — через метаданные заземления или запрашивая структурированные цитаты со схемой ответа — цитаты могут быть ошибочными таким образом, что они кажутся полностью авторитетными, и LLM, на вопрос "подтверждает ли эта цитата утверждение?", пропускает их:

  • сфабрикованные — цитируемый фрагмент, который не встречается ни в одном исходном документе;
  • франкенцитата — каждое слово реально, но точный фрагмент никогда не был написан непрерывно в источнике;
  • неправильно атрибутированные — реальный фрагмент, но приписанный неверному документу.

Этот блокнот демонстрирует шаблон дешевый детерминированный детектор → дорогой судья:

  1. Попросите Gemini, используя структурированный вывод (response_schema), вернуть каждое утверждение с document_id, на которое оно опирается, и короткой дословной цитатой.
  2. Запустите 0-токенный дословный гейт (чистый Python — без модели, без API-ключа), который проверяет, появляется ли каждая цитата в цитируемом документе. Это отклоняет три вышеупомянутых режима отказа и работает в автономном режиме.
  3. Только для цитат, прошедших гейт, при необходимости вызовите судью по бремени доказывания — сфабрикованные цитаты никогда не доходят до него, поэтому они стоят ноль токенов.

Гейт встроен здесь; его автономная, не зависящая от фреймворка версия (гейт + судья по бремени доказывания) находится по адресу verbatim-citation-gate.

Здесь не требуется API-ключ — это форма цитат, возвращаемых response_schema, с одной достоверной цитатой и тремя поддельными режимами отказа.

Гейт решает только один вопрос: появляется ли эта цитата дословно в документе, которому она приписана? misattributed и not_found могут быть помечены или отброшены прямо здесь, детерминированно, за ноль токенов. Цитата found еще не является правильной — реальная, правильно атрибутированная цитата все еще может не подтверждать утверждение, к которому она прикреплена. Это суждение предназначено для необязательного судьи ниже.

С помощью API-ключа попросите Gemini ответить и вернуть структурированные цитаты, затем запустите тот же гейт над ними. Использует API взаимодействий SDK google-genai с response_format в формате JSON-схемы; считывает секрет Colab GEMINI_API_KEY (не запускается в CI).

Гейт определяет, существует ли цитата. Поддерживает ли реальная, правильно атрибутированная…

План урока

  1. Дословный гейт (детерминированный, работает в автономном режиме)
  2. Проверьте его в автономном режиме на структурированных цитатах
  3. Генерация цитат с помощью структурированного вывода Gemini
  4. Необязательно: судья по бремени доказывания для неоднозначного случая
  5. Следующие шаги
  6. Полезные ссылки на API
  7. Связанные примеры
  8. Продолжите изучение Gemini API

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Google Gemini 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Google Gemini (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды