О чём урок
Когда ответ Gemini RAG ссылается на свои источники — через метаданные заземления или запрашивая структурированные цитаты со схемой ответа — цитаты могут быть ошибочными таким образом, что они кажутся полностью авторитетными, и LLM, на вопрос "подтверждает ли эта цитата утверждение?", пропускает их:
- сфабрикованные — цитируемый фрагмент, который не встречается ни в одном исходном документе;
- франкенцитата — каждое слово реально, но точный фрагмент никогда не был написан непрерывно в источнике;
- неправильно атрибутированные — реальный фрагмент, но приписанный неверному документу.
Этот блокнот демонстрирует шаблон дешевый детерминированный детектор → дорогой судья:
- Попросите Gemini, используя структурированный вывод (response_schema), вернуть каждое утверждение с document_id, на которое оно опирается, и короткой дословной цитатой.
- Запустите 0-токенный дословный гейт (чистый Python — без модели, без API-ключа), который проверяет, появляется ли каждая цитата в цитируемом документе. Это отклоняет три вышеупомянутых режима отказа и работает в автономном режиме.
- Только для цитат, прошедших гейт, при необходимости вызовите судью по бремени доказывания — сфабрикованные цитаты никогда не доходят до него, поэтому они стоят ноль токенов.
Гейт встроен здесь; его автономная, не зависящая от фреймворка версия (гейт + судья по бремени доказывания) находится по адресу verbatim-citation-gate.
Здесь не требуется API-ключ — это форма цитат, возвращаемых response_schema, с одной достоверной цитатой и тремя поддельными режимами отказа.
Гейт решает только один вопрос: появляется ли эта цитата дословно в документе, которому она приписана? misattributed и not_found могут быть помечены или отброшены прямо здесь, детерминированно, за ноль токенов. Цитата found еще не является правильной — реальная, правильно атрибутированная цитата все еще может не подтверждать утверждение, к которому она прикреплена. Это суждение предназначено для необязательного судьи ниже.
С помощью API-ключа попросите Gemini ответить и вернуть структурированные цитаты, затем запустите тот же гейт над ними. Использует API взаимодействий SDK google-genai с response_format в формате JSON-схемы; считывает секрет Colab GEMINI_API_KEY (не запускается в CI).
Гейт определяет, существует ли цитата. Поддерживает ли реальная, правильно атрибутированная…
План урока
- Дословный гейт (детерминированный, работает в автономном режиме)
- Проверьте его в автономном режиме на структурированных цитатах
- Генерация цитат с помощью структурированного вывода Gemini
- Необязательно: судья по бремени доказывания для неоднозначного случая
- Следующие шаги
- Полезные ссылки на API
- Связанные примеры
- Продолжите изучение Gemini API
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.