Практика: что теряется в середине контекста

О чём урок

Часто кажется, что чем больше информации мы предоставим искусственному интеллекту, тем лучше будет его ответ. Добавьте весь документ, включите каждое сообщение, предоставьте весь доступный контекст – ведь чем больше данных, тем точнее результат, верно? Не всегда. На самом деле, существует феномен, интуитивно знакомый каждому, кто когда-либо готовился к экзамену: наша способность удерживать информацию в уме одновременно ограничена. И, как правило, то, что находится в середине, имеет тенденцию исчезать первым. Прежде чем мы углубимся в то, как это влияет на модели ИИ, давайте рассмотрим, как это проявляется в нашей собственной памяти. Представьте, что вам показывают длинный список слов, по одному за раз, с небольшой паузой между каждым. Вы пытаетесь запомнить как можно больше. После того как список закончится, вы, скорее всего, обнаружите, что лучше всего помните слова из начала и конца списка. Слова, расположенные в середине, часто забываются. Это явление известно как эффект последовательного положения (serial position effect) или эффект первичности-новизны (primacy–recency effect). Психологи изучают его более века. Элементы в начале списка выигрывают от эффекта первичности (primacy effect) — они получают больше времени на повторение и обработку, закрепляясь в долговременной памяти. Элементы в конце списка выигрывают от эффекта новизны (recency effect) — они еще свежи в кратковременной памяти. Середина же не получает ни одного из этих преимуществ, оказываясь наиболее уязвимой для забывания. Графически это часто изображается в виде U-образной кривой, где вероятность запоминания высока в начале и конце списка и значительно падает в середине. Этот феномен является фундаментальным аспектом нашей рабочей памяти (Working Memory) и ее ограничений. Самое удивительное и важное: большие языковые модели (LLM) демонстрируют ту же закономерность. В 2023 году исследователи из Стэнфорда (Liu et al., 2023) провели эксперимент, помещая ключевой факт в разные позиции внутри длинного контекстного окна LLM.

План урока

1. Эффект «Потерянного в середине»: Оптимизация контекстного окна Claude
2. Эффект последовательного положения: Уроки человеческой памяти
3. LLM и феномен «Потерянного в середине»
4. Что это означает для проектирования промптов?
5. Более широкая перспектива: Искусство проектирования контекста