О чём урок
Часто кажется, что чем больше информации мы предоставим искусственному интеллекту, тем лучше будет его ответ. Добавьте весь документ, включите каждое сообщение, предоставьте весь доступный контекст – ведь чем больше данных, тем точнее результат, верно? Не всегда.
На самом деле, существует феномен, интуитивно знакомый каждому, кто когда-либо готовился к экзамену: наша способность удерживать информацию в уме одновременно ограничена. И, как правило, то, что находится в середине, имеет тенденцию исчезать первым. Прежде чем мы углубимся в то, как это влияет на модели ИИ, давайте рассмотрим, как это проявляется в нашей собственной памяти.
Представьте, что вам показывают длинный список слов, по одному за раз, с небольшой паузой между каждым. Вы пытаетесь запомнить как можно больше. После того как список закончится, вы, скорее всего, обнаружите, что лучше всего помните слова из начала и конца списка. Слова, расположенные в середине, часто забываются. Это явление известно как эффект последовательного положения (serial position effect) или эффект первичности-новизны (primacy–recency effect).
Психологи изучают его более века. Элементы в начале списка выигрывают от эффекта первичности (primacy effect) — они получают больше времени на повторение и обработку, закрепляясь в долговременной памяти. Элементы в конце списка выигрывают от эффекта новизны (recency effect) — они еще свежи в кратковременной памяти. Середина же не получает ни одного из этих преимуществ, оказываясь наиболее уязвимой для забывания.
Графически это часто изображается в виде U-образной кривой, где вероятность запоминания высока в начале и конце списка и значительно падает в середине. Этот феномен является фундаментальным аспектом нашей рабочей памяти (Working Memory) и ее ограничений.
Самое удивительное и важное: большие языковые модели (LLM) демонстрируют ту же закономерность. В 2023 году исследователи из Стэнфорда (Liu et al., 2023) провели эксперимент, помещая ключевой факт в разные позиции внутри длинного контекстного окна LLM.
Это не случайность или «причуда». Это структурная особенность. Паттерны внимания архитектуры Transformer, на которой основаны современные LLM, естественным образом уделяют больше…
План урока
- Эффект «Потерянного в середине»: Оптимизация контекстного окна Claude
- Эффект последовательного положения: Уроки человеческой памяти
- LLM и феномен «Потерянного в середине»
- Что это означает для проектирования промптов?
- Более широкая перспектива: Искусство проектирования контекста
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.