Эффективность · 8 мин
Откуда берётся экономия токенов
Почему компактное доказательство дешевле повторного чтения проекта.
Модель получает текст небольшими единицами — токенами. Чем больше файлов, повторов и нерелевантных фрагментов попадает в диалог, тем больше вход и тем меньше места остаётся для полезного рассуждения.
Экономия возникает не из сокращения ответа любой ценой, а из передачи короткого релевантного доказательства вместо повторного чтения широкого корпуса.
Где расходуется контекст
Токены тратятся на системные правила, историю диалога, найденные документы, исходный код и ответ. Обычный поиск может несколько раз вернуть пересекающиеся файлы, а агент — перечитать их при уточнении вопроса.
Компактность не должна уничтожать основание
Полезный пакет содержит координату, точный фрагмент и ссылку на источник. Нельзя вырезать условие версии, запрет безопасности или оговорку о неполноте только ради меньшего объёма.
Дерево, несколько файлов, повторы поиска и ручное сопоставление.
Координата, релевантный фрагмент, символ и граница доказательства.
Меньше токенов полезно только при сохранённом качестве
Если короткий контекст пропустил обязательное условие и ответ стал хуже, это не успех. Поэтому расход оценивается вместе с полнотой эталонных фактов, ложными утверждениями и пригодностью плана проверки.
Числа появятся после честного A/B-сравнения
Одинаковая модель решает один вопрос на одной версии корпуса: сначала обычным чтением и точным поиском, затем с инструментами LEM. Публикуются все прогоны, входные и выходные токены, число прочитанных файлов, время и качество. До этого проценты экономии не заявляются.
Что нельзя выкинуть ради короткого ответа
В задаче объединения двух ТаблицаЗначений пакет знаний обязан сохранить условие «пустое значение первой таблицы имеет приоритет». Если оставить только сигнатуры операций с колонками, а это условие убрать, ответ может подставить непустое значение второй таблицы. Токенов станет меньше, но контракт будет нарушен.
Практическая проверка: вход содержит ключ 20 в обеих таблицах, пустой Комментарий в первой и значение «Импорт» во второй. Ожидаемый выход сохраняет пустой Комментарий, добавляет уникальный ВнешнийКод второй таблицы и не меняет источники. Сравнивать расход имеет смысл только вместе с проверкой этих условий; числового выигрыша статья не заявляет.
Первая: {Ключ: 20, Комментарий: ''}
Вторая: {Ключ: 20, Комментарий: 'Импорт', ВнешнийКод: 'A-20'}
Результат: {Ключ: 20, Комментарий: '', ВнешнийКод: 'A-20'}Передайте запрос своему агенту. Сайт ничего не выполняет.
Короткий пакет для Q2
Вместо всего корпуса агенту нужны правило идемпотентности, рецепт восстановления, целевая функция и точный источник.
- Зафиксировать исходный вопрос и одинаковую версию демонабора для обоих режимов.
- Отобрать правило идемпотентности, рецепт восстановления и сигнатуру функции; записать, какой файл действительно открыт.
- Сохранить координату, условия безопасного повтора и неизвестное о проекте — эти строки нельзя удалить ради экономии.
- Сравнить расход токенов и полноту ответа с широким чтением по A/B-протоколу; до измерения не заявлять процент экономии.
Состав пакета синтетический. Фактические токены и стоимость ещё не измерены.
Что уже можно утверждать, а что нужно проверить
- Подготовленный контекст может исключать нерелевантные документы.
- Методика измеряет расход вместе с качеством.
- Реальные токены каждого из шести прогонов.
- Денежную стоимость для конкретной модели и тарифа.