Методика · 11 мин
Как честно измерять скорость, токены и стоимость
Сравнение одинаковых задач без маркетинговых цифр из воздуха.
Показать один быстрый ответ недостаточно. Он мог попасть в кэш, случайно увидеть нужный файл первым или пропустить обязательный факт. Сравнение должно быть зафиксировано до просмотра результата.
Метрика имеет смысл только при одинаковой задаче, модели, бюджете, версии корпуса и заранее заданном эталоне качества.
Одна единица сравнения
Первый протокол использует только Q2: безопасное восстановление после таймаута по route-delivery-development-standards / 1.3.1 / custom и route-delivery-recipes / 1.2.3 / custom. В обоих режимах должны совпадать модель, текст задания, лимиты и начальное состояние. Различается только доступ к инструментам LEM.
Режимы A и B не подыгрывают результату
В режиме A доступны список файлов, чтение и точный текстовый поиск. В режиме B к ним добавляются list, search, symbol и Exact. Library impact, flow и visualize не используются. После просмотра ответа нельзя менять вопрос или эталон.
Обычное чтение, список и точный поиск.
Тот же режим плюс библиотечные инструменты.
Три прогона каждого режима
Выполняются три независимых прогона A и три прогона B — всего шесть результатов. Публикуются все ответы, медиана и диапазон. Неуспешный прогон сохраняется, а техническая причина перезапуска фиксируется.
Расход нельзя отделять от качества
Измеряются токены, прочитанные файлы, фрагменты, вызовы инструментов и время. Рядом оцениваются обязательные факты, ложные утверждения и пригодность плана проверки. Экономия не засчитывается, если ответ стал хуже.
Шесть прогонов отвечают на один вопрос
До запуска фиксируется эталон Q2: после таймаута искать операцию по исходному ключу; если найдено — вернуть результат, если подтверждено отсутствие — повторить с тем же ключом, если состояние неизвестно — остановиться. Это критерий качества, а не подсказка, которую можно добавить только в режиме LEM.
Ожидаемая таблица содержит для каждого из шести прогонов режим, версию модели и корпуса, входные и выходные токены, время, найденные обязательные факты и ошибки. Если один режим быстрее, но пропускает запрет нового ключа, он не выигрывает. Пока таблица не заполнена фактическими прогонами, статья описывает протокол, не результат.
Эталон Q2 до первого прогона
Ответ обязан сначала выполнить поиск по исходному ключу, различить found и not_found, не создавать новый ключ и сослаться на источники.
- Заморозить корпус и промпт.
- Зафиксировать эталонные факты.
- Сохранить три прогона каждого режима.
- Рассчитать таблицу из сырых артефактов и опубликовать ограничения.
Протокол подготовлен, но сами прогоны и числовые результаты ещё не выполнены. Другие Q не входят в эту общую метрику.
Что уже можно утверждать, а что нужно проверить
- Протокол заранее фиксирует условия, метрики и правила честности.
- Первое A/B-сравнение относится только Q2.
- Все шесть результатов и контрольные суммы.
- Токены, время, стоимость и оценку качества после фактических прогонов.