Методика · 10 мин
Как воспроизводимо измерять локальную разработку 1С
Что фиксировать в повторном прогоне, чтобы сравнение можно было проверить и повторить.
Сравнение локальных агентов легко превратить в красивую, но бесполезную гонку: один удачный ответ, разные промпты, прогретый кэш только у одного участника и оценка по впечатлению.
Воспроизводимый тест фиксирует не только модель, но и всю систему вокруг неё, а результатом считает проверенный артефакт и безопасную трассу измерений.
Заморозить условия до первого запуска
В манифест записываются оборудование, модель, ревизия, способ сжатия весов, сервер вывода, окно контекста, кэш, агентская оболочка, системные правила, MCP-профиль, версии библиотек, полный текст задания и критерии приёмки. Промпты получают контрольные суммы.
Секреты, внутренние адреса и сырой скрытый ход рассуждения в публичный набор не попадают. Для воспроизведения достаточно безопасных идентификаторов, ответов, событий инструментов и метрик.
Измерять полный путь до результата
Нужны время обработки входа, время генерации, полное настенное время, токены, число и задержка инструментальных вызовов, объём найденного контекста, число повторов и ручных вмешательств. Отдельно сохраняются результаты синтаксической проверки и тестов на данных.
Функциональность, синтаксис, контракт, граничные случаи.
Поиск, первый ответ, исправления и итог до принятия.
Входные и выходные токены, память, длина контекста.
Инструменты, лимиты, ошибки, повторы и недоказанные утверждения.
Повторять и показывать разброс
Один прогон годится для диагностики, но не для вывода о стабильности. Минимальный публичный набор — три независимых запуска каждого режима. Публикуется медиана, худший результат и причины отказов. Повтор после инфраструктурного сбоя хранится отдельно и не заменяет неудачный модельный ответ.
Если меняется версия модели, библиотеки или оболочки, это новая серия. Нельзя незаметно объединять результаты разных состояний в одну среднюю цифру.
Статусы публикации должны читаться без сносок
Каждая цифра получает подпись: измерено, расчётный макет или ожидает повторного прогона. Измеренное значение ведёт к условиям и ограничению. Расчётное объясняет формулу и не участвует в итоговом сравнении.
Материалы об объединении таблиц и OpenCode/NanoBot теперь разбирают реальные сохранённые ответы. Отдельный повторный прогон в одинаковых условиях пока остаётся планом.
3 режима знаний × 2 оболочки × 3 повтора
Кейс объединения таблиц запускается без корпуса, с одним Синтакс-помощником и с полным набором знаний. Каждый режим выполняется в OpenCode и NanoBot по три раза: всего 18 независимых сессий.
- Зафиксировать манифест и контрольные суммы задания.
- Очистить сессию и выровнять состояние кэша перед каждым запуском.
- Сохранить безопасную трассу и прогнать автоматические тесты.
- Опубликовать медиану, разброс, ошибки и ручные вмешательства.
Эта матрица описывает будущий контрольный прогон и не подменяет уже опубликованный разбор сохранённых ответов.
Что уже можно утверждать, а что нужно проверить
- Старый A/B/C/D-пакет уже содержит неизменяемые промпты, конфигурации, трассы и единую шкалу.
- Опубликованные измеренные числа можно проследить до сохранённых отчётов.
- Новый 18-сессионный прогон объединения таблиц.
- Сравнение OpenCode и NanoBot на идентичной актуальной конфигурации.
- Внутренний opencode-library-eval: правила фиксации модели, задержки и токенов; публичная копия не опубликована
- Внутренний source-repro: замороженные промпты, конфигурации A/B/C/D и единая рубрика; публичная копия не опубликована