Эксперимент · 15 мин
Лестница знаний: один кейс от 11 до 61 балла
Что изменилось при переходе от ответа без инструментов к платформе, БСП и стандартам.
Чтобы отделить силу модели от силы знаний, одно и то же сложное задание запускалось в четырёх режимах. Менялся только доступ к библиотечным инструментам: от полного запрета до платформы, БСП и стандартов.
В найденном прогоне качество архитектуры и доказательность росли вместе с корпусом знаний, но даже лучший балл не превратил ответ в готовый исполняемый BSL-код.
Одинаковая задача, четыре уровня знаний
Сложный кейс требовал получить реквизиты для массива до 10 000 ссылок на документы разных видов, сохранить исходный порядок и дубли, не вызывать ПолучитьОбъект() и не выполнять запрос по одной ссылке в цикле. Выходом должна была стать ТаблицаЗначений с фиксированным набором колонок.
Режим A запрещал все инструменты. B разрешал один поиск в Синтакс-помощнике. C добавлял поиск подходящей функции БСП. D требовал ещё проверить стандарт разработки и перечислить источник каждого утверждения.
85,7 с; 0 обращений. Базовый ответ невалиден.
125,3 с; 1 обращение к Синтакс-помощнику.
858,6 с; 3 обращения, одно завершилось ошибкой.
189,4 с; 17 обращений, то есть модель нарушила лимит задания.
Что именно улучшилось
Без корпуса модель пыталась самостоятельно сконструировать универсальный механизм и быстро переходила к выдуманным возможностям. С БСП она нашла пакетное чтение реквизитов и перестроила решение вокруг готовой функции общего модуля. Стандарты добавили объяснение запрета запросов в цикле и разделение подтверждённого факта, кандидата и предположения.
Это важнее косметики: меняется не только текст ответа, а выбранный путь реализации. Вместо десяти тысяч обращений к базе появляется пакетная операция и восстановление исходного порядка отдельным проходом.
Проверка на трёх разных моделях
Тот же пакет был выполнен RTX Qwen 35B-A3B, Qwen 122B и Qwen Coder. На сложном режиме C они получили 55, 42 и 48 баллов. В режиме D — 61, 46 и 43. Это авторские измерения сохранённого пакета: полный публичный протокол с заданиями, обезличенными ответами и рубрикой пока не опубликован. Эти числа показывают поведение конкретных запусков, а не рейтинг моделей.
Полный набор дал лучший балл, но превысил лимит вызовов.
Доказательность выросла, код остался невалидным.
Дополнительный поиск ухудшил итог относительно режима C.
Почему 61 балл — не 61 процент готовности
Шкала складывалась из функциональности, производительности, клиент-серверной границы, граничных случаев и читаемости. Она позволяет сравнить два ответа, но не заменяет запуск в 1С.
Ни один из 24 официальных ответов исходного пакета не был готовым исполняемым BSL без исправлений. Общие дефекты — выдуманные универсальные типы, неверные методы коллекций, потеря дублей и позиций, запрос по одной ссылке и синтаксис из других языков.
Знание помогло выбрать решение, но не закрыло цикл проверки
Самый полезный результат эксперимента — не число 61, а переход к реальной функции БСП для пакетного чтения. После генерации всё равно нужен замкнутый цикл синтаксической диагностики и проверки контракта.
- Извлечь итоговый BSL из ответа.
- Запустить синтаксическую проверку.
- Вернуть модели только конкретные ошибки.
- Проверить порядок, дубли, типы, права и отсутствие запросов в цикле.
Авторское измерение; полный протокол не опубликован. Корпус помог выбрать решение в сохранённом прогоне; готовность к эксплуатации доказывается отдельной проверкой.
Что уже можно утверждать, а что нужно проверить
- Промпты, конфигурации A/B/C/D, трассы, времена и баллы сохранены.
- Для сложного кейса у RTX Qwen 35B зафиксирована лестница 11 → 29 → 55 → 61.
- Во всех 24 исходных ответах финальный код требовал исправлений.
- Повторяемость разницы на новых версиях моделей и LEM.
- Результат после обязательной синтаксической обратной связи и запуска в 1С.
- Внутренний results-summary.csv: 24 прогона RTX 35B, Qwen 122B и Qwen Coder; публичная копия не опубликована
- Внутренний comparison.md: единая шкала и разбор ограничений A/B/C/D; публичная копия не опубликована