Выбор модели · 13 мин
Минимально полезная локальная модель для разработки 1С
Как смотреть на качество, скорость, контекст и дисциплину инструментов без культа размера.
Вопрос «сколько миллиардов параметров нужно для 1С» звучит просто, но ведёт к ложной точности. Полезность зависит от степени сжатия модели (квантования), размера её рабочего контекста, дисциплины агента, библиотечных знаний и обязательной проверки результата.
Минимально полезна не самая маленькая модель, которая однажды написала похожий код, а конфигурация, которая повторяемо доходит до проверяемого результата за приемлемое время.
Что уже было измерено на одном стенде
29 августа 2026 четыре модели запускались на AMD Ryzen AI MAX+ 395 с 128 ГиБ общей памяти. Использовались один слот, Q8-кэш, контекст 128K, одинаковые восемь заданий и единая 100-балльная шкала. MTP в названиях ниже — механизм ускорения генерации за счёт предсказания нескольких следующих токенов. Это авторское измерение одного стенда; полный протокол с обезличенными ответами публично не опубликован. Срез не является рейтингом всех моделей.
Лучший баланс в этой группе; отдельные ответы близки к рабочим.
Самый быстрый, но систематически придумывал BSL API.
Стабильные инструменты, слабое знание BSL в этом кванте.
Долгое рассуждение, таймауты и незавершённые ответы.
Размер и скорость не дают линейного ответа
Более крупная модель может аккуратнее рассуждать, но всё равно писать выдуманный BSL. Быстрая специализированная модель может лучше держать структуру, но потерять контракт. В другом сохранённом пакете Qwen Coder был быстрее Qwen 122B и лучше держал сложный режим C, хотя обе модели оставили невалидный код.
Поэтому скорость генерации в токенах в секунду полезна только вместе с числом повторов, временем поиска и долей ответов, прошедших проверку.
Практический порог допуска
Для пилота модель должна стабильно вызывать MCP, соблюдать лимит действий, удерживать контракт задачи, писать синтаксически близкий BSL и исправляться по конкретной диагностике. Контекст должен вмещать правила, короткие доказательства и текущий фрагмент кода без постоянного вытеснения начала задачи.
- не менее трёх повторов каждого контрольного кейса;
- нулевая терпимость к выдуманным процедурам и функциям в принятом коде;
- явное разделение точного факта, кандидата и предположения;
- измерение полного времени до принятия, а не только скорости генерации;
- обязательная проверка синтаксиса и граничных данных.
Как выбирать модель под команду
Сначала задают минимальный набор реальных задач: поиск платформенной функции, замена собственной реализации на БСП, проверка по стандарту и небольшая доработка. Затем отбрасывают модели, которые не держат инструментальный контракт. Из оставшихся выбирают конфигурацию с лучшей стоимостью принятого результата.
Для одного разработчика это может быть быстрая модель на рабочей видеокарте. Для команды — отдельный сервер с очередью и более сильной моделью. LEM полезен обоим вариантам, но не отменяет инженерную проверку.
Быстрая модель против более качественной
Модель A отвечает за три минуты, но требует две ручные правки. Модель B отвечает за семь минут и проходит тесты с одной автоматической коррекцией. Для рабочего процесса B может оказаться дешевле, даже если её скорость генерации ниже.
- Посчитать полное время разработчика до принятого изменения.
- Добавить стоимость повторных прогонов и ручной проверки.
- Проверить разброс на трёх одинаковых запусках.
- Выбрать профиль отдельно для черновика, разработки и ревью.
Опубликованные измерения показывают направление отбора; актуальную модель нужно проверять на собственном наборе задач.
Что уже можно утверждать, а что нужно проверить
- Четыре модели измерены в одинаковых условиях на одном стенде.
- Самая быстрая модель не стала самой качественной, а самая долгая — самой сильной.
- Порог минимальной модели для конкретной команды и оборудования.
- Результаты современных версий моделей после повторного запуска.
- Внутренний FINAL_1C_QUALITY_REPORT_RU.md, 29 августа 2026; публичная копия не опубликована
- Внутренний ALL_MODELS_1C_SCOREBOARD_RU.md, единая шкала A–D; публичная копия не опубликована