Модели · 12 мин
Что LEM даёт локальным и более простым моделям
Какие задачи можно упростить, если поиск и отбор уже выполнены системой.
Модель становится слабее не только из-за размера. Ей может быть трудно искать по большому проекту, удерживать десятки кандидатов и одновременно рассуждать о версии, риске и проверках.
LEM может сделать задачу уже и проверяемее, но не гарантирует одинаковое качество локальной и ведущей облачной модели.
Поиск и рассуждение можно разделить
Инструмент находит координату, процедуру, функцию или точный фрагмент. Модель получает ограниченный набор источников, объясняет их и строит план. Это уменьшает поисковую часть задачи, но не заменяет способность модели рассуждать.
Узкая задача легче поддаётся проверке
Вместо просьбы «разберись во всём проекте» агент получает один вопрос, три источника и эталонные пункты ответа. Ошибку проще увидеть: она относится либо к отбору, либо к интерпретации, либо к отсутствующему факту.
Поиск, координата и точные источники.
Объяснение, сопоставление и план.
Границы, разрешение и оценка риска.
Тест и наблюдаемое выполнение.
Где остаётся ответственность человека
Разработчик выбирает допустимые данные, подтверждает целевую версию, разрешает опасные действия и принимает результат проверки. Локальная модель не должна получать больше прав только потому, что работает внутри сети.
Сравнение моделей требует отдельного протокола
Нельзя взять лучший ответ одной модели и худший другой. Нужны одинаковые вопросы, контекст, бюджет, повторения и правила оценки. До такого бенчмарка корректно говорить о возможности сузить задачу, а не о доказанном равенстве качества.
Разделить поиск и вывод на одном вопросе
Авторский вопрос: «Можно ли вызвать найденную функцию общего модуля из серверной процедуры?» На первом шаге библиотечный источник должен сообщить экспортность, контекст и версию функции. На втором модель сопоставляет их с требованием серверного вызова. На третьем разработчик проверяет функцию в исходниках своего проекта и выполняет разрешённый тест.
Если модель уверенно объявила функцию серверной без такого поля в контракте, это ошибка интерпретации; если инструмент не нашёл контракт выбранной версии, проблема в поиске или составе корпуса. Публичный Route Delivery даёт только синтетический пример и не доказывает наличие функции в рабочем проекте.
Проверить правила безопасного журнала
Локальная модель получает только standards/logging.md и вопрос Q8, затем формирует две группы полей.
- Назвать разрешённые технические поля.
- Назвать запрещённые секреты и пользовательские данные.
- Сослаться на конкретный источник.
- Сверить результат с эталонным ответом.
Сравнение моделей пока синтетическое; метрики не публикуются до повторяемого бенчмарка.
Что уже можно утверждать, а что нужно проверить
- У корпуса есть эталонные ответы и классы доказательств.
- Компактная задача упрощает ручную проверку.
- Качество выбранной локальной модели.
- Допустимость её использования с конкретными данными и лицензиями.