Тренажёр ошибок: методическая рамка
← Все материалы для преподавателя
В курсе появился адаптивный тренажёр: после подтверждённой диагностической сигнатуры ошибки игра предлагает ученику короткую серию задач, собранную под эту ошибку. Сейчас тренажёр закрывает два семейства ошибок: «перенос из младшего разряда не учитывается» на уровнях-сумматорах и «знаковое переполнение путается с переносом» после уровня 25 «Проверка на минус». Этот документ описывает рамку, в которой тренажёр принимает решения, и границы, за которые он в v1 не выходит. Ученическая версия описания — в статье «Тренажёр: что это и почему он появился».
Три маршрута диагностики
Диагностика понимания в курсе работает по трём независимым маршрутам. Тренажёр подключён только к первому:
| Маршрут | Источник данных | Что делает |
|---|---|---|
| А | Проверки схем на игровых уровнях 7 «Сумматор» и 8 «8-битный Сумматор» | Сравнивает построчный диф попытки с классом ошибки семейства; при двух независимых наблюдениях предлагает серию |
| Б | Концепт-чек после уровня 25: провал с выбором дистрактора-заблуждения | Эпизод с заблуждением + диагностическое predict-мини-задание после закрытия модалки; при подтверждении сигнатуры предлагает серию. Для остальных концепт-чеков в v1 не подключён |
| В | Входная диагностика | Определяет стартовый уровень до курса; триггером тренажёра в v1 не является |
Разделение осознанное: у маршрутов разные надёжность и цена ложного срабатывания. Для carry единственный источник — полный построчный диф проверки схемы (маршрут А). Для переполнения диф недоступен: в уровнях до 25-го нет выхода «переполнение», поэтому там детекция идёт по маршруту Б — через провал концепт-чека и отдельную диагностику. Её сигнал слабее наблюдения по дифу, поэтому исход «не определено» здесь встречается чаще: непоследовательные ответы диагностики серию не открывают.
Диагностическая сигнатура и исход «не определено»
Ядро классификации — пара стратегий: S⁺ (полный сумматор с переносом) и S⁻ (поразрядная версия без связи переносов). Множество входов, на которых пара расходится, — это класс D ошибки. Классификатор сравнивает диф попытки ученика (входы, где фактический ответ разошёлся с ожидаемым) с классом D и выдаёт один из трёх исходов:
- matched — диф совпадает с классом ошибки; наблюдение записывается;
- undetermined — схема недостроена, некорректна или её ошибки не выражают ни класс D, ни известный «другой» рисунок; наблюдение не записывается, предложение не делается;
- other — диф устойчив, но выражает другой класс ошибок; в v1 такие наблюдения не обрабатываются.
«Не определено» — обязательный исход, а не обработка ошибки: классификатор не различает заблуждение, случайность и непонимание, поэтому при недостатке улик он обязан молчать. Наблюдение считается независимым, если оно получено на другом задании или на диагностически различных вариантах; повторная отправка той же схемы (дедуп по структуре графа) — одно наблюдение. Перестановка операндов независимости не создаёт. Сигнатура подтверждается при двух независимых наблюдениях.
Генерация заданий и инвариант D
Задания генерируются, а не хранятся фиксированным набором: ширина сумматора 2–4 разряда, разные входы и варианты схем. Два типа заданий:
- build — собрать сумматор заданной ширины; проверка существующим конвейером проверки по таблице истинности;
- table_restore — дана заблокированная схема (предустановленная, недоступная для правки), ученик восстанавливает её таблицу истинности в интерактивной таблице: клик циклит ячейку «пусто → 0 → 1»; проверка сравнивает заполнение с фактическим прогоном схемы движком.
Задание публикуется в серии только при выполнении трёх условий: правильная стратегия S⁺ его решает; ошибочная S⁻ падает хотя бы на одной видимой строке (иначе задание не различает понимание); и выполняется инвариант D — множество входов, на которых задание отличает S⁺ от S⁻, согласовано с классом ошибки семейства. Верификация генератора идёт полным перебором входного пространства движка; ученику при этом предъявляется ограниченный набор тест-векторов. Смешение скрытого покрытия (для верификации) и видимого (для ученика) исключено по построению.
Задания серии используют только узлы, открытые к концу уровня 8: Input/Output и XOR/AND/OR (build-задания); предустановленная схема задания «восстанови таблицу» собрана на том же наборе вентилей. Синтетические идентификаторы заданий вида trainer:carry:<seed> не пересекаются с уровнями курса, поэтому попадание в прогресс, блокировки и награды исключено на уровне архитектуры.
Правила серии 3+2
Базовых заданий три. В семействе carry: две сборки и одно восстановление таблицы. В семействе overflow серии — только predict-задания: пары чисел, по каждой два бинарных ответа («перенос?» и «переполнение?»), схемы не строятся. Провал — две неудачные проверки одного задания; тогда серия выдаёт дополнительное задание (та же ловушка, другой вариант), максимум два дополнительных. Серия успешна при прохождении всех выданных заданий. Прогресс серии сохраняется локально и переживает выход. Предложение показывается не чаще одного раза за сессию; после отказа — не раньше чем через 7 дней; диагностика переполнения тоже не чаще раза за сессию и не раньше чем через 7 дней после любого её исхода. После завершения серии модалка не показывается, остаётся вход из таба «Знания» — раздел «Тренажёры» со статусом каждой серии. Повторная тренировка создаёт новую серию с новыми вариантами.
Границы версии v1
- Два семейства ошибок — carry (маршрут А) и переполнение против переноса (маршрут Б). Обратная подмена («переполнение-детектор как признак переноса»), вычитание и детекция на RISC-уровнях — после пилота. Частота заблуждения overflow в корпусе неизвестна до накопления телеметрии диагностики.
- Только комбинационные схемы; последовательные семейства требуют другой модели наблюдений.
- Тренажёр не пишет в прогресс, тиры и статусы компетенций; модель свидетельств мастерства внешними данными в v1 не расширяется.
- Детекция клиентская: наблюдения живут в localStorage ученика, на сервер уходят только обезличенные события телеметрии.
Рамка пилота и метрики
Прототип проверяется на живых попытках, и пилот собирает данные для решений следующей версии:
- Телеметрия. События
trainer_signature_confirmed,trainer_offered,trainer_started,trainer_task_checked/passed,trainer_extra_added,trainer_series_done, а для маршрута Б —trainer_concept_observationиtrainer_diagnostic_shown/answered/result— воронка от подтверждения сигнатуры до завершения серии. Payload без персональных данных, без записи в mastery. - Ложные срабатывания. Оцениваются по экспертной разметке: доля предложений, где ошибки ученика не относились к семейству. v1 это не блокирует; результат определяет пороги подтверждения.
- Проверка переноса. Независимая — на уровнях 13 «Выбор операции» и 14 «Сердце математики», где ADDER8 входит в большую схему. В v1 измерение пассивное: телеметрия существующих событий этих уровней, без новых заданий.
- Доля «не определено». Доля недостроенных и некорректных схем среди неудачных попыток показывает, какая часть «стен» вообще доступна классификатору.
Что увидит преподаватель
В v1 — немногое, и это стоит назвать прямо. В кабинете преподавателя отдельной статистики по тренажёру нет: подписок классов, отметок и заданий он не создаёт, поэтому и отражать в кабинете нечего. События trainer_* доступны в общей телеметрии проекта (агрегаты без персональных данных). Ученическая сторона самодостаточна: подтверждение сигнатуры, предложение, серия — всё живёт у ученика, и вход в тренажёр из таба «Знания» доступен ему в любой момент.
Чего в v1 нет и что появится по итогам пилота: учёт тренировок в кабинете и CSV, привязка наблюдений к аккаунтам классов и серверная детекция. Практический вывод для занятия: на карточке «Сумматор и перенос» раздел «Ожидаемые ошибки» дополняется инструментом — если ученик систематически теряет перенос, у игры теперь есть серия задач именно про это, и её прохождение не искажает отчётность по уровням. Для темы «дополнительный код» (уровень 25 и далее) тем же способом работает серия про переполнение и перенос.