Объект проверки
Предварительный дизайн 3 сорта/гибрида × 2 срока × 2 нормы × 3 блока даёт 36 делянок за сезон, 108 за три сезона. Не 108 независимых погодных лет: первые два года — разработка, третий закрыт целиком, включая все 36 делянок, спутниковые снимки и метки, до заморозки признаков, гиперпараметров и выбора модели. Morales и Villalobos (2023) показывают риск случайного деления для прогноза будущих лет; scikit-learn описывает необходимость обучать трансформации только внутри обучающей складки.
Внутренняя проверка первых двух лет
Для выбора между несколькими заранее заданными кандидатами — обучать на первом году, валидировать на втором; при обратном направлении второй→первый оценка устойчивости возможна, но это не «оперативный прогноз будущего». Если обучать на части делянок того же года, группировать по plot_id и как минимум block/участку в зависимости от заявленного внешнего переноса; такие оценки сообщать отдельно как интерполяцию внутри года, не выдавать за генерализацию на третий сезон. Отбор полос, импутация, пороги сегментации, почвенная калибровка, подбор сорта/фазы и масштабирование — только внутри соответствующего train. Все повторные снимки и изображения одного plot_id остаются в одной группе. 2 обучающих сезона недостаточны для точной оценки межгодовой дисперсии.
Закрытый тест
Однократно получить по каждому предопределённому моменту t прогнозы для 36 делянок третьего года до использования целевого урожая/масла и будущей погоды. Отложенные лабораторные метки понадобятся только для финальной оценки. Для каждой цели с n делянками: MAE=Σ|ŷ−y|/n; RMSE=sqrt(Σ(ŷ−y)²/n); bias=Σ(ŷ−y)/n. Фазы — абсолютная ошибка дней; урожайность и масло — в собственных единицах. Дополнительно таблица по блокам, сортам/факторам и экстремальным ошибкам без выбора новой модели по тесту. Предсказатель «среднее обучения»/«среднее сорта обучения» и термальный baseline обязателен. Roberts и др. (2017), DOI 10.1111/ecog.02881 рассматривают блокированную проверку зависимых пространственных/временных данных; здесь текст статьи не получен, применяем лишь библиографическое указание, основные решения обосновываются проверенными Morales и Villalobos.
Отчёт без подмены
Раздельно: ретроспективная подстановка фактической погоды после даты t и настоящий прогноз, где известны только данные до t или архивированный прогноз погоды. Не сравнивать их как равноправные. Ошибка на одном удержанном сезоне не даёт оценить весь диапазон климатического риска Северо-Запада.
Источники и перенос
Временное разделение и baseline даёт прямой аргумент против случайного деления, официальный CV-протокол показывает утечки через предобработку; условия конформных интервалов нельзя распространять на новый год без проверки обменности.
Связи
- Реестр доступности: запрет будущих полей важнее высокого R².
- Псевдорепликация: пиксели и повторные снимки не новые независимые делянки.
- Охват интервалов: закрытый год оценивает эмпирический охват.
- Гибрид: оба компонента калибруются внутри train.
- Опыт: полный holdout сезона закреплён исследовательским контрактом.