Предсказание должно существовать до результата
Для каждого прогнозного среза сохранить: идентификатор делянки, timestamp с часовым поясом, фазу, версию данных, версию модели, прогноз, интервал/оценку неопределённости и перечень использованных входов. Сохранение прогноза нельзя откладывать до появления уборочных результатов.
| Данные | Доступность в бутонизацию/цветение | Правило |
|---|---|---|
| История фактической погоды | До timestamp прогноза | Агрегации заканчиваются на срезе |
| Будущая фактическая погода | Неизвестна | Запрещена как вход раннего прогноза |
| Метеопрогноз | Доступен с ошибкой | Сохранять выпуск и горизонт; оценивать отдельно |
| Климатическая норма/сценарий | Может быть доступна заранее | Не называть фактической будущей погодой |
| Фото, фенология, высота | Если получены до среза | Проверять дату съемки, не дату загрузки |
| Масса и масло финальной уборки | Будущее | Только target, не feature |
| Число зрелых семян/стручков | Может быть недоступно | Не использовать если получено позднее прогнозного среза |
| Масштабирование/импутация | Оцениваются на обучении | Fit только на train; затем transform test |
Заморозка третьего сезона
До появления его результатов сохранить выбранный алгоритм, гиперпараметры, признаки, правила QA, процедуры пересчёта целей и критерии оценки. Не подбирать модель по третьему сезону. После оценки можно создать следующую версию, но её проверка потребует других действительно новых данных.
В первых двух сезонах разумно сравнивать перенос «год 1 → год 2» и обратный вариант как внутренние диагностические сценарии. Два года дают слабую оценку межгодовой вариабельности; интервалы и рейтинги моделей нельзя выдавать за устойчивую региональную закономерность.
Обязательный отчёт результата
Ошибка базового среднего обучающей выборки; простая регрессия; более сложные модели; одинаковые группы и срезы; MAE/RMSE; ошибки по материалу и условиям; неопределённость; пропуски и исключённые делянки; стоимость получения признаков. Если модель хуже базовой, это должно оставаться в отчёте.
Связи
- Независимые наблюдения — что разнести между наборами.
- Алгоритмы — что замораживать.
- Происхождение данных — доказательство доступности по времени.
- Гипотезы — одинаковые условия сравнений.
- База пересчёта масла — воспроизводимая цель.
Статус: предлагаемая дисциплина будущего прогноза, не готовая обученная модель.