Порядок обработки
Хранить raw как неизменяемые файлы с sha256; приемка файла → схема и ключи → проверки значений/прибора → ручное решение с причиной → производные ряды с processor_version и ссылкой на входы. WMO-No. 8 vol. V включает главы о QA и калибровке; FAIR требует явного происхождения и лицензии. Пороги ниже — локальные предложения, не WMO/ISO нормы.
| Уровень | Автоматическая проверка | Действие |
|---|---|---|
| Импорт | дубликат ключа, отсутствие родителя, неверная единица, время вне сезона, разброс кодов | остановить импорт; сохранить исходный файл; оформить событие коррекции, не подставить «вероятный» plot_id |
| Метео | RH 0–100, дождь ≥0, max≥mean≥min, окна не перекрываются, frozen sensor, разрывы; сравнить соседнюю станцию | suspect до просмотра калибровки/событий; нельзя считать пустой час сухим |
| Почва/биометрия | глубина top<bottom; высота/масса ≥0, часть растения не равна whole plot; методы и единицы фиксированы | перепроверить первичную этикетку и прибор, провести при необходимости повторный замер |
| Урожай/масло | учётная площадь >0, тара ≤ брутто, влагосодержание и масло 0–100%, серия контроля, согласие проб | invalid лишь после протоколируемой проверки, не удалять экстремальные реальные урожаи |
| Снимок | совпадение метки делянки, геометрия, время, checksum, облака/тени/насыщение/маска и доля покрытия | исключать непригодные пиксели; для малого полигона запрет деляночного вывода |
Пропуски и аномалии
Каждая запланированная, но не выполненная запись обозначается NA с missing_reason; отсутствие целого файла — событие инвентаризации, а не серия «нулей». Предложенный минимум покрытия часовой погоды для суточного среднего/суммы: ≥90% доступных интервалов, зафиксировать также фактическую долю и число часов; для экстремума даже 90% часов не гарантируют истинный дневной максимум — указывать неполноту или NA. Даты фенологических событий интервалами между обходами, не интерполировать BBCH как непрерывное число. Выброс = сигнал проверки, не основание winsorize по всем сезонам; после проверки реального наводнения/полегания значение сохраняется. Для анализа чувствительности отдельно сравнить pass и pass+suspect, не менять первоначальное правило по результатам третьего сезона.
Импутацию характеристик для ML обучать лишь на сезонах 1–2 и применять к третьему со скопированными параметрами; сохранить missing-indicator/источник подстановки. Рядом со станцией резервная станция или ERA5-Land — отдельный сценарий и собственная оценка ошибки, не невидимая замена. Часы и суточные суммы рассчитывать в выбранном часовом поясе; для доступного к прогнозу окна [sowing,cutoff] не применять скользящие средние, включающие следующие дни. Калибровочные поправки датчиков и база влажности семян — версии производных, исходник остаётся.
Пример траектории решения
Неожиданно низкая масса одной делянки → сверить тару и площадь, журнал полегания, повторно взвесить сохранённую пробу при возможности → зафиксировать pass (реальный результат) или invalid (подтверждённая путаница проб), ответственную функциональную роль, время и ссылку на исходник. Аналитик не вправе удалять подозрительные точки лишь потому, что они портят RMSE.
Источники к действию
WMO-No. 8 том V направляет измерительный контроль, а FAIR: подробное происхождение — хранение исходников и версий; конкретный порог полноты 90% предложен локально.
Связи
- Схема — флаги и причины пропусков доступны как поля, а не комментарии памяти.
- Датчики — изменение калибровки отмечено в происхождении.
- Урожай — экстремум может быть физиологическим исходом, не ошибкой.
- Holdout — запрещает подгонять пороги QA и импутации по оценочному сезону.
- Модели — сравнивать устойчивость MAE/RMSE при заранее заданной политике флагов.