ClassicML ClassicMLМетрики

Прогнозирование спроса — фреймворки

  • Какие фреймворки существуют для временных рядов помимо CatBoost (statsforecast, MLForecast, NeuralForecast, Prophet)?
  • В каких задачах SARIMA / Prophet проигрывает бустингам?
  • Чем ClickHouse отличается от PostgreSQL для задач с большими агрегатами?
  • Что такое MLflow и для каких задач его используют?

Метрики

  • Чем отличаются MAE / MAPE / WAPE / RMSE? Какие лучше использовать?
  • Почему именно WAPE для прогнозирования спроса с сильной сезонностью?
  • Как считать смещение (bias) на основе ошибок прогноза?
  • В каких случаях имеет смысл смотреть MAPE на коротких отрезках?

Валидация временных рядов

  • Используется ли стандартная кросс-валидация на временных рядах? Почему нельзя?
  • Как делать back-testing валидацию (sliding window train → next-week val)?

Сегментация (RFM + дополнительные фичи)

  • Какие ограничения у классической RFM-сегментации? Какие признаки добавляют для их преодоления (доля праздничных заказов, доля скидок, доля отмен)?
  • Как объединить ML-модель и rule-based подход в одной системе сегментации (например, для VIP-кластера, который теряется в общей массе)?
  • В каких случаях GMM-кластеризация выигрывает у K-Means?
  • Как контролировать data drift в задаче кластеризации, если клиенты часто прыгают между кластерами?

Ранжирование продавцов

  • Как сформулировать задачу ранжирования через бинарную классификацию (попадёт ли продавец в топ X%)?
  • Какие признаки использовать (выручка, рейтинг, доля отмен, доля задержек, новые клиенты)?

Random Forest vs Gradient Boosting

  • В чём разница между Random Forest и Gradient Boosting?
  • Что такое bootstrap + aggregation?
  • Какой бы выбрать для прогнозирования временных рядов и почему?
  • Какие критерии при выборе между ними (количество данных, риск переобучения)?

Метрики классификации

  • Что такое Precision, Recall, F1?
  • Что такое ROC-AUC и PR-AUC?
  • При каком условии стоит смотреть на PR-AUC, а не на ROC-AUC?

Обучение с / без учителя

  • Что такое обучение с учителем, без учителя, с подкреплением? Примеры моделей.