ClassicML Python
Линейные модели и градиентный спуск
- Как строится линейная модель? Что означает «обучить модель»?
- Что под капотом у линейной регрессии из sklearn?
- Что такое градиентный спуск и какие методы знаешь?
- Какие модификации шага в градиентном спуске? (про Adam)
- Как кодировать категориальные данные?
- Как предобрабатывать числовые признаки для линейной модели?
Деревья и ансамбли
- Как строится дерево решений? Какие у него плюсы и минусы?
- Как дерево используется на инференсе?
- Почему одно дерево на практике не используется?
- Как обучается Random Forest?
- Чего именно Random Forest уменьшает: bias или variance?
- Чем бустинг отличается от бэггинга?
- Почему Random Forest уменьшает дисперсию?
- Чем отличаются бустинги друг от друга (CatBoost, LightGBM, XGBoost)?
- Как строятся деревья в каждой из этих реализаций?
Экстраполяция и поведение моделей
- Могут ли линейные модели / дерево / RF / бустинги выходить за рамки обучающей выборки? Что они будут выдавать?
- Есть 1000 деревьев, ты выкидываешь у каждого из ансамблей (бэггинг и бустинг) первые 30 деревьев. Что произойдёт?