ClassicML CV NLP
Ансамбли моделей
- Что такое градиентный бустинг?
- На что обучается N+1-е дерево в градиентном бустинге?
- Градиент чего используется в градиентном бустинге?
- Какие знаешь современные реализации градиентного бустинга?
- Чем CatBoost отличается от XGBoost и LightGBM?
- Что такое случайный лес и как он работает?
- На какой выборке обучается каждое дерево случайного леса?
- Как работает bootstrap?
- Когда в случайном лесе выбирается подмножество признаков: один раз на дерево или на каждое разбиение?
- Можно ли строить случайный лес не над деревьями, а над линейными моделями?
- Как бустинг и случайный лес влияют на смещение и разброс?
- Переобучается ли бустинг при большом числе деревьев?
- Переобучается ли случайный лес при большом числе деревьев?
- Во сколько раз максимально может уменьшиться дисперсия в случайном лесе при большом числе деревьев?
Метрики классификации
- Что такое Precision и Recall?
- Почему для F1-метрики берут именно гармоническое среднее?
- Какие существуют обобщения F1-метрики (например, F2, F0.5)?
- Что такое ROC-AUC и как его считать?
- Почему ROC-AUC для случайного классификатора равен 0.5?
- Вероятностная интерпретация ROC-AUC.
- Как изменится ROC-AUC, если дублировать объекты разных классов с разным коэффициентом?
Метрики регрессии
- Что такое MAE и MSE?
- Какой недостаток есть у MAE при использовании в качестве функции потерь?
- Какая метрика более устойчива к выбросам — MAE или MSE?
Регуляризация в нейросетях
- Какие способы регуляризации нейронных сетей знаешь?
- Зачем нужен BatchNorm?
- Чем LayerNorm отличается от BatchNorm и где их применяют?
- Как работает Dropout?
- Как подбираются параметры нормализации на инференсе?
NLP
- Какие способы построения эмбеддингов для слов знаешь?
- Чем FastText лучше Word2Vec?
- Может ли FastText работать с out-of-vocabulary словами?
- Как BERT обрабатывает слова, которых нет в словаре?
- Как получить эмбеддинг для слова из нескольких токенов?
- Как получить эмбеддинг всего предложения?
- Какие бывают архитектуры трансформеров (энкодер, декодер, энкодер-декодер)?
- Как работает self-attention?
- Чем отличается self-attention от cross-attention?
- Зачем нужен positional encoding в трансформере?
- Какие способы позиционного кодирования знаешь?
- Меняется ли эмбеддинг токена в зависимости от его позиции в предложении?
Компьютерное зрение
- Как устроена сверточная нейронная сеть?
- Как работает pooling-слой и какие бывают виды pooling?
- Какие параметры есть у сверточного слоя и за что они отвечают?
- Что такое dilation в сверточных слоях?
- Зачем нужны residual connections?
- Что такое Inception-модуль и зачем он нужен?