CV ClassicML
Архитектура трансформеров и attention
- Как работает механизм self-attention в трансформере?
- Зачем в формуле attention используется деление на sqrt(d_k)?
- Что произойдет, если из трансформера убрать FFN-слои и оставить только self-attention с нормализациями?
- Зачем в трансформере используется LayerNorm вместо BatchNorm?
- Почему BatchNorm сложно применять при обучении трансформеров?
Batch Normalization
- Как считается BatchNorm в случае тензора формы (N, C, H, W)?
- Что происходит с параметрами BatchNorm на этапе inference?
- Как во время обучения накапливаются значения mean и variance для использования на валидации?
- Для чего используется параметр momentum в BatchNorm?
- Почему нельзя просто усреднять все прошлые значения mean/variance, а используется экспоненциальное скользящее среднее (EMA)?
Переобучение и регуляризация
- Что такое переобучение и как его диагностировать на практике?
- Какие методы борьбы с переобучением можно применить в задаче компьютерного зрения?
- Чем focal loss отличается от взвешенной кросс-энтропии?
- Как математически устроен focal loss и зачем он нужен?
- Как работает dropout и чем он отличается на этапе обучения и валидации?
Метрики
- Что такое F1-score, зачем он нужен и чем отличается от обычного среднего?
- Как считается ROC-AUC?
- Может ли ROC-AUC быть меньше 0.5?
- Как считать mAP в задаче детекции объектов?
- Какие метрики используются для локализации объектов, кроме mAP?
- Что такое IoU и Dice?
- Можно ли превратить IoU в функцию потерь, и как это сделать?
Classic ML
- Как формулируется задача логистической регрессии: таргет, лосс, оптимизация?
- Как интерпретировать веса логистической регрессии и какие есть ограничения при интерпретации?
- Что такое мультиколлинеарность и как она влияет на обучение?
- Как можно избавиться от сильно коррелированных признаков?
- Как L1-регуляризация помогает отобрать признаки?
Архитектуры CV
- Как устроен Vision Transformer и как в него подаются изображения?
- Чем плохо инициализировать веса модели нулями?
- Какие виды инициализации весов ты знаешь и зачем они нужны?