NLP
Общие и организационные
- Можешь рассказать про свой опыт работы и чем бы ты хотел заниматься?
Classic ML
- Чем отличается линейная регрессия от логистической регрессии?
- В чем идея бустинга?
- Что такое бэггинг и как он отличается от бустинга?
- В каком из алгоритмов — бустинг или бэггинг — глубина деревьев обычно больше, и почему?
Метрики в ML
- Какие метрики можно использовать для оценки бинарной классификации?
- Что такое ROC-AUC, какой у него диапазон значений, какое значение считается хорошим?
- Что означает ROC-AUC = 0.3?
Статистика
- Как проверить, имеет ли признак нормальное распределение? Какие знаешь статтесты для этого?
NLP — классические методы
- Что такое TF-IDF?
- Что такое fastText и как он работает?
Трансформеры и Attention
- Что такое attention, зачем он нужен, и какая у него формула?
- Что такое cross-attention и какие матрицы из энкодера передаются в декодер?
- Что такое flash-attention, зачем он нужен, и как он ускоряет вычисления?
Архитектуры и обучение моделей
- Что такое BERT, какие задачи он решает и на каких задачах был обучен?
- Что такое LoRA, какие у нее параметры, как она работает, как инициализируются матрицы?
Регуляризация и нормализация
- Что такое batch normalization, зачем он нужен, как работает на обучении и на инференсе?
- Что такое dropout, как он работает на обучении и на инференсе?
Инфраструктура
- Работал ли ты с Docker и сможешь ли поднять сервис при необходимости?