СБЕР. Девайсы

NLP ClassicML

🧩 Основы NLP

1. Способы векторизации текста?
2. Что такое TF-IDF и как считается?
3. Как обучается и работает Word2Vec, структура модели?
4. Что если слово OOV (не в словаре)?
5. Чем отличается GloVe?
6. Какие гиперпараметры важны?
7. Учитывает ли позицию токенов Word2Vec?
8. Что такое токен / токенизатор?
9. Способы токенизации? Как обучаются?
10. Как оценить качество токенизатора?

🧠 Transformers

11. Чем отличается GPT от BERT?
12. Что такое DistilBERT, RoBERTa, чем отличаются от BERT?
13. Что такое attention и его формула?
14. Почему attention делим на sqrt(d)?
15. Сложность attention (O(n²)), какие есть оптимизации?
16. Что такое multi-head attention? Почему головы дают разные эмбеддинги?
17. Что такое cross-attention? Encoder/decoder attention в T5?
18. Bi-encoder vs Cross-encoder — в чем разница?

🔍 RAG

19. Что такое RAG? Как устроен пайплайн?
20. Что такое FAISS, ElasticSearch? В чем разница?
21. Полнотекстовый vs векторный поиск?

🤖 LLM и агенты

22. Что такое LLM? Какие этапы обучения?
23. Что такое SFT, LoRA, дистилляция, pruning?
24. Как сделать так чтобы LLM решала математические задачи с максимальной точностью? (Function calling)
25. Что такое Function calling?
26. Что такое Agents?
27. Как построить multi-agent систему? (бейзлайн решение)
28. Знаешь ли паттерны типа React/Act?

Classic ML:

1. Какие две основные задачи в ML?
2. Основные алгоритмы классификации/регрессии?
3. Что такое сигмоида, формула, и зачем она нужна?
4. Random Forest — как работает? Зачем бэггинг?
5. Как работает бустинг? В чем его отличие от бэггинга?
6. Какой гиперпараметр влияет на переобучение дерева? (max_depth)
7. Чем отличаются RF и Boosting по устойчивости к переобучению?
8. Почему нельзя оптимизировать accuracy напрямую, а используется, например, cross-entropy?
9. Что чаще используют на проде: бустинги или беггинги? И почему?
10. В чем отличия между бустингами LightGBM, XGBoost, CatBoost? Как CatBoost работает с категориальными данными?