RAG Agents DeepLearning LLM
Локальные LLM в проде
- Когда выбрать Lama 3 8B вместо API-модели? Какие критерии?
- Где разворачивать локальную LLM (Ollama, vLLM, LMStudio)? В чём разница?
- Как оценивать качество модели в проде (golden dataset, human evaluation, метрики)?
Архитектура трансформера
- Расскажи про архитектуру трансформера (encoder, decoder, multi-head attention, positional encoding, FFN, residual + LayerNorm).
- Что такое механизм внимания? Зачем нужны Q, K, V?
- Зачем делится на корень из d_k в attention?
- Зачем нужно маскирование (masked multi-head attention) в decoder?
- Чем отличается encoder от decoder? Для чего нужен каждый?
- Как декодер предсказывает следующее слово (linear → softmax → argmax)?
Токенизация и словарь
- Как текст преобразуется в набор векторов перед подачей в трансформер?
- Какие способы токенизации существуют (по словам, по подсловам, по символам, BPE, WordPiece)?
- На каком этапе появляется словарь? Как с ним работает токенизатор?
RAG (общее)
- Из чего состоит RAG-система (Retriever, Augmentation, Generator)?
- Спроектируй RAG для юридического домена: законы в TXT-файлах, налоговый кодекс одним файлом, многоязычность не требуется.
- Какую стратегию чанкования выбрать для законов и почему?
- Какие векторные БД знаешь (Chroma, Qdrant, FAISS, Postgres+pgvector, Redis)? Когда что использовать?
- По каким критериям выбирать open-source LLM?
- Что добавить помимо retrieval + generation (мониторинг, масштабирование, маршрутизация запросов)?
Поиск по ключевым словам
- Если пользователь спрашивает «какие законопроекты вышли за последний месяц», как RAG должен это обработать (метаданные, фильтры по дате)?
- Как улучшить качество RAG, если генерация работает хорошо, а поиск плохой?
- Как устроен поиск по ключевым словам? Что такое BM25 и TF-IDF? В чём отличие?
Агенты
- Что такое tool в агентной системе? Как происходит вызов инструмента?
- Как описание tool попадает в инструкцию LLM?