Как готовить инструкции для RAG из PDF (PDF Plumber → разделы → чанки)?
Как выбирать размер чанка (200–300 vs 512 токенов)? Почему именно так?
Как чанковать сложные документы со смешанной структурой (законы — структура; правоприменительная практика — без жёсткой структуры; учебники — оглавление+вода+смысл)?
Как оценить качество нарезки чанков? Может ли LLM-Judge это делать?
Что делать, если на выходе плохие чанки и плохая косинусная похожесть?
Эмбеддинги
Какие критерии при выборе эмбеддинг-модели? На что смотреть помимо производительности?
Если нельзя использовать OpenAI (заказчик требует локально), как выбрать модель? На какие характеристики обращать внимание?
Промпты, версионирование, observability
Как организовать процесс обновления prompt при смене модели (Lama 3 → Lama 4), чтобы оценить изменение качества?
Что такое observability в контексте агентных систем? Зачем оно нужно?
Какие инструменты для версионирования промптов знаешь?
Зачем нужны бенчмарки моделей в pipeline регрессионного тестирования?