LLM RAG CV Multimodal Agents
Классификация и работа с LLM
- Как пофиксить ситуацию, когда LLM придумывает несуществующий класс в задаче классификации?
- Если хотим дообучить модель, нужно ли модифицировать последний слой или нет?
- Нужно ли обучать только декодер или можно заменить/дообучить слой перед выбором токена?
- Есть ли смысл использовать LLM как feature extractor и обучить свою классификационную голову?
- Что можно сделать с выходом feature extractor (матрица 1 × tokens × embedding), чтобы получить одно число для классификации?
- Есть ли смысл использовать декодер или лучше энкодер для такой задачи?
- Какие варианты pooling-а можно применить (CLS, last token pooling и т.п.)?
- Можно ли добавлять служебный токен и агрегировать информацию в нём для классификации?
Retrieval-Augmented Generation (RAG)
- Был ли у тебя проект с чат-ботом поддержки, где используется RAG?
- Как бы выглядела архитектура чат-бота поддержки с RAG?
- С какими векторными хранилищами работал? Почему иногда не используете FAISS?
- Как побить документацию на чанки для векторного поиска?
- Какие риски у подхода с суммаризацией перед поиском?
- Как избежать потери нужной информации при разбиении?
- Что думаешь о подходе с хранением связанных чанков и сборкой целого раздела при поиске?
- Как обучал эмбеддинги (роберта + триплет-лосс)?
- Почему выбрали триплет-лосс, а не SimCSE или InfoNCE?
- Как майнили hard negatives? Что такое hard negative?
- Как без разметки можно найти hard negatives?
- Как оценивать качество ответа модели в оффлайне и онлайне?
- Какие оффлайн-метрики можно использовать (BLEU, Rouge, Similarity)?
- Какие онлайн-метрики можно использовать (feedback от операторов, G-Eval, faithfulness, answer precision/recall)?
- Что знаешь про faithfulness и answer precision/recall?
Мультимодальность и CV
- Как бы сделал RAG, который умеет работать с картинками?
- Что делать, если пользователь присылает только картинку (без текста)?
- Как можно извлечь текст с картинки для поиска?
- Есть ли опыт работы с OCR?
- Есть ли опыт работы с мультимодальными LLM (например, Qwen-VL)?
- Как работал с распознаванием речи (speech-to-text)?
- Расскажи про проект с voice activity detection и классификацией команд.
- Как аугментировал аудиоданные?