Quartz

RAG

2 min read

Основы RAG

  • Что такое RAG?
  • Что такое ретривер?
  • Dense и Sparse Retrieval? В чём разница, зачем нужны?
  • Bi-Encoder и Cross-Encoder разница?
  • Как мы обучаем эмбеддер?
  • Из чего состоит RAG-система (Retriever, Augmentation, Generator)?
  • Как выбирать размер чанка (200–300 vs 512 токенов)? Почему именно так?
  • Как чанковать сложные документы со смешанной структурой (законы, судебная практика, учебники)?
  • Когда RAG выгоднее Fine-tuning?
  • Как масштабировать RAG-систему при высокой нагрузке?

Метрики и оценка

  • Метрики качества RAG?
  • RAGAS? Что такое, зачем нужен, как работает?
  • Какие метрики качества эмбеддера замеряют (NDCG, Recall@5)?
  • Что такое NDCG? Какой у него диапазон? Что значит NDCG=0.3?
  • Зачем добавлять compactness как метрику в LLM-Judge?
  • Что подавать на вход LLM-Judge? (контекст, ответ, запрос юзера)
  • Как обеспечить детерминированность LLM-Judge на одних и тех же данных?
  • Какую более простую метрику можно использовать вместо NDCG?
  • Как построить синтетический golden set для оценки качества ретривала?

Reranking

  • Что такое Reranker? Какие бывают?
  • LLM-reranking что такое, как работает?
  • Как проверить качество реранкера?
  • Как объединять результаты dense + sparse поиска перед реранкингом (MRR, RRF)?
  • Сколько времени отрабатывает Cross-Encoder на 50 чанках? Как ускорить?

Поиск и стратегии

  • Hybrid Search
  • Multi-Query Search
  • Chunking Strategies
  • Что такое dense-вектора и sparse-вектора, чем они отличаются?
  • Какой алгоритм для sparse-векторов используется в Qdrant? Это BM25 или нет?
  • Как использовать обратную связь пользователей (CSAT, лайк/дизлайк) для пополнения валидационного датасета?
  • Что делать, если Retriever не вернул релевантные чанки, а LLM начала галлюцинировать?
  • Как поддерживать продолжение диалога и уточнения к предыдущему ответу в RAG-системе?
  • Чем отличаются HyDE, GraphRAG и Agentic RAG?
  • За счёт чего гибридный поиск повышает recall и какие у него минусы?
  • Зачем нужна фильтрация по метаданным и как она сочетается с векторным поиском?
  • Почему рекурсивное разбиение по разделителям лучше нарезки по фиксированному числу символов?
  • Какие метаданные хранить у чанка (родительский документ, номер чанка в документе) и зачем?
  • За счёт каких структур данных работает полнотекстовый поиск в Elasticsearch?

Модели

  • BERT, E5, T5. Разница, какой для чего
  • Как одна модель (например, BGE-M3) строит лексический и семантический эмбеддинг за один инференс?

Graph View

Backlinks