Agents RAG LLM Python SQL
Качество и обратная связь в агентном сервисе
- Как собирать обратную связь от пользователей агента и как по ней точечно работать с качеством?
- Что даёт лайк/дизлайк в интерфейсе и что делать, когда примеров с дизлайками единицы?
- Как разбирать неудачный ответ агента: где искать причину в траектории?
- Как офлайн измерять качество агента на собранных диалогах?
- Что такое golden set для агента, кто и когда его собирает, из чего состоит сценарий (вход оператора → ожидаемый выход)?
Оптимизация и отладка агентов
- Почему агент зацикливается и как с этим бороться?
- Что ещё можно оптимизировать в работе агента, кроме устранения зацикливания?
- Что снимать с каждого execution-узла для мониторинга (время работы, число операций, задержка)?
- Почему слишком медленный агент перестают использовать и как это влияет на выбор архитектуры?
- Зачем агентному сервису очередь и в каких случаях она не нужна?
- Какие подходы к разработке агентов существуют помимо строгих детерминированных графов? Чем ReAct отличается от жёсткого графа?
- Что такое harness и когда его целесообразно разворачивать?
Поиск и RAG
- Какой поиск выбрать: семантический или гибридный? За счёт чего гибридный повышает recall?
- В чём минусы гибридного поиска?
- Как одна модель (например, BGE-M3) строит лексический и семантический эмбеддинг за один инференс?
- Как объединять кандидатов от dense- и sparse-головы перед реранкингом?
- Что такое кросс-энкодер и как он работает в роли реранкера?
- Зачем нужна фильтрация по метаданным и как она сочетается с векторным поиском?
- Как измерять качество поиска (recall@k) и на чём — синтетический golden set?
Память и контекст агента
- Как работать с контекстом и памятью агента при длинных диалогах?
- Что такое summarizer, делают ли его промптом или отдельной моделью?
Python и SQL
- В каком порядке выполняется SQL-запрос (SELECT, FROM, WHERE, GROUP BY) на стороне базы данных?
- Когда использовать асинхронность, а когда многопроцессность?
- Что такое PEP 8?
- Что такое принципы SOLID?