NLP LiveCode
Архитектура трансформера
- Расскажи про архитектуры трансформера и из каких частей они состоят.
- Это описание было про энкодер — что насчёт декодера?
- Что используется перед attention в трансформере?
- Что такое attention и как он работает?
- Как в attention учитывается расположение слов?
Методы дообучения моделей
- Какие есть способы дообучения модели?
- Какие подходы SFT ты знаешь?
- Что такое LoRA и как она работает?
- Какими свойствами обладает матрица в LoRA?
- Реализуй простую версию LoRA для линейного слоя.
Токенизация
- Зачем нужна токенизация?
- Какие методы токенизации ты знаешь?
- Реализуй обучение BPE токенизатора.
- Зачем при токенизации учитывать пробелы?
Инференс
- Какие есть варианты сэмплирования на инференсе?
- Что значит “выбираем случайный токен”?
- Какие токены для модели дороже — на входе или на выходе?
- Почему генерация токенов дороже, чем обработка входной последовательности?
Prompting и structured output
- Какие паттерны prompting ты используешь?
- Зачем нужен structured output?
- Почему любая LLM может выдавать корректный JSON на выход?
- Как можно ограничить выбор следующего токена, чтобы сохранить корректный формат?
RAG (Retrieval-Augmented Generation)
- Как работает RAG?
- Зачем при подготовке документов для RAG их чанкать?
- Что делать, если база уже заполнена, а нужно добавить новые документы?
- Какие метрики используются для оценки качества RAG?
- Какие метрики применяются для оценки генерации итогового ответа?
Экономическая целесообразность
- Как оценить, что выгоднее — использовать API LLM или развернуть свою модель?
- Как посчитать стоимость при использовании API?
- Как посчитать стоимость при разворачивании своей модели?
- В какой момент выгоднее перейти на собственный сервер?