NLP LLM DL
Оптимизация обучения и инференса LLM
- Что такое квантизация, как она работает? Какие есть виды (линейная, natural float, product quantization)?
- Распределённое обучение: что делает FSDP и в чём его преимущество перед наивными подходами?
- Как работает спекулятивный декодинг? За счёт чего конкретно происходит ускорение инференса?
- Какие есть архитектурные оптимизации attention: multi-query attention, grouped-query attention?
- Какие оптимизации attention существуют с точки зрения инференса (flash attention, скользящие окна)?
- FP16 против BF16 — чем технически отличается BF16 и почему он лучше?