Как использование маскирования (masking) при расчёте функции потерь в SFT влияет на процесс обучения на инструктивных наборах данных?
При использовании LoRA с рангом r как изменяется количество обучаемых параметров по сравнению с полным дообучением весов матрицы?
Какое явление наиболее вероятно при использовании слишком высокого learning rate на этапе SFT для модели, которая уже прошла качественный pre-training?
Что представляет собой концепция Double Quantization в алгоритме QLoRA?
В чём заключается основное отличие задачи SFT от задачи Continuous Pre-training (дообучение на сыром тексте)?
Какую роль играет параметр alpha в методе LoRA?
Энкодерные модели и обучение представлений
В чём заключается ключевое отличие механизма Disentangled Attention в модели DeBERTa от стандартного Self-Attention в BERT?
В методе ELECTRA используется задача Replaced Token Detection (RTD). Почему обучение дискриминатора в ELECTRA считается более эффективным, чем MLM в BERT при том же объёме данных?
При использовании SimCSE (Unsupervised) для обучения Bi-Encoder, как формируются положительные пары (positive pairs) для Contrastive Loss?
В RoBERTa было предложено Dynamic Masking вместо Static Masking. В чём технически заключается эта разница?