- Расскажи про градиентный спуск, что это такое для чего нужен
- Какие улучшения градиентного спуска знаешь?
- Расскажи про Rprop, RMSprop, momentum, Adam. Чем отличаются, в чём идея?
- Переобучение, что это такое, как с ним бороться?
- Как работает Dropout, какие у него есть режимы, что делает?
- Как работает Batchnorm, какие у него есть режимы, что делает. Какие обучаемые параметры, можно ли подать одно изображение на вход?
- В чём смысл attention слоя, формула. Разница между query, keys, values