ML теория (Классика)
- Почему LightGBM обучается быстрее других моделей (про асимметричные деревья)
- Как называется метод обработки категориальных признаков в CatBoost и как он работает
- Как калибруется вероятность в вероятностных моделях и для чего (какие виды калибровок есть)
- Какие защитные метрики (guardials) могут использоваться при A/B тесте
- Для чего в логлоссе логарифм
- Только ли сигмоида может использоваться в логистической регрессии (какие условия для функций здесь актуальны для использования)
- Какая модель лучше для инференса с точки зрения скорости предсказания: RF, GradBoosting (без разницы какой)
- Какие кастомные метрики знаешь, которые происходят из базовых например от MAE, MSE и т.д.
- SMAPE, WAPE и так далее
- Быть может сам делал кастомные метрики, если да — расскажи
ML кейсы
Кейс 1. Представь, что ты работаешь в команде автострахования (ОСАГО). Бизнес-заказчик хочет модель, которая предсказывает цену по марке и году выпуска. После месяца в проде приходят жалобы — модель выдаёт отрицательные цены. Что делать в этой ситуации:
- при линейной регрессии
- при случайном лесе
- при градиентном бустинге
Интуитивные вопросы:
- Почему в некоторых моделях могут появляться отрицательные предсказания, а в других — нет?
- Что нужно делать для каждой модели, чтобы с этим бороться (по шагам)?
- Как объяснить эту ситуацию с продуктовой точки зрения (влияние на бизнес, пользователей и доверие)?
- Откуда вообще могут взяться отрицательные предсказания и как их предугадать заранее?
- Как можно заранее понять, что с моделью что-то идёт не так (ещё до жалоб бизнеса)?
Кейс 2. Страхование / фичи / калибровка:
- Какой фиче-инжиниринг в страховании недвижимости может быть?
- Что трекают во время калибровки скоров?
Кейс 3. Метрики для прогноза спроса (количество билетов):
- Какие метрики лучше использовать, если предсказываем количество купленных билетов с диапазоном предикта 0–10000?
- Назови плюсы/минусы метрик для этой ситуации
Кейс 4. Нетипичный (аномальный) спрос:
- Есть нетипичные блочные спросы (отмена рейса, пересадка, командировки и т.п.). Спрос делится на типичный и нетипичный — как с этим работать? Как предсказывать нетипичный спрос?
Кейс 5. Глобальная модель прогноза и петля обратной связи:
- Есть одна глобальная модель на все направления/самолёты, прогнозирует на 365 дней; бизнес и аналитики дают ежедневный фидбек, что модель ошиблась. Задача: придумать инструмент точечного улучшения модели так, чтобы точно улучшиться и не ухудшить другие сегменты; внедрить механизм трекинга, доказывающий отсутствие деградаций.
Кейс 6. Автоматизация принятия решения «до/после» по сегментам и метрикам:
- Как принять решение после сравнения “до/после” по сегментам, если у нас 10 метрик × 10 сегментов = 100 метрик? Как автоматизировать это?
- Какой ещё вариант? (альтернативные подходы к автоматизации решения)
Общие вопросы по рексистемам и CF
- Какие есть модели CF в рек системах и как работают?
- Как работает ALS? Кратко опиши суть — как обучается, для чего подходит, для чего нет
- Лосс в ALS
- Как обучается ALS
- Преимущества и недостатки ALS
Ретривал / ANN (FAISS)
- FAISS: как работает, что внутри
- А если очень много векторов (что делать при огромном числе векторов/ресурсов)
- Какие знаешь виды ANN
Двухбашенные модели (Two-Tower)
- Как работают башни в Two-Tower
- Какими метриками оценивается Retrieval этап
- Как сокращается время поиска кандидата
- Какие метрики ранжирования знаешь?
- Какие ранжировщики знаешь
- Как работает LambdaRank и Wide&Deep
- Что такое холодный старт? Как с ним бороться
- Разница контентной и коллаборативной фильтрации
- Эксплисит фидбек в рек системах — что это?
- Что такое негативное семплирование и какие виды есть
- Из каких блоков состоит поисковая система
- Как мы оптимизируем latency
- Что такое BM25