Машинное обучение на матфаке 2018/2019/Программа экзамена

Программа экзамена включает в себя все темы из программы контрольной, а также следующие темы:

• Различные функции потерь для регрессий: MAE, Huber loss.
• L1-регуляризация как метод отбора признаков.
• Логистическая регрессия, её функция правдоподобия. Логарифмическая функция потерь. Отступ. Выражение функции потерь через отступ.
• Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one).
• Многоклассовая (мультиномиальная) логистическая регрессия.
• Обработка текстов методами машинного обучения. TF-IDF.
• Support vector machines как задача уменьшения эмпирического риска для hinge loss.
• Решающие деревья. Алгоритм построения решающего дерева. Impurity functions: gini, энтропия, RSS. Критерии останова: глубина, количество объектов в терминальной вершине.
• Бустреп. Бэггинг. Random forest.
• Градиентный бустинг над деревьями.
• Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск
• Свёртка. Свёрточные нейронные сети.
• Рекуррентные нейронные сети.
• Метод главных компонент (PCA).
• Кластеризация: алгоритм K-means.
• Разделение гауссовых смесей, EM-алгоритм.