imported>Esokolov: Новая страница: «== О курсе == left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»

2018-01-14T16:12:52Z

Новая страница: «== О курсе == 280px|borderless|left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»

Новая страница

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3-4 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по вторникам, 10:30 - 11:50, ауд. 509.

=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/184771518 Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+141@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_2_course

[https://docs.google.com/spreadsheets/d/1BhzeronD6_DUcH1l0W2ohN4wU97DobLj0tp9-nELNSY/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 141 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Козловская Наталия || || вторник, 12:10 - 13:30, ауд. 501
|-
| 142 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Егоров Евгений || || вторник, 12:10 - 13:30, ауд. 503
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами (если иное не оговорено на странице семинаров конкретной группы) по курсу проводятся по предварительной договорённости ввиду невостребованности регулярных консультаций.

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и выполнение теоретических домашних заданий
* Практические домашние работы на Python
* Соревнования по анализу данных
* Письменный коллоквиум в конце 3-го модуля
* Устный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Также за каждое практическое задание и соревнование можно получить дополнительные баллы, которые влияют на освобождение от задач на экзамене.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 14''' (10 января). Reproducing kernel Hilbert space. Теорема о представлении. Аппроксимация спрямляющего пространства. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture14-kernels.pdf Конспект]]

'''Лекция 15''' (17 января). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture15-em.pdf Конспект]]

'''Лекция 16''' (31 января). Ядровой метод главных компонент. Двойственные задачи и условия Куна-Таккера. Двойственный SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture16-kernels.pdf Конспект]]

'''Лекция 17''' (7 февраля). Лапласианы графов. Спектральная кластеризация. Методы частичного обучения (semi-supervised learning).

'''Лекция 18''' (14 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Метод главных компонент в обнаружении аномалий. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture18-anomaly.pdf Конспект]]

'''Лекция 19''' (21 февраля). Рекомендательные системы. Коллаборативная фильтрация: memory-based и model-based. Матричные разложения, ALS. Учёт неявной информации и модель iALS. Factorization machines. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture19-recommender.pdf Конспект]]

'''Лекция 20''' (28 февраля). Рекомендательные системы. Холодный старт. Метрики качества рекомендаций. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture20-recommender.pdf Конспект]]

'''Лекция 21''' (14 марта). Метрические методы. Метод k ближайших соседей для классификации и регрессии, его оптимальность. Измерение расстояний между текстами с помощью их внутренних представлений. Приближенные методы поиска соседей и locality sensitive hashing. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture21-knn.pdf Конспект]]

'''Лекция 22''' (21 марта). Locality sensitive hashing, композиции хэш-функций. Обучение метрик, методы NCA и LMNN. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture22-knn.pdf Конспект]]

'''Лекция 23''' (4 апреля). Тематическое моделирование. Методы LSA, PLSA, LDA. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture23-topicmodels.pdf Конспект]]

'''Лекция 24''' (11 апреля). Обучение ранжированию. Метрики качества ранжирования. Примеры факторов в ранжировании: BM25 и PageRank. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture24-ranking.pdf Конспект]]

'''Лекция 25''' (18 апреля). Обучение ранжированию. Поточечный, попарный и списочный подходы. Краудсорсинг при сборе данных, оптимальная агрегация меток. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture25-ranking.pdf Конспект]]

'''Лекция 26''' (30 мая). Защита данных в машинном обучении. Дифференциальная приватность. Лапласовский механизм, его применение для метода k-means. Reverse engineering для классификаторов и защита от него. Метод на основе обучения распределения на весах.

'''Лекция 27''' (6 июня). Обучение с переносом знаний (transfer learning). Перевзвешивание выборки с помощью дополнительной модели. Адаптация текстовых классификаторов под новое распределение признаков с помощью опорных слов.

== Семинары ==

'''Семинар 14''' (10 января). Решение задач на ядра. Ядра на строках. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem14-kernels.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-12-kernels.pdf Домашнее задание]]

'''Семинар 15''' (17 января). Решение задач на EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem15-EM.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-13-em.pdf Домашнее задание]]

'''Семинар 16''' (31 января). Решение задач на SVM. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem16-svm.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-14-svm.pdf Домашнее задание]]

'''Семинар 17''' (7 февраля). Лапласианы графов и спектральная кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem17-spectral-clustering.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-15-unsupervised.pdf Домашнее задание]]

'''Семинар 18''' (14 февраля). Параметрические оценки плотности. Байесовская классификация, наивный байесовский подход к восстановлению плотности. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem18-bayes.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-16-density.pdf Домашнее задание]]

'''Семинар 19''' (28 февраля). Рекомендательные системы. Факторизационные машины и методы их обучения. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem19-FM.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-17-factorizations.pdf Домашнее задание]]

'''Семинар 20''' (14 марта). Метод k ближайших соседей, его особенности и недостатки. Способы задания расстояния на признаках. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem20-knn.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-18-knn.pdf Домашнее задание]]

'''Семинар 21''' (21 марта). Применение гауссовских процессов в задачах восстановления регрессии [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem21-gp.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-theory/homework-theory-19-norm.pdf Домашнее задание]]

'''Семинар 22''' (4 апреля). Анализ текстовой информации. Тематическое моделирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/seminars/sem22-texts.ipynb Конспект]]

== Практические задания ==

'''Задание 5.''' Ядровые методы.

Дата выдачи: 26.02.2017

Дедлайн: 13.03.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-practice/homework-practice-05-kernels.ipynb Условие]

'''Задание 6.''' ЕМ-алгоритм.

Дата выдачи: 03.04.2017

Дедлайн: 16.04.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-practice/homework-practice-06-em.ipynb Условие]

'''Задание 7.''' Рекомендательные системы.

Дата выдачи: 11.05.2017

Дедлайн: 28.05.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-practice/homework-practice-07-recommender.ipynb Условие]

'''Задание 8.''' Ранжирование.

Дата выдачи: 30.05.2017

Дедлайн: 07.06.2017 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/homeworks-practice/homework-practice-08-ranking.ipynb Условие]

== Соревнования ==

'''В течение недели''' после окончания соревнования на почту курса необходимо прислать:
* краткий отчёт с описанием решения (достаточно нескольких предложений с описанием использованных признаков и методов);
* код, с помощью которого можно получить ответы, отправленные в качестве решения на Kaggle.

Оценка за соревнование в случае преодоления всех бейзлайнов вычисляется по формуле

10 - 9 * (i - 1) / (n - 1),

где i — номер студента в таблице результатов среди своих одногруппников, n — количество студентов в группе. В противном случае студент получает за соревнование 0 баллов.

Также за первое, второе и третье место в пределах группы студент получет 3, 2 или 1 дополнительный балл соответственно. За лучшие места в общем рейтинге также могут быть выставлены дополнительные баллы. Напоминаем, что дополнительные баллы не влияют на накопленную оценку.

Если решения всех участников окажутся тривиальными или участников будет слишком мало, то преподаватели имеют право
снизить максимальную оценку или сделать шкалу более разреженной.

Студент, набравший менее 6 баллов (но при этом преодолевший бейзлайны), имеет право написать подробный отчёт по итогам соревнования и повысить свою оценку до 6 баллов (при выполнении всех требований к отчёту).

Регистрируясь на соревнование, выбирайте осмысленное имя. Рекомендованный формат: ''Иванов Иван (ПМИ ФКН ВШЭ, группа 141)''.

=== Соревнование 2: Разметка ресторанов по изображениям ===

Дата выдачи: 10.01.2017

Дедлайн: 05.02.2017

Соревнование на Kaggle InClass: https://inclass.kaggle.com/c/hse-yelp-restaurant-photo-classification-2/

Ссылка для участия: https://kaggle.com/join/hserestaurant

[https://github.com/esokolov/ml-course-hse/tree/master/2016-spring/contests Требования к отчёту по соревнованию]

Дедлайн по отчёту: 12.02.2017 23:59 MSK

== Коллоквиум ==

Дата: 25.04.2017

Коллоквиум проводится с 12:10 до 13:30 в семинарских аудиториях (по расписанию).

[https://docs.google.com/document/d/1BkuJ8Fh16anRKVZRMlgjbLdQSdfF5fqBBNWegQJOXuA/edit?usp=sharing Вопросы к коллоквиуму]

Коллоквиум письменный, каждый вариант будет состоять из теоретического вопроса и нескольких задач.

== Экзамен ==

Дата: 20.06.2017

[https://docs.google.com/document/d/190t1QNxSboNEh2g6dB-KlDipVfU-5y0gpqETLyTgiCY/edit?usp=sharing Вопросы к экзамену]

Экзамен письменный, каждый вариант будет состоять из двух теоретических вопросов.

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

Машинное обучение 2/2016 2017 - История изменений

imported>Esokolov: Новая страница: «== О курсе == left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»