imported>Vladimiromelyusik: Migrated current public revision from wiki.cs.hse.ru

2021-12-13T11:49:19Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

== О курсе ==

Курс читается для студентов 3-го курса в 1-2 модулях.

'''Лектор:''' [https://t.me/boris_demeshev Демешев Борис Борисович]

Лекции проходят по пятницам (09:30 - 10:50) онлайн.

'''Семинаристы:''' [https://t.me/vsomelyusik Владимир Омелюсик] и [https://t.me/xenakas Ксения Касьянова]

'''Учебные ассистенты:''' [https://t.me/anastasiia_altunina Анастасия Алтунина] и [https://t.me/ipomeya31 Александр Плахин]

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Семинарист !! Учебный ассистент || Время занятий || Аудитория/ссылка
|-
| БПМИ191 МОП || Владимир Омелюсик || Анастасия Алтунина || Пт, 13:00–14:20 || D509
|-
| БПМИ192 МОП || Владимир Омелюсик|| Анастасия Алтунина || Вт, 13:00–14:20 || R206
|-
| БПМИ193 МОП || Владимир Омелюсик || Александр Плахин || Вт, 14:40 - 16:00 || R304
|-
| по выбору || Ксения Касьянова || Александр Плахин || Вт, 18:10–19:30 || D502
|}

=== Полезные ссылки ===

* [https://t.me/joinchat/R7RiNkJYEIZmYzZi Чат в Телеграме]

* [https://t.me/joinchat/IjUEwjbNw3JhOGYy Канал в Телеграме (для важных объявлений)]

* [https://github.com/V-Marco/psmo_21_22 GitHub с материалами]

* [https://v-marco.github.io/psmo_book/intro.html Сборник с теорией]

* [https://docs.google.com/spreadsheets/d/1djnSw8GKD-wNKfKP7biZz7K753zNliYL6JtYtcQJBUo/edit?usp=sharing Таблица с баллами]

* [https://www.youtube.com/playlist?list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&jct=VhF9VwEfUf7EufSGIJVXptZRJ9LR0g Плейлист с лекциями на ютубе]

== Боевой листок ==

=== Лекции ===

[3 сентября] '''Лекция 1:''' Энтропия и дивергенция Кульбака-Лейблера. AIC.
*[https://eduhseru.sharepoint.com/sites/Appliedstatistics2021/Shared%20Documents/General/Recordings/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%201.%20%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F,%20KL,%20AIC-20210903_092944-Meeting%20Recording.mp4?web=1 Видео]
* [https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_01.pdf Конспект]
* [https://colah.github.io/posts/2015-09-Visual-Information/ Дополнительные материалы]
* [https://youtu.be/bkr2KQsWBo0 Видео на ютубе]

[10 сентября] '''Лекция 2:''' Метод максимального правдоподобия

*[https://eduhseru.sharepoint.com/:v:/r/sites/Appliedstatistics2021/Shared%20Documents/General/Recordings/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%202.%20%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%20%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%BE%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D0%B0%D1%8F%20_)-20210910_093337-Meeting%20Recording.mp4?csf=1&web=1&e=wIGd5M Видео]
* [https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_02.pdf Конспект]
* [https://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Дополнительные материалы]
* [https://youtu.be/8d5g3N4LTmA Видео на ютубе]

[17 сентября] '''Лекция 3:''' maximum likelihood
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_03.pdf Конспект]
*[https://www.youtube.com/watch?v=BKwxk7pFMiY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=3 Видео на ютубе]
*[https://github.com/bdemeshev/maxlik_regularity/blob/main/maxlik_regularity.pdf Условия регулярности правдоподобия]
*[https://rpsychologist.com/likelihood/ Визуализация maxlik]

[24 сентября] '''Лекция 4:''' LR, LM, W
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_04.pdf Конспект]
*[https://www.youtube.com/watch?v=8yjXVZE93HY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=8 Видео на ютубе]

[1 октября] '''Лекция 5:''' EM

*[https://www.youtube.com/watch?v=JBFT2JeQ2gA Видео на ютубе]
*[https://v-marco.github.io/psmo_book/content/em/lecture.html Записи по EM]
*[http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Дополнительные материалы по EM]

[8 октября] '''Лекция 6:''' EM + bootstrap

*[https://www.youtube.com/watch?v=JEW6HtEXhnE&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=12 Видео на ютубе]
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_06.pdf Конспект]

[15 октября] '''Лекция 7:''' Boot + regression

*[https://www.youtube.com/watch?v=gm9jKYlIL2k&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=13 Видео на ютубе]
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_07.pdf Конспект]

[29 октября] '''Лекция 8:''' CI regression

*[https://youtu.be/hazFTc5zuDM Видео на ютубе]
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_08.pdf Конспект]

=== Семинары ===
'''Семинар 1:''' Гипотезы и доверительные интервалы.
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_1/psmo_2021_sem_01.pdf Конспект]], [[https://youtu.be/6T9ds4n_y6I Видео]]

'''Семинар 2:''' Энтропия и KL-дивергенция. Метод максимального правдоподобия.
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_2/psmo_2021_sem_02.pdf Конспект]], [[https://youtu.be/L6lWf-7FcmY Видео]], [[https://youtu.be/-QEL03DwtMk Ответы на вопросы]], [[https://arxiv.org/abs/1212.5630 Бесконечная энтропия]]

'''Семинар 3:''' Метод максимального правдоподобия. Информация Фишера.
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_3/psmo_2021_sem_03.pdf Конспект]], [[https://www.youtube.com/watch?v=ExA6h2sbF-Y&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=4 Видео]]

'''Семинар 4:''' Тесты LR, LM, W
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_4/psmo_2021_sem_04.pdf Конспект]], [[https://youtu.be/_JMmKVzTUsw Видео]]

'''Семинар 5:''' EM-алгоритм
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_5/psmo_2021_sem_05.pdf Конспект]], [[https://youtu.be/r-q9Hd642Ug Видео (теория)]], [[https://youtu.be/-xsuZ4ejB98 Видео (код)]]

'''Семинар 6:''' EM-алгоритм. Бутстрэп
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_Sem5.pdf Конспект (с прошлого года)]], [[https://youtu.be/eUY0_Ct1Vnk Видео (с прошлого года)]], [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_sem5.ipynb Кодспект (с прошлого года)]]

'''Семинар 7:''' Линейная регрессия. МНК. ТГМ
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_7/psmo_2021_sem_07.pdf Конспект]], [[https://youtu.be/ep7WRJdj4RA Видео]]

'''Семинар 8:''' Тестирование гипотез в линейной регрессии
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_8/psmo_2021_sem_08.pdf Конспект]], [[https://youtu.be/JP3FkN2x9zM Видео]]

'''Семинар 9:''' Прогнозирование. Геометрия распределений в линейной регрессии
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_9/psmo_2021_sem_09.pdf Конспект]], [[https://youtu.be/2QswszZ62aY Видео]]

'''Семинар 10:''' Гетероскедастичность
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_10/psmo_2021_sem_10.pdf Конспект]], [[https://youtu.be/twC7WEhdHqQ Видео]]

'''Семинар 11:''' Эндогенность
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_11/psmo_2021_sem_11.pdf Конспект]], [[https://youtu.be/_nBBR2o2-zU Видео]]

'''Семинар 12:''' Мультиколлинеарность. Логистическая регрессия
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_12/psmo_2021_sem_12.pdf Конспект]], [[https://www.youtube.com/watch?v=9cvwixVEiic Видео]]

=== Домашние задания ===

Домашние задания загружаются в личный репозиторий в GitHub Classroom.

Правила оформления решений находятся на первой странице каждого домашнего задания.

====Домашнее задание 1.====

'''Темы:'''
* Метод максимального правдоподобия. Тесты LR, LM, W.
* Энтропия и дивергенция Кульбака-Лейблера. EM-алгоритм.
* Бутстрэп.
* МНК. Тестирование гипотез в линейной регресии.

'''Дата выдачи:''' 8 сентября

'''Дедлайн:''' 19 ноября 23:59

[[https://github.com/V-Marco/psmo_21_22/tree/main/hw/hw1 Условие]]

[[https://classroom.github.com/a/KZaAKjaA Ссылка на задание в Classroom]]

====Домашнее задание 2.====

'''Темы:'''
* Линейная регрессия.
* Мультиколлинеарность. Отбор регрессоров.
* Гетероскедастичность. Эндогенность.

'''Дата выдачи:''' 2 декабря

'''Дедлайн:''' 14 декабря 23:59

[https://github.com/V-Marco/psmo_21_22/blob/main/hw/hw2/psmo_hw2.ipynb Условие]

[https://classroom.github.com/a/HTd0GCXS Ссылка на задание в Classroom]

=== Квизы ===

Квизы выдаются в начале семинара строго на 10-15 минут. Каждый квиз содержит случайную задачу из задач для подготовки с изменёнными числовыми данными.

В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, '''после которой''' на соответствующих семинарах пройдут квизы.

{| class="wikitable"
|-
! На семинаре № !! После лекции !! Тема || Задачи
|-
| 3 || 17 сентября || Энтропия и дивергенция Кульбака-Лейблера || [https://v-marco.github.io/psmo_book/content/entropy_kl/quiz.html Ссылка]
|-
| 5 || 1 октября || Тесты LR, LM, W || [https://v-marco.github.io/psmo_book/content/lr_lm_w/quiz.html Ссылка]
|-
| 6 || 8 октября || EM-алгоритм || [https://v-marco.github.io/psmo_book/content/em/quiz.html Ссылка]
|-
| 7 || 15 октября || ТГМ и МНК || отменён
|-
| 8 || 29 октября || Тестирование гипотез в линейной регрессии || отменён
|-
| 9 || 5 ноября || Корректировка гетероскедастичности || отменён
|-
| 11 || 19 ноября || Логистическая регрессия || отменён
|}

Все квизы, начиная с четвёртого включительно, отменяются. Оценка за квизы формируется следующим образом:

Квиз = 0.5 * (Средняя за Квизы 1, 2 и 3) + 0.5 * Весёлая активность.

Информация о проведении Весёлой активности выложена в канале в Телеграме.

===Контрольная работа===

Контрольная работа является письменной формой контроля и состоится 19 октября в 13:00. В контрольную работу войдут задачи по темам лекций и семинаров первого модуля:
* Метод максимального правдоподобия
* Тесты LR, LM, W
* Энтропия и KL-дивергенция
* EM-алгоритм
* Бутстрэп

[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Задачи для подготовки прошлого года]]
* [[https://github.com/V-Marco/psmo_20_21/blob/master/misc/PSMO_Cons_25_10.pdf Разбор (конспект)]]
* [[https://www.youtube.com/watch?v=j1vvy9fCeDo Разбор (видео)]]

[[https://github.com/V-Marco/psmo_20_21/blob/master/midterm/midterm.pdf Задания контрольной прошлого года]]
* [[https://drive.google.com/file/d/187wsU3vDVI0MH89EKd_5Qm4ztT0RoIvj/view Разбор (конспект от руки)]]
* [[https://drive.google.com/file/d/1jHfClh1k7Mo-MvkThajzJmfkg9UU-79M/view Разбор (конспект в техе)]]
* [[https://youtu.be/uxUjBlIMTJ4 Разбор (видео)]]

===Экзамен===

Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.

Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.

[[https://github.com/V-Marco/psmo_21_22/blob/main/exam/exam_quest.pdf Вопросы к экзамену]]

==Отчётность по курсу и критерии оценки==

===Итоговая оценка за курс===

Итоговая оценка за курс рассчитывается по следующей формуле:

Итог = 0.6 * Накоп + 0.4 * Экз.

В этой формуле

Накоп = 0.2 * Квиз + 0.2 * (ДЗ1 + ДЗ2) + 0.4 * КР,

<small>где
* Квиз – средняя оценка за все квизы.
* ДЗ1 и ДЗ2 – оценки за ДЗ1 и ДЗ2 соответственно.
* КР – оценка за контрольную работу</small>.

Экз =
<small>
* Накопленная оценка, если она меньше или равна 7.
* 7, если Накопленная оценка больше 7.
* Оценка за устный экзамен, если прийти и сдать его.</small>

Округление арифметическое, округляется только итоговая оценка.

==Литература==

* '''Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences''' – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.

* '''Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference''' – хороший курс магистерского уровня, охватывающий большое количество тем из теории вероятностей и статистики. Основной фокус делается на прикладных применениях и методологии, поэтому книга содержит ровно столько математики, сколько необходимо для понимания практических аспектов. Тем не менее, качество изложенного материала на высоте: все математические утверждения доказываются и сопровождаются подробной интуицией.

* '''David Williams. Weighing the Odds. A Course in Probability and Statistics''' – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.

Psmo 21 22 - История изменений

imported>Vladimiromelyusik: Migrated current public revision from wiki.cs.hse.ru