Просмотр кода страницы МОВС Математика для анализа данных (ММОВС23, 1-2 модули)

==О курсе==
Это курс по математике для анализа данных. Мы поговорим о подноготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: '''классный''' (''базовый'') и '''продвинутый'''.

* В курсе '''не будет АБ-тестов и матстата'''. Они будут в следующем семестре.
* Везде будем пытаться искать примеры из практики и нормально обосновывать, зачем мы об этом говорим.
* Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не упарываться доказательствами.
* Больше смысла и концепций, меньше доказательств.

Автор курса попытался замиксовать в программе курса несколько подходов. В логах лекций он будет вставлять ссылки на первоисточники. План ниже примерный. Он будет меняться в процессе лекций. 

В программе для классной группы преподаватель ориентировался на адаптационный курс математики в ШАД. Программу для продвинутой группы он пытался собирать, как справочник по математике для DS. Каждая лекция должна покрыть какую-то тему, которая всплывает где-нибудь в DS, но человек может потенциально в ней плавать. Темы из тервера подготавливают базу для матстата и АБ-тестов. О них речь пойдёт в следующем семестре.

<br/>
Занятия проводятся в [https://yandex.zoom.us/j/92979950754 Zoom] '''по средам в 19:40''' на базовом треке и в [https://yandex.zoom.us/j/95934013846 другом Zoom] '''по четвергам в 19:40''' на продвинутом.

== Онлайн-курсы в дополнение к парам ==
* [https://edu.hse.ru/course/view.php?id=132502 Математический анализ для работы с данными]
* [https://edu.hse.ru/course/view.php?id=139773 Линейная алгебра: от идеи к формуле]
* [https://edu.hse.ru/course/view.php?id=139772 Дискретная математика: подсчеты, графы, случайные блуждания]

==Контакты==

Чат курса в TG: https://t.me/+bQaHCRYH2tBlZjdi

Преподаватель: Ульянкин Филипп Валерьевич

{| class="wikitable"
|-
! Ассистент !! Телеграмм !! Группа !! Инвайт
|-
| style="background:#eaecf0;" | Кирилл Долматов || [https://t.me/kirill_dolmatov @kirill_dolmatov] 
|rowspan="2"| продвинутая 
| rowspan="2" | <code>6qnvYqA</code>
|-
| style="background:#eaecf0;" | Макарова Мария || [https://t.me/mariagolddd @mariagolddd]
|-
| style="background:#eaecf0;" | Лука Логинов || [https://t.me/l_loginov @l_loginov] 
|rowspan="3"| базовая 
| rowspan="3" | <code>sygz66L</code>
|-
| style="background:#eaecf0;" | Артём Чубов || [https://t.me/aachubov @aachubov]
|-
| style="background:#eaecf0;" | Богдан Старощук || [https://t.me/werlord112 @werlord112]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://youtube.com/playlist?list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&si=8AXoMXXVRoF1e2kf YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/FUlyankin/yet_another_math_for_DS/ GitHub repository]

===Классный трек===

Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group

{| class="wikitable"
|-
 ! Занятие !! Тема !! Дата !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=WuqrxwajiJI&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://t.me/c/1949286954/5/373 Конспект]] Множества. Бесконечности бывают разными || '''11.09.23, Пон.''' ||
[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_lecture_01.pdf Конспект лекции]

[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_problems_01.pdf Листок] с '''необязательными''' задачами. И [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_problems_solution_01.pdf решения] к нему

[https://www.mccme.ru/free-books/shen/shen-logic-part1-5ed.pdf "Начала теории множеств"] Шеня и Верещагина

[https://www.youtube.com/watch?v=ykOwRv70pm8&list=PLp9ABVh6_x4GLL-lQyyCU5MFWcVFK0Iac&index=1&t=3891s Лекция Шапошникова] по Матану-1. В ней выводятся основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй же лекции в том же плейлисте есть про теорему Кантора-Берштейна

Про трёхзначную логику: [https://en.wikipedia.org/wiki/Three-valued_logic на Wiki], [https://habr.com/ru/articles/127327/ примеры с SQL] на Хабре

[http://www.mathhelpplanet.com/static.php?p=metod-kharakteristicheskikh-funktsiy-v-teorii-mnozhestv Конспект по характеристическим функциям для проверки тождеств] (по Шеню, гл.1) 

[https://t.me/c/1949286954/5/810 Книга про множества] от Виленкина
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=vsC0A2ajLIo&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=wxXLhEgZBZM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/812 Конспект]] Матрицы. Их свойства и теоремы || 20.09.23 ||
[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Лекции Димы Трушина]: разделы 1 и 2, а также (для себя) третий

[https://www.youtube.com/watch?v=OErVswuyx0w&list=PLCf-cQCe1FRw6Zk0o4d3bV7dvGotY8E7h Первая неделя] из курса Б. Демешева про векторы, нормы и линейные операторы. 

[https://www.youtube.com/watch?v=J9d2GUmUr_A&list=PLCf-cQCe1FRxxI7Li1YacDbMYuwKC13B9 Вторая неделя] про линейные оболочки, независимость и умножение матриц

[https://www.youtube.com/watch?v=WFPKeoDcEFw&list=PLCf-cQCe1FRx7l4ESOB8dwhNFY2wGHZvt Неделя про определитель]

[https://www.youtube.com/watch?v=J7DzL2_Na80&list=PLE7DDD91010BC51F8 Запись курса MIT]
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=largAv6vwts&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=-X0ZmAANOVU&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1013 Конспект]] Определители и обратные матрицы || 02.10.23 || Разделы 3 и 4 из [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекции Дмитрия Трушина], метод Крамера из [https://www.youtube.com/watch?v=cdEw-6Dkesg&list=PLCf-cQCe1FRx7l4ESOB8dwhNFY2wGHZvt&index=7 видео Бориса Демешева]
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=hF0FA5tmC6E&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=bqMERm5Bd7A&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1236 Конспект]] Линейное пространство, базис. Смена базиса, ранг матрицы || 04.10.23 || Раздел 6 в [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекциях Димы Трушина] 
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=xOYYJ6fmXek&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=mtAZ1rTyTl8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422?single Конспект]] Линейное отображение. Проекторы, kNN || 11.10.23 ||[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Конспект Димы Трушина]
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=I5wRy7aOOEA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=gDCDxxNj2AM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422 Конспект]] Линейный оператор, спектральное разложение. Билинейные формы|| 18.10.23 ||[https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя 4] и [https://www.youtube.com/watch?v=YHHVs6cMbsY&list=PLCf-cQCe1FRy1xhlw0ilxddn-01hhhKU9&index=4 Неделя 5] Демешева
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=jQYIeg017vY видео 1: QR и SVD], [https://www.youtube.com/watch?v=2mCAduvRc_o видео 2: SVD]] || Посиделка 7: нормы, QR-разложение и SVD [[https://t.me/c/1949286954/5/1899]] || 01.11.23 || В логах advanced группы[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/avanced_log.md] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Ликбез по оптимизации: лагранжиан, матричные производные || 08.11.23 || 
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса || '''13.11.23, Пон.''' ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Комбинаторика и дискретные случайные величины || 22.11.23 || 
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Функция распределения, непрерывные случайные величины || 29.11.23 || 
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные распределения, зависимости между случайными величинами || 06.12.23 || 
|-
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Условные распределения и математические ожидания || 13.12.23 || 
|-
|}

=== Продвинутый трек ===

{| class="wikitable"
|-
 ! Занятие !! Тема !! Дата !!  Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23
|| [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL

[http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха

[https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"]

[https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 ||  
[https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец

[https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 
|| [http://vmath.ru/vf5/algebra2/svd Конспект про сингулярное разложение], [http://vmath.ru/vf5/content много др. годных конспектов] от тех же ребят

[https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя про спектральное разложение], [https://www.youtube.com/watch?v=9hOI2wZJxtA&list=PLCf-cQCe1FRyCxLe_4ADCL5QXvN_Zl8Kh Неделя про SVD] курса Демешева

[https://www.youtube.com/watch?v=Or119IXozCM&t=1s Видос про матрицы] для самых маленьких
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1263 Конспект]] SVD, PCA. Тематическое моделирование  || 05.10.23 
|| [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12-pca.pdf Конспект Филиппа про PCA] для семинара на ФКН, [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12_pca_tsne.ipynb ноутбук] для него же 

[https://setosa.io/ev/principal-component-analysis/ PCA в картинках]

[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект лекции], [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf Конспект семинара] про спектральную кластеризацию с ФКН

[https://youtu.be/4CJUXlfFcM4?si=800BhcUUnR3PphQu&t=2071 Видео с лекции] (Евгений Соколов), [https://www.youtube.com/watch?v=y_a2DVsYM_o&feature=youtu.be видео семинара] (Филипп Ульянкин)

[https://t.me/c/1949286954/6/1122 Брутальные лекции Лены Буниной] из ШАДа
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1264 Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23
|| [https://t.me/c/1949286954/6/1375 Презентация Стаса из ШАДа] про стабильность вычислений

[https://github.com/amkatrutsa/nla2021_ozon/tree/main Курс Ивана Оседлец по вычислительному линалу], [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/lecture1/lecture-1.ipynb Первая лекция]

[https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/general_info.ipynb Список книг], [https://github.com/amkatrutsa/nla2021_ozon/blob/c33de1d9159a50cc837e128fd6bb6dca411d9fc8/lectures/decompositions.pdf Постер с матричными разложениями]
|-
| style="background:#eaecf0;" | '''6''' [[https://youtu.be/NUMEAv4gFLI Ч.1], [https://youtu.be/P817X6Q4LsM Ч.2]] || [[https://t.me/c/1949286954/6/1423 Конспект]] Комбинаторика, специальные числа || 19.10.23 
|| [https://github.com/esokolov/ml-course-hse/blob/master/2022-spring/seminars/sem13-kkt.pdf Конспект] первой части про ККТ с ФКН

[https://github.com/MerkulovDaniil/mipt23 Клёвый курс по оптимизации] от Дани Меркулова из МФТИ: [https://www.youtube.com/watch?v=XEFSSG9Ko-E&list=PLQSHEO58cjmNVbsDzJYAgPW2mD_7JHts_&index=1 видео с курса], [https://mipt22.fmin.xyz/program.html логи занятий]

[https://fmin.xyz/assets/files/Nesterov_the_best.pdf Книга Нестерова] про выпуклую оптимизацию, [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf Классическая книга] по выпуклой оптимизации от Boyd из Стэнфорда

[https://www.youtube.com/watch?v=SKYXBPCJHCg&t=1s Лекция Ветрова] про необычные свойства функций потерь в DL, [https://losslandscape.com/ Картинки с ландшафтом Loss'ов], [https://github.com/tomgoldstein/loss-landscape Код и статья]
|-
| Конец первого модуля |
|-
| style="background:#eaecf0;" | '''7''' [[https://youtu.be/c_iMLxIagUE видео 1], [https://youtu.be/WJaOWTgKP9A видео 2]] || [[https://t.me/c/1949286954/6/1900 Конспект]] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем)|| 02.11.23 || Что посмотреть: 

- листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению

- конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody)

- конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО
|-
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер  || 09.11.23 || 
|-
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || 16.11.23 ||
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || 23.11.23 || 
|-
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || 30.11.23 ||
|-
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || 07.12.23 || 
|-
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || 14.12.23 || 
|-
|}

=== Записи консультаций ===

==Формула оценивания==

Оценка = 0.3*О<sub>Тесты</sub> + 0.7*О<sub>ДЗ</sub>

== Домашние задания ==
Сдаются в [https://anytask.org/course/1035 Anytask]

Инвайты:
* <code>sygz66L</code> (базовая)
* <code>6qnvYqA</code> (продвинутая)

# <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 29.10.23''', ''Жёсткий: 05.11.23''<br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw01.pdf "Матричные производные"] | '''Мягкий дедлайн: 15.10.23''', ''Жёсткий: 22.10.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/>
# <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 10.12.2023 (Вс.)''', ''Жёсткий: 17.12.2023'' <br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw02.ipynb "Точность вычислений, SVD, операция свёртки"] |  '''Мягкий дедлайн: 19.11.23''', ''Жёсткий: 26.11.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/>
# <u>Базовая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/> <u>Продвинутая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/>

== Тесты ==
# <u>Базовая гр.</u>:  [https://docs.google.com/forms/d/e/1FAIpQLSdZIwcvPbiZEWis9C1cUw6IoB88o_ZQM16ePS7uptobYWHxYw/viewform "Множества"] '''дедлайн - 24.09.23 23:59''' <br/> <u>Продвинутая гр.</u>: [[ "Оптимизация"]]
#
#
#

== Литература ==
* Курс алгебры, Винберг, Э. Б., 2013
* Математический анализ задач естествознания, Зорич, В. А., 2008
* Комбинаторика, Виленкин, Н. Я., 2013
* Чернова Н. И. "Теория вероятностей." Новосибирск: НГУ (2007)

- Грэхем, Р., Д. Кнут, and О. Поташник. "Конкретная математика, М., Мир, Бином." (2006) <br/>
- Нестеров. Методы выпуклой оптимизации (2010) <br/>
- Boyd, Vandenberghe. Convex Optimization (2004) <br/>
- Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005)