imported>Mkgoldshteyn: Migrated current public revision from wiki.cs.hse.ru

2025-12-05T15:13:07Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]

Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK] [https://www.youtube.com/watch?v=7R6Odp_PQck&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=9 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
|-
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

== Домашние задания ==

===Инвайты в Anytask===

Base Group: <code>WhnrWvK</code>

Pro Group: <code>iYcTpI5</code>

'''Base / Pro - мягкий дедлайн:'''

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.

'''Правила дедлайнов по курсу:'''

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

== Теормин и Экзамен ==

'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.

'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Генеративные модели в машинном обучении (ИИ 2025) - История изменений

imported>Mkgoldshteyn: Migrated current public revision from wiki.cs.hse.ru