imported>Ekantonistova 2: Migrated current public revision from wiki.cs.hse.ru

2025-02-17T02:21:32Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

==О курсе==

Занятия проводятся в [https://us06web.zoom.us/j/83989277435?pwd=bWZqj4WbblAPbsJaE0KSbgMmJNgnWY.1 Zoom] '''по субботам в 14:30.'''

==Контакты==

Чат курса в TG: [https://t.me/+m2pVU4F3nsU2YmIy link]

Преподаватель: Лактионов Сергей Дмитриевич

{| class="wikitable"
|-
! Ассистент !! Контакты
|-
| style="background:#eaecf0;" | Оленина Александра || [https://t.me/alex_deer @alex_deer]
|-
| style="background:#eaecf0;" | Сивых Егор || [https://t.me/EgorSivykh @EgorSivykh]
|-
| style="background:#eaecf0;" | Прошин Александр || [https://t.me/Alex_Pro_7 @Alex_Pro_7]
|-
| style="background:#eaecf0;" | Максутова Айза || [https://t.me/aiziks @aiziks]
|-
| style="background:#eaecf0;" | Разин Арслан || [https://t.me/CrazyBadRedCat @CrazyBadRedCat]
|-
| style="background:#eaecf0;" | Демиденко Никита || [https://t.me/kalxon @kalxon]
|-
| style="background:#eaecf0;" | Никита || [https://t.me/Nn_holt @Nn_holt]
|-

|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[YouTube-playlist]]

Записи лекций и семинаров предыдущего потока: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzAO3gkubS2I6LuqDNBs1xcP YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[https://github.com/laktionov/RL-course/tree/2025 GitHub repository]]

{| class="wikitable"
|-
! Занятие !! Тема !! Дата
|-
| style="background:#eaecf0;" | '''1''' [[Запись]] || [[https://github.com/laktionov/RL-course/blob/2025/week1_intro_dynamic_programming/solve_rl_tasks_without_rl.ipynb Ноутбук]] Introduction to RL, Bellman equations, Dynamic Programming || 18/01/25 ||
|-
| style="background:#eaecf0;" | '''2''' [[Запись]] || [[https://github.com/laktionov/RL-course/blob/2025/week2_model_free_rl/tabular_rl.ipynb Ноутбук]] Model-free RL, tabular case || 25/01/25 ||
|-
| style="background:#eaecf0;" | '''3''' [[Запись]] || [[https://github.com/laktionov/RL-course/blob/2025/week3_dqn/dqn_for_cartpole.ipynb Ноутбук]] Intro to deep RL: from DQN to RAINBOW and beyond || 01/02/25 ||
|-
| style="background:#eaecf0;" | '''4''' [[Запись]] || [[https://github.com/laktionov/RL-course/blob/2025/week4_policy_based/reinforce.ipynb Ноутбук1] [https://github.com/laktionov/RL-course/blob/2025/week4_policy_based/a2c.ipynb Ноутбук2]] Policy Gradients Methods, Actor-Critic || 08/02/25 ||
|-
| style="background:#eaecf0;" | '''5''' [[Запись]] || [[https://github.com/laktionov/RL-course/blob/2025/week5_advanced_policy_based/trpo.ipynb Ноутбук]] Advanced Actor-Critic Algorithms: TRPO, PPO || 15/02/25 ||
|-
| style="background:#eaecf0;" | '''6''' [[Запись]]|| [[Ноутбук]] Continuous Control: DDPG, TD3, SAC || 22/02/25 ||
|-
| style="background:#eaecf0;" | '''7''' [[Запись]]|| [[Ноутбук]] Offline RL || 01/03/25 ||
|-
| style="background:#eaecf0;" | '''8''' [[Запись]] || [[Ноутбук]] Multi-armed Bandits || 08/03/25 ||
|-
| style="background:#eaecf0;" | '''9''' [[Запись]] || [[Ноутбук]] Model-based RL || 15/03/25 ||
|-
| style="background:#eaecf0;" | '''10''' [[Запись]] || RL in a context of LLM || 22/03/25 ||
|}

==Формула оценивания==

Оценка = МИН(10, 10*(0.65*HW/20 + 0.25*RC/5 + 0.1*TA/9)), где HW - сумма баллов за 5 ДЗ (2 простое и 3 сложных), RC - оценка за презентацию статьи, TA - сумма баллов за еженедельные квизы.

== Домашние задания ==
# HW-1 "Value- and policy-iteration algorithms" (''2 балла'') | '''Мягкий дедлайн - 26/01/25''', Жёсткий - 02/02/25 | [[https://github.com/laktionov/RL-course/blob/2025/hw1/hw-1-value-policy-iteration.ipynb Ноутбук]]
# HW-2 "Tabular RL" (''2 балла'') | '''Мягкий дедлайн - 09/02/25''', Жёсткий - 16/02/25 | [[https://github.com/laktionov/RL-course/blob/2025/hw2/advanced_tabular_rl.ipynb Ноутбук]]
# HW-3 "Duelling DDQN" (''6 баллов'') | '''Мягкий дедлайн - 02/03/25''', Жёсткий - 09/03/25 | [[https://github.com/laktionov/RL-course/blob/2025/hw3/dueling_ddqn.ipynb Ноутбук]]
# HW-4 "PPO" (''5 баллов'') | '''Мягкий дедлайн - 09/03/25''', Жёсткий - 16/03/25 | [[ Ноутбук]]
# HW-5 "SAC" (''5 баллов'') | '''Мягкий дедлайн - 23/03/25''', Жёсткий - 30/03/25 | [[ Ноутбук]]

== Литература ==
# [http://incompleteideas.net/book/the-book-2nd.html Reinforcement Learning: An Introduction by R.Sutton and A.Barto]
# [https://github.com/yandexdataschool/Practical_RL Practical RL course by YSDA]
# [https://www.davidsilver.uk/teaching/ David Silver's course]
# [https://rail.eecs.berkeley.edu/deeprlcourse/ Sergey Levine's course]
# [https://arxiv.org/abs/2201.09746 Reinforcement Learning Textbook (in Russian)]

Обучение с подкреплением 24/25 (МОВС23) - История изменений

imported>Ekantonistova 2: Migrated current public revision from wiki.cs.hse.ru