https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%9C%D0%9E%D0%92%D0%A1_MLOps_%D0%9D%D0%B0%D1%87%D0%B0%D0%BB%D0%BE_%282024-25%2C_1_%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C%29МОВС MLOps Начало (2024-25, 1 модуль) - История изменений2026-06-08T16:59:09ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://www.wikicshse.ru/index.php?title=%D0%9C%D0%9E%D0%92%D0%A1_MLOps_%D0%9D%D0%B0%D1%87%D0%B0%D0%BB%D0%BE_(2024-25,_1_%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C)&diff=1225&oldid=previmported>Saprokhorov 1: Migrated current public revision from wiki.cs.hse.ru2024-10-09T03:44:35Z<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>==О курсе==<br />
<br />
Курс читается для студентов 2 курса магистратуры "Искусственный интеллект" в 1 модуле 2024/2025 учебного года.<br />
<br />
Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist использует автоматизацию в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.<br />
Цель этого курса - научиться поднимать необходимое окружение для автоматизации ML-экспериментов и грамотно версионировать свои результаты.<br />
<br />
==Контакты==<br />
<br />
Чат курса в TG: https://t.me/+b_3MbJqsLYoxMWVi<br />
<br />
Преподаватель: Елизавета Гаврилова https://t.me/lizvladii @lizvladii<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ассистент !! Telegram<br />
|-<br />
| style="background:#eaecf0;" | Милана Кучумова || [https://t.me/milana_kma @ milana_kma ]<br />
|-<br />
| style="background:#eaecf0;" | Мария Харченко || [https://t.me/mister_autocrat @mister_autocrat]<br />
|-<br />
|}<br />
<br />
==Материалы курса (начальная группа)==<br />
Ссылка на степик с материалами курса: https://stepik.org/course/181476/<br />
<br />
{| class="wikitable"<br />
|-<br />
! Занятие !! Тема !! Дата !! Ссылки<br />
|-<br />
| style="background:#eaecf0;" | '''1 (Вебинар 1)''' || Введение<br />
|| 10.09 || [https://stepik.org/lesson/1410492/step/2?unit=1428000 Файлы недели здесь], [https://stepik.org/lesson/1410492/step/9?unit=1428000 Материалы по установке docker здесь]<br />
|-<br />
| style="background:#eaecf0;" | '''2 (Вебинар 1)''' || AirFlow Часть 1<br />
|| 16.09 || [https://stepik.org/lesson/1410493/step/2?unit=1428001 Файлы недели здесь]<br />
|-<br />
| style="background:#eaecf0;" | '''3 (Вебинар 2)''' || AirFlow Часть 2 <br />
||23.09 || [https://stepik.org/lesson/1410494/step/2?unit=1428002 Файлы недели здесь]<br />
|-<br />
| style="background:#eaecf0;" | '''4 (Вебинары 2,3)''' || MLFlow<br />
|| 01.10 || [https://stepik.org/lesson/1410495/step/2?unit=1428003 Файлы недели здесь]<br />
|-<br />
| style="background:#eaecf0;" | '''5 (Вебинар 3)''' || Проект<br />
|| 15.10 || [https://stepik.org/lesson/1435619/step/4?unit=1454131 Описание]<br />
|}<br />
<br />
<br />
==Формула оценивания==<br />
<br />
Оценка = 0.4 * (О<sub>ДЗ1</sub> + О<sub>ДЗ2</sub> ) + 0.6 * О<sub>Проект</sub><br />
<br />
== Домашние задания ==<br />
[https://stepik.org/lesson/1435619/step/1?unit=1454131 >>Подробные описания домашних заданий и сроков сдачи на степике<<]<br />
<br />
Домашнее задание 1 - 20%: Написать 3 DAGа обучения разных моделей со сбором метрик в рамках одного файла. Пайплайн должен состоять из следующих шагов: <br />
инициализация. В качестве метрик собираем название модели и время запуска.<br />
загрузка данных (любые данные с загрузкой из интернета, без БД). В качестве метрик собираем начало и конец загрузки по времени, размеры датасета.<br />
обработка данных (соответствующая решаемой задаче). В качестве метрик собираем время работы шага, размеры обработанного датасета.<br />
обучение модели. В качестве метрик собираем время обучения модели и метрики модели.<br />
сохранение результатов на S3. Выгружаем все собранные за пайплайн метрики на S3.<br />
<br />
Домашнее задание 2 - 20%: Обучить 3 модели в Python и залогировать эксперимент с помощью MLFlow.<br />
реализовать обучение 3 любых моделей в Python, состоящее из шагов: чтение данных (любые из интернета), предобработка данных, обучение моделей, сохранение результатов.<br />
необходимо создать новый эксперимент в MLFLow (подсказка: а что если эксперимент уже есть?)<br />
обучать модели необходимо в рамках одно parent run. Один сhild run - это одна модель. <br />
собирать метрики необходимо с помощью MLFlow!<br />
<br />
Проект - это совмещение ДЗ 1 и 2 - 60%. Необходимо обучить 3 модели в рамках одного DAG, и залогировать эти обучения с помощью MLFlow. Подробное описание проекта [https://stepik.org/lesson/1435619/step/4?unit=1454131 здесь].<br />
<br />
Минимальные требования к проекту:<br />
* используется датасет из sklearn<br />
* используются лог/лин рег + дерево решений + случайный лес<br />
* предобработка - это стандартизация<br />
* отбора признаков не происходит<br />
* и все требуемые шаги из описания выше выполнены</div>imported>Saprokhorov 1