imported>Mmustafaeva: Migrated current public revision from wiki.cs.hse.ru

2026-04-17T18:02:02Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

==О курсе==

Занятия проводятся в Zoom.

==Контакты==

Преподаватели: [https://t.me/Einstein_30 Карагодин Никита], [https://t.me/Blinorot Пётр Гринберг]

{| class="wikitable"
|-
!Ассистенты
|-
| [https://t.me/Einstein_30 Карагодин Никита] || [https://t.me/kalxon Демиденко Никита] || [https://t.me/lKhoroshenina Хорошенина Лилия] || [https://t.me/zuikovaov Зуйкова Ольга]
|
|}

==Материалы курса==

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/DLA-HSE-AI-masters-course GitHub Repository]

Ссылка на YouTube плейлист: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW Playlist]

{| class="wikitable"
|-
! Занятие !! Тема !! Материалы Github !! Запись YouTube !! Запись VK
|-
| style="background:#eaecf0;" | '''1''' || Цифровая обработка сигналов: физика звука, цифровые сигналы, 4 вида преобразований Фурье, теорема Котельникова, спектрограммы и мел-спектрограммы || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec1_dsp.pdf Лекция] [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/seminars/sem1_dsp.ipynb Семинар]|| [https://www.youtube.com/watch?v=WReb8lmN-zY&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=5 Лекция] [https://www.youtube.com/watch?v=yrqsbUM-oTg&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=4 Семинар]||
|-
| style="background:#eaecf0;" | '''2''' || Цифровая обработка сигналов: формирование речи и артикуляция, модели речевого аппарата, кепстр и MFCC коэффициенты, основная частота f0, психоакустика и восприятие речи || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec2_speech.pdf Лекция] || [https://www.youtube.com/watch?v=E-JA-kBnhKU&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=2 Лекция] ||
|-
| style="background:#eaecf0;" | '''3'''|| Распознавание речи: виды ASR моделей, основные метрики, CTC Loss, модели DeepSpeech2 и Conformer, Language Models для ASR|| [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec3_asr.pdf Лекция] [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/seminars/sem3_asr.ipynb Семинар]|| [https://www.youtube.com/watch?v=LE1-u9jTJ-w&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=3 Лекция и семинар] ||
|-
| style="background:#eaecf0;" | '''4''' || Audio Language Models and Speech Understanding || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec4_audio_understanding_lm.pdf Лекция] || [https://www.youtube.com/watch?v=UQunE0HOcUk&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=8 Лекция] ||
|-
| style="background:#eaecf0;" | '''5''' || Voice Activity Detection: идея, основные подходы, метрики и модели Silero VAD, MarbleNet, Pyannote VAD. Speaker Diarization: идея, метрики и процесс обработки. Source Separation: идея и основные метрики, семейсто моделей Demucs, Band-Split RNN, Band-Split RoFormer || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec5_vad_separation.pdf Лекция] || [https://www.youtube.com/watch?v=ua0BW5DptFU&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=2 Лекция] ||
|-
| style="background:#eaecf0;" | '''6''' || Синтез речи I: задачи TTS, метрики качества, данные, виды синтеза речи. Предобработка текста в TTS, акустические модели || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec6_acoustic_models.pdf Лекция] || [https://www.youtube.com/watch?v=TMH0R0fqkDs&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=1 Лекция] ||
|-
| style="background:#eaecf0;" | '''7''' || Синтез речи II: Вокодеры и End-to-End модели || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec7_vocoders_e2e.pdf Лекция] [Семинар] || [https://www.youtube.com/watch?v=63TK_tliv3o&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=4 Лекция] [https://www.youtube.com/watch?v=wJPxNdC3yWI&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=3 Семинар]||
|-
| style="background:#eaecf0;" | '''8''' || Синтез речи III: Аудиокодеки || [https://github.com/NickKar30/DLA-HSE-AI-masters-course/blob/main/lectures/lec8_codecs.pdf Лекция] || [https://www.youtube.com/watch?v=1l3w03hHaJI&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=2 Лекция] ||
|-
| style="background:#eaecf0;" | '''9''' || Генерация музыки || [Лекция] || [https://www.youtube.com/watch?v=ZWmEdPPK_Yo&list=PLmA-1xX7IuzCqCHapSJUVwZQ0xq-13mcW&index=1 Лекция] ||
|-
|}

==Формула оценивания==

Оценка = <code>𝟎.3×МДЗ1 + 𝟎.35×БДЗ1 + 𝟎.35×БДЗ2 + 𝟎.3×МДЗ2</code>b>,

где МДЗ и БДЗ - большие и малые домашние задания.

== Домашние задания ==
# [https://github.com/NickKar30/DLA-HSE-AI-masters-course/tree/main/hw/hw1 МДЗ1]
# [https://github.com/NickKar30/DLA-HSE-AI-masters-course/tree/main/hw/hw2 БДЗ1]
# [https://github.com/NickKar30/DLA-HSE-AI-masters-course/tree/main/hw/hw3 БДЗ2]
# [https://github.com/NickKar30/DLA-HSE-AI-masters-course/tree/main/hw/hw4 МДЗ2]

== Литература ==

DL для звука (ИИ24, 6-7 модуль) - История изменений

imported>Mmustafaeva: Migrated current public revision from wiki.cs.hse.ru