https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_%282022%2F2023%29
Основы тензорных вычислений (2022/2023) - История изменений
2026-06-06T18:17:46Z
История изменений этой страницы в вики
MediaWiki 1.45.3
https://www.wikicshse.ru/index.php?title=%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_(2022/2023)&diff=1619&oldid=prev
imported>Esquerte: /* Лекции и семинары */
2022-12-25T16:18:24Z
<p><span class="autocomment">Лекции и семинары</span></p>
<p><b>Новая страница</b></p><div><br />
== О курсе ==<br />
<br />
Курс читается для студентов 3-го и 4-го курса ПМИ.<br />
<br />
'''Лектор:''' [https://t.me/mrakhuba Рахуба Максим Владимирович]<br />
<br />
'''Семинарист:''' [https://t.me/lev_for_peace Высоцкий Лев Игоревич]<br />
<br />
'''Учебные ассистенты:''' [https://t.me/ir4kgL Ира Голобородько], [https://t.me/esquerte Миша Петров]<br />
<br />
== Полезные ссылки ==<br />
<br />
'''[https://docs.google.com/spreadsheets/d/1gxUoP-Hq3qrOIGg4qqSdzjSRpw2TYsMq2We97bJo0bo/edit#gid=0 Ведомость]'''<br />
<br />
[https://disk.yandex.ru/d/ond3qqk1qIiYeg Материалы курса]<br />
<br />
[https://disk.yandex.ru/d/dV7cFhCHyoUiwA Записи занятий (часть 1)]<br />
[https://disk.yandex.ru/d/nOQ_Pird226w5A (часть 2)]<br />
<br />
[https://us06web.zoom.us/j/89850233432?pwd=ZzNZaVJYVkdwZzRCL1FYbkdob0tzQT09 Ссылка для семинаров (zoom)]<br />
<br />
[https://t.me/+vstK2gSXdvUzMzZi Телеграм-канал курса]<br />
<br />
== Лекции и семинары ==<br />
<br />
* '''Лекция 1. Введение.''' [[https://disk.yandex.ru/i/kiu97MKE9mTOzA Конспект] [https://disk.yandex.ru/d/dV7cFhCHyoUiwA/Основы%20тензорных%20вычислений%20лекция%202022-09-09T10-05-01Z.mp4 Zoom-запись]] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы. <br />
* '''Семинар 1.''' [[https://disk.yandex.ru/i/r5TnpctNcadhOA Конспект] [https://disk.yandex.ru/i/LZND-fVJgMVhsA Zoom-запись]] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение).<br />
* '''Лекция 2. Каноническое разложение тензоров (CP).''' [[https://disk.yandex.ru/i/N2y9Z1an3A1DJw Конспект] [https://disk.yandex.ru/i/-aZDOPpocHOxdQ Zoom-запись]] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.<br />
* '''Семинар 2.''' [[https://disk.yandex.ru/i/VpBo7wUoAVCUwA Конспект] [https://disk.yandex.ru/i/vBCHolC5rV1s9w Zoom-запись]] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.<br />
* '''Лекция 3. Алгоритмы вычисления CP-разложения.''' [[https://disk.yandex.ru/i/7fBacInaoOPPOA Конспект] [https://disk.yandex.ru/i/8nCQPpqYyfN0Xg Zoom-запись]] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.<br />
* '''Семинар 3.''' [[https://disk.yandex.ru/i/Y1uZduxeVVI15w Конспект] [https://disk.yandex.ru/i/F7S2mwSjD8_Ohw Zoom-запись]] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.<br />
* '''Лекция 4. Обобщение SVD на многомерный случай.''' [[https://disk.yandex.ru/i/H1yQsyauxS6Vdg Конспект] [https://disk.yandex.ru/i/gfFJHtOEuJhjZw Zoom-запись]] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).<br />
* '''Семинар 4.''' [[https://disk.yandex.ru/i/pk_lbKPMFoULXg Конспект] [https://disk.yandex.ru/i/cIaKxEPE0diDSA Zoom-запись]] T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств. Связь между тензорами и ЭЭГ. Эффективное вычисление тензорных операций.<br />
* '''Лекция 5. Обобщение SVD на многомерный случай — 2.''' [[https://disk.yandex.ru/i/o2xmjHO5DbH51Q Конспект] [https://disk.yandex.ru/i/qNmL1vfLhxigMA Zoom-запись]] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.<br />
* '''Семинар 5.''' [[https://disk.yandex.ru/i/8hk8hyDjBg7lyA Конспект] [https://disk.yandex.ru/i/6J2YsfKgEDzZiQ Zoom-запись]] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).<br />
* '''Лекция 6. Приложения тензорных вычислений.''' [[https://disk.yandex.ru/i/DEQUD0wniNh2kw Конспект] [https://disk.yandex.ru/i/1Jymwxyv9z3RoQ Zoom-запись]] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.<br />
* '''Семинар 6.''' [[https://disk.yandex.ru/i/uHzi6zJoB9za1g Конспект] [https://disk.yandex.ru/i/pcKMl6gNjFBLQw Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора.<br />
* '''Лекция 7. Разложение тензорного поезда (TT).''' [[https://disk.yandex.ru/i/7OTeq5tyG5XZ1Q Конспект] [https://disk.yandex.ru/i/uWTa39bqY__2IA Zoom-запись]] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.<br />
* '''Семинар 7.''' [[https://disk.yandex.ru/i/5B82B-Jx35XMtg Конспект] [https://disk.yandex.ru/i/tVluzYBSE00kwg Zoom-запись]] Разреженные тензоры. Numba. TT-разложение: пример вычисления.<br />
* '''Лекция 8. TT-разложение (продолжение).''' [[https://disk.yandex.ru/i/Ghru8n8y9eyYDw Конспект] [https://disk.yandex.ru/i/5LI1P63nzORLQQ Zoom-запись]] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.<br />
* '''Семинар 8.''' [[https://disk.yandex.ru/i/VeV_TDLkhnGZqQ Конспект] [https://disk.yandex.ru/i/2g0lgpw8J4n8Yg Zoom-запись]] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально? TT-SVD с округлением.<br />
* '''Лекция 9. Линейные операторы в TT-формате.''' [[https://disk.yandex.ru/i/l_oxpfd0rflJyg Конспект] [https://disk.yandex.ru/i/9x12pc6rt4_woA Zoom-запись]] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.<br />
* '''Семинар 9.''' [[https://disk.yandex.ru/i/hjK5eWk4Rc5Fsw Конспект] [https://disk.yandex.ru/i/DdLzrLL_v9w6JA Zoom-запись]] TT-матрицы (продолжение). Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение).<br />
* '''Лекция 10. Крестовая аппроксимация тензоров. Риманова оптимизация.''' [[https://disk.yandex.ru/i/XuQe330EE6Z-kg Конспект] [https://disk.yandex.ru/d/YBuZI8MoSNhQzQ Zoom-запись]] Крестовая аппроксимация матриц (продолжение). Крестовая аппроксимация тензоров, TT-cross. Интегрирование многомерных функций. Методы римановой оптимизации.<br />
* '''Семинар 10.''' [[https://disk.yandex.ru/i/qlZ5vvQ2jM-arw Конспект] [https://disk.yandex.ru/d/f0KBV3hJRJbl-A Ноутбук] [https://disk.yandex.ru/d/G3n81itEagfktA Zoom-запись]] Оптимизация на многообразиях (продолжение). Касательное пространство к S^{n-1}. Минимальное собственное значение симметричной вещественной матрицы. Многообразие матриц фиксированного ранга, касательное пространство к нему. Многообразие тензоров фиксированного TT-ранга.<br />
* '''Лекция 11. Риманова оптимизация. Иерархический Таккер.''' [[https://disk.yandex.ru/i/5xm9koAHY90Rqw Конспект] [https://disk.yandex.ru/i/XXMttocMmdsIdw Zoom-запись]] Риманова оптимизация (продолжение). Разложение иерархического Таккера (HT): определение, ранги, ортогонализация, сложение. Замкнутость множеств тензоров ограниченного ранга.<br />
* '''Семинар 11.''' [[https://disk.yandex.ru/i/9iYjKFcMoyIISQ Конспект] [https://disk.yandex.ru/d/hYf8kHcE37zrLQ Ноутбук] [https://disk.yandex.ru/i/SmDjkgsNh6tvSQ Zoom-запись]] Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.<br />
* '''Лекция 12. Обзор тензорных сетей.''' [[https://disk.yandex.ru/i/GtHYpjxwUasV8g Конспект] [https://disk.yandex.ru/i/PfY0CQnp8THGkA Zoom-запись]] Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.<br />
* '''Семинар 12.''' [[https://disk.yandex.ru/i/W2WUjrEQRhZgQw Конспект] [https://disk.yandex.ru/i/zXdEcLb3kj_aCw Zoom-запись]] Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение). Введение в пракДЗ-3. PEPS (продолжение).<br />
* '''Лекция 13. Вычисление свёрток.''' [[https://disk.yandex.ru/i/aJZS6WLMivLrzQ Конспект] [https://disk.yandex.ru/i/1sRhEItUXQLz3w Zoom-запись]] Тензоризация (продолжение). Билинейные алгоритмы и каноническое разложение. Одномерная свёртка: виды свёрток, алгоритм Тоома-Кука, малоранговый случай.<br />
* '''Семинар 13.''' [[https://disk.yandex.ru/i/z7D-AUFaIyoBng Конспект] [https://disk.yandex.ru/d/RXt1GhKYUhSeLA Ноутбук] [https://disk.yandex.ru/i/HM4HdCFs_mUwEA Zoom-запись]] Тензоризация многочленов. Библиотека TensorNetwork. Билинейные алгоритмы: алгоритм Карацубы.<br />
* '''Лекция 14. Вычисление свёрток — 2.''' [[https://disk.yandex.ru/i/dxCMvH94AOwrXA Конспект] [https://disk.yandex.ru/i/96TG-gFakZRfJg Zoom-запись]] Алгоритм Винограда. Вычисление многомерных свёрток. Свёрточный слой, его сингулярные числа. Тензорные разложения ядра свёртки.<br />
* '''Семинар 14.''' [[https://disk.yandex.ru/i/UlEnLUjNb-mxQQ Конспект] [https://disk.yandex.ru/i/VHglaR1o6tyYaQ Zoom-запись]] Алгоритм Винограда: китайская теорема об остатках для чисел и для полиномов, пример вычисления. Многомерные свёртки (продолжение). "Устойчивость" нейросетей.<br />
<br />
== Домашние задания ==<br />
<br />
Теоретические ДЗ выдаются каждые 2 или 3 недели.<br />
<br />
Также планируется 3-4 практических ДЗ.<br />
<br />
* '''Теоретическое ДЗ-1.''' [[https://disk.yandex.ru/d/ond3qqk1qIiYeg/hw_theory/hw1_theory_tenscomp22.pdf PDF] [https://disk.yandex.ru/d/ond3qqk1qIiYeg/hw_theory/hw1_theory_tenscomp22.tex TEX]] Дедлайн: 03.10.22 в 23:59.<br />
* '''Практическое ДЗ-1.''' [[https://disk.yandex.ru/d/ond3qqk1qIiYeg/hw_practice/hw1 Папка с файлами]] Дедлайн: 24.10.22 в 23:59.<br />
* '''Теоретическое ДЗ-2.''' [[https://disk.yandex.ru/i/mbCPXXXxO9WljA PDF] [https://disk.yandex.ru/d/6Pwmv-YJrwEgjg TEX]] Дедлайн: 18.10.22 в 23:59.<br />
* '''Теоретическое ДЗ-3.''' [[https://disk.yandex.ru/i/norXtm0LEO73WQ PDF] [https://disk.yandex.ru/d/a_A_aLMiOaQFsw TEX]] Дедлайн: 14.11.22 в 23:59.<br />
* '''Практическое ДЗ-2.''' [[https://disk.yandex.ru/d/0zBI7magEWuuCg Папка с файлами]] Дедлайн: 23.11.22 в 23:59.<br />
* '''Теоретическое ДЗ-4.''' [[https://disk.yandex.ru/i/3eEPmhMOEYotmg PDF]] Дедлайн: 05.12.22 в 23:59.<br />
* '''Теоретическое ДЗ-5.''' [[https://disk.yandex.ru/i/4UQh_QWlnT9ZrQ PDF] [https://disk.yandex.ru/d/SozCxp2wdXlQyw TEX]] Дедлайн: 18.12.22 в 23:59.<br />
* '''Практическое ДЗ-3.''' [[https://disk.yandex.ru/d/LHuCjFyw8gqLMQ Папка с файлами]] Дедлайн: 21.12.22 в 23:59.<br />
<br />
== Итоговая оценка за курс ==<br />
<br />
Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))<br />
<br />
ДЗ_Теор –– средняя оценка за теоретические домашние задания<br />
<br />
ДЗ_Практ –– средняя оценка за практические домашние задания<br />
<br />
Б –– средняя оценка за бонусные задачи в ДЗ<br />
<br />
ПР — средняя оценка за самостоятельные работы на семинарах<br />
<br />
К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)<br />
<br />
Э –– письменный экзамен.<br />
<br />
Округление арифметическое.</div>
imported>Esquerte