https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%80%D0%B5%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9_%28%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%29Систематизация и реформирование базы извлеченных знаний (командный проект) - История изменений2026-06-06T14:04:54ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://www.wikicshse.ru/index.php?title=%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B8_%D1%80%D0%B5%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B8%D0%B7%D0%B2%D0%BB%D0%B5%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B9_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=1635&oldid=previmported>Ilya Kuzminov: Migrated current public revision from wiki.cs.hse.ru2017-10-16T20:04:26Z<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>{{Карточка_командного_проекта<br />
|name=Систематизация и реформирование базы извлеченных знаний<br />
|company=ИСИЭЗ НИУ ВШЭ<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=2-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это проект по созданию единой структуры базы извлеченных знаний, с помощью которой можно будет проследить наследуемость, схожесть (близость) данных, обнаружить новые связи и на основании их получить новые знания.<br />
Извлеченные данные уже автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br />
Необходимо таблицы разного формата, например такие (фактические данные будут отличаться, но принцип оформления буквально тот же):<br />
----<br />
:1. Продукция совхоза имени Ленина<br />
::a. Фрукты<br />
:::i. Яблоки<br />
::::ii. Сорт «Грени»<br />
----<br />
<br />
1.Фермерское хозяйство ООО «Солнышко» -> 2. Продукты -> 2.1. Голден-Смит, Яблоки; 2. 2. Сезонные, Яблоки; 2.3. Сезонные, Помидоры; 2.4. Сезонные, Груши; 2.5. Подмосковные, Огурцы.<br />
----<br />
<br />
привести к единому формату, причем так, чтобы с помощью sql-запроса можно было, например, получить всех «детей» какого-то элемента [в данном случае сорта] определенного вида продукции (тех же яблок или груш). <br />
<br />
В ходе работы над этим проектом придется решить множество задач по извлечению и очистке данных от шума и мусора, а также выработать наиболее оптимальный алгоритм по нахождению близости между одноуровневыми элементами разных списков, возможно даже, между элементами разных уровней.<br />
<br />
Алгоритм нахождения близости должен быть подобран студентами на основании проведенного ими анализа и сравнения (экспериментально) точности существующих средств по приведению формы слова к нормальной (мн. ч. к ед. ч. [data <=> datum], избавление от окончаний родов\падежей и т.п.) в контексте решаемой задачи; по приведению словарной базы к единому знаменателю: векторному\численному представлению, например, с помощью word2vec, sense2vec и подобных. <br />
<br />
Для проведения такого анализа в частности потребуется использование либо обученной модели данных, либо модифицированной самими студентами для нужд данной задачи имеющейся модели, либо же создание студентами собственной.<br />
<br />
В итоге у команды, работающей над этим проектом, должен будет получиться набор sql-запросов и таблиц, позволяющих обращаться напрямую к любым элементам структуры, извлекать их, и применять к ним ко всем без дополнительной подготовки со стороны пользователя аналитические инструменты.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br />
Работать с базами данных, разрабатывать сложные алгоритмы извлечения, обработки, стандартизации и сравнения данных.<br />
Применять и дорабатывать для практических нужд теоретические алгоритмы компьютерной лингвистики.<br />
Работать с инструментами машинного обучения на уровне, позволяющем решать реальные задачи. Модифицировать\обучать собственные модели данных.<br />
Работать с облачными сервисами БД (например, AWS).<br />
Командной работе (не только с программистами, но и с аналитиками и пр. специалистами); работе в крупном проекте, где каждый завершенный этап является важным элементом всего проекта и можно наглядно наблюдать практическую значимость проделанной работы.<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
Работа над проектом будет состоять из следующих этапов:<br />
* Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br />
* Ознакомление с имеющимися в базе знаний данными, ознакомление со структурой этих данных;<br />
* Распределение обязанностей и начало разработки над проектом (тестовое)<br />
* Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br />
* Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br />
* Финальная проверка реализации проекта.<br />
<br />
=== Компоненеты (Из каких частей состоит проект?) ===<br />
* База извлеченных знаний, располагающаяся на облачном сервисе (с которой студентам предстоит работать);<br />
* Описание разработанной унифицированной структуры базы данных (небольшой технический отчет о том, какие функции используются для обработки первичных данных, для приведения их к стандартизированному виду, для разбиения на элементы структуры; краткое описание формата итоговых таблиц)<br />
* Описание работы с моделью и инструментами машинного обучения<br />
* Таблицы, полученные в результате обработки первичных данных<br />
* Таблицы с обработанными данными и проработанной структурой<br />
* Выполненные в ходе работы над проектом sql-запросы (с комментариями)<br />
* Полученные результаты машинного обучения<br />
* Дополнительные отчеты\листинги\пояснительные записки по проекту (если возникнет такая производственная необходимость)<br />
<br />
=== Какие будут использоваться технологии? ===<br />
PostgreSQL, REGEXP, алгоритмы нахождения близости (Jaccard Similarity, Sorensen–Dice coefficient), алгоритмы машинного обучения (посредством библиотек SpaCy/NLTK и т.п.)<br />
<br />
Amazon Web Services<br />
<br />
=== Какие начальные требования? ===<br />
Знание SQL на уровне, достаточном для быстрого освоения более специфичных для наших задач возможностей PostgreSQL (в идеале — опыт работы с PostgreSQL)<br />
Желательно знание R (возможно, пригодится для понимания или написания некоторых функций). <br />
Знание Python (в идеале – опыт работы с машинным обучением)<br />
<br />
=== Темы вводных занятий ===<br />
* Особенности работы с нашими хранилищами данных.<br />
* Особенности работы с имеющимися у нас структурами данных.<br />
<br />
=== Критерии оценки ===<br />
''0-3'': Не написаны запросы по обработке и\или структуризации данных. Данные обработаны крайне плохо. Нет возможности «достать» наследующие элементы структуры.<br />
<br />
''4-5'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные загружаются в правильном формате. По необъективным причинам в данных присутствует большое количество шума, мусора, и\или некоторая часть данных, доступная для структуризации, не была извлечена, обработана и структурирована. А также работа с данными производилась на локальных устройствах. Проект не имеет отчетности, код запросов представлен без комментариев.<br />
<br />
''6-7'': Написанные запросы работают, обрабатывая все или большую часть доступных данных, данные приведены к единой структуре, есть возможность извлечения элементов-детей и родителей по детям. Небольшая часть данных, доступная для очистки и обработки, не была обработана и структуризирована. В коде запросов присутствуют комментарии, достаточные для их понимания. Предоставлена отчетность по структуре заполнения таблиц и функционалу разработанных алгоритмов, позволяющая получить достаточное представление о том, как создавался и из чего состоит финальный результат проекта.<br />
<br />
''8-10'': Написанные запросы работают, извлекая все доступные данные из БД, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Данные очищены от мусора и шума, обработаны и структуризированы в полном объеме. Код запросов полностью закомментирован (опуская комментирование встроенных функций и пр. очевидные вещи). Предоставлен достаточно детализированный отчет о полученной структуре данных, разработанных функциях и алгоритмах.<br />
<br />
=== Похожие проекты ===<br />
<br />
<br />
=== Контактная информация ===<br />
<br />
Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br />
<br />
Email: ''ikuzminov@hse.ru''<br />
<br />
Рабочий телефон: +7 (495) 772-9590 доб. 12022<br />
<br />
'''Технические\организационные и пр. вопросы: ''Юлия Исаева'' '''<br />
<br />
Email: ''yisaeva@hse.ru''<br />
<br />
Тел.: +7 (495) 772 9590 доб. 22543</div>imported>Ilya Kuzminov