https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A3%D1%82%D0%B8%D0%BB%D0%B8%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D0%BE%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B8_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%D0%BE%D1%82_%D0%BE%D0%B1%D1%81%D1%86%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BB%D0%B5%D0%BA%D1%81%D0%B8%D0%BA%D0%B8_%28%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%29 2026-06-06T16:22:42Z История изменений этой страницы в вики MediaWiki 1.45.3 https://www.wikicshse.ru/index.php?title=%D0%A3%D1%82%D0%B8%D0%BB%D0%B8%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D0%BE%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B8_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%D0%BE%D1%82_%D0%BE%D0%B1%D1%81%D1%86%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BB%D0%B5%D0%BA%D1%81%D0%B8%D0%BA%D0%B8_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=1021&oldid=prev 2015-10-20T07:52:57Z

<p>Migrated current public revision from wiki.cs.hse.ru</p> <p><b>Новая страница</b></p><div>{{Карточка_проекта<br /> |name=Утилита для очистки текстов от обсценной лексики<br /> |mentor=Шестаков Андрей<br /> |mentor_login={{URLENCODE:Ashestakoff|WIKI}}<br /> |semester=Весна 2015<br /> |course=1<br /> |summer=<br /> |categorize=yes<br /> |is_archived=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> [http://www.sketchengine.co.uk/ SketchEngine] - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.<br /> <br /> В частности, для того, чтобы результаты данного сервиса приносили пользу лицам младше 18 лет, тексты корпуса должны быть отчищены от обсценной лексики.<br /> <br /> В рамках данного проекта предлагается разработать программу, позволяющую очищать тексты от матерной и другой нецензурной лексики.<br /> <br /> === Чему вы научитесь? ===<br /> #Основные задачи автоматической обработки текстов<br /> #Некоторые методы автоматической обработки текстов<br /> ##Токенизация (разбиение текста на слова и определение границ предложения)<br /> ##Лемматизация (привидение слова к начальной форме)<br /> ##Морфологический анализ (определение частей речи)<br /> <br /> === Какие начальные требования? ===<br /> * Знание python<br /> * Умение работать с *nix (желательно)<br /> <br /> Проект не подразумевает разработку графической оболочки.<br /> <br /> === Какие будут использоваться технологии? ===<br /> * python<br /> * NLTK<br /> * gensim<br /> * pymorphy2<br /> <br /> === Направления развития ===<br /> Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса или как самостоятельное приложение для очистки произвольного входного текста.<br /> <br /> === Критерии оценки ===<br /> 4-5: индексирование текстов из корпуса SketchEngine с помощью gensim и очистка по словарю обсцененной лексики&lt;br /&gt;<br /> 6-7: + с использованием лемматизации корпуса SketchEngine &lt;br /&gt;<br /> 8-10: + разработка экспериментальной площадки для оценки точности-полноты очистки корпуса SketchEngine или использование утилиты на произвольном входном тексте&lt;br /&gt;</div>

imported>Ira dolgaleva