Loading…
Academic Journal
Разработка системы для тонового анализа отзывов пользователей портала «AUTOSTRADA.INFO/RU»
Yaroslav Aleksandrovich Seliverstov, Viktoriya Igorevna Chigur, Arseniy Mikhailovich Sazanov, Svyatoslav Aleksandrovich Seliverstov, Aliaksandra Sergeevna Svistunova
Информатика и автоматизация, Vol 18, Iss 2, Pp 354-389 (2019)
Saved in:
| Title | Разработка системы для тонового анализа отзывов пользователей портала «AUTOSTRADA.INFO/RU» |
|---|---|
| Authors | Yaroslav Aleksandrovich Seliverstov, Viktoriya Igorevna Chigur, Arseniy Mikhailovich Sazanov, Svyatoslav Aleksandrovich Seliverstov, Aliaksandra Sergeevna Svistunova |
| Publication Year |
2019
|
| Source |
Информатика и автоматизация, Vol 18, Iss 2, Pp 354-389 (2019)
|
| Description |
В результате анализа выявлено, что социальные сети (Вконтакте, Facebook), тематические сообщества в сетях микроблогинга (Twitter), ресурсы для путешественников (TripAdvisor), транспортные порталы (Autostrada) являются источником актуальной и оперативной информации о дорожно-транспортной обстановке, качестве предоставляемых транспортных услуг и степени удовлетворенности пассажиров уровнем транспортного обслуживания. Однако существующие системы транспортного мониторинга не содержат программных инструментов, способных осуществлять сбор и анализ дорожно-транспортной информации в среде Интернет. В настоящей работе рассматривается задача построения системы автоматического извлечения и классификации дорожно-транспортной информации с транспортных интернет-порталов и апробация разработанной системы для анализа транспортных сетей Крыма и города Севастополя. Для решения этой задачи проанализированы библиотеки с открытым исходным кодом для тематического сбора и исследования данных. Разработан алгоритм для извлечения и анализа текстов. Осуществлена разработка краулера с использованием пакета Scrapy на языке Python3 и собраны отзывы пользователей с портала View item о состоянии транспортной системы Крыма и города Севастополя. Для лемматизации текстов и векторного преобразования текстов были рассмотрены методы tf, idf, tf-idf и их реализация в библиотеке Scikit-Learn: CountVectorizer и TF-IDF Vectorizer. Для обработки текстов были рассмотрены методы Bag-of-Words и n-gram. В ходе разработки модели классификатора рассмотрены наивный байесовский алгоритм (MultinomialNB) и модель линейного классификатора с оптимизацией стохастического градиентного спуска (SGDClassifier). В качестве обучающей выборки использовался корпус объемом 225 тысяч размеченных текстов с ресурса Twitter. Проведено обучение классификатора, в ходе которого использовалась стратегия кросс-валидации и метод ShuffleSplit. Проведено тестирование и сравнение результатов тоновой классификации. По результатам валидации лучшей оказалась линейная модель со схемой n-грамм [1, 3] и векторизатором TF-IDF. В ходе апробации разработанной системы был проведен сбор и анализ отзывов, относящихся к качеству транспортных сетей республики Крым и города Севастополя. Сделаны выводы и определены перспективы дальнейшего функционального развития разрабатываемого инструментария.
|
| Document Type |
article
|
| Language |
English
Russian |
| Publisher Information |
Russian Academy of Sciences, St. Petersburg Federal Research Center, 2019.
|
| Subject Terms | |
