Topic Modeling на Python

Topic Modeling на Python, сделать до завтрашнего утра.

Анализ текстовых данных с использованием тематического моделирования (topic modeling) и использование результатов для объединения сообщений в группы.

Тематическое моделирование различными методами.

Варианты типа данных для исследования:

- Научные статьи;

- Относительно большие сообщения в СМИ (размером от 4-х предложений и до 1 листа А4).

Распределить сообщения по репрезентативным группам с использованием topic modeling

Если более человеческим языком, то нужно:

1. Пропарсить в интернете научные статьи или сообщения в СМИ

2. Применить к полученным данным алгоритмы тематического моделирования (2 будет достаточно)

3. Объединить данные по группам исходя из пункта 2

4. Парсинг, тематическое моделирование и объединение данных по группам должно быть в рамках одного запуска программы. То есть запускаем программу и на выходе получаем сообщения, разделенные на репрезентативные группы. В идеале, если возможно, указание для каждой группы темы(или тега), по которой они разделены.

5. Для парсинга лучше всего использовать комментарии к постам каких-нибудь официальных СМИ, например Lenta.ru, Gazeta.ru или Russian.rt.com.