103news.com
Работа
Май
2022

Разработка модели выявления утверждений(NLP)

0
1) получить данные(Уже есть!)


2) отложить и разметить вручную («содержит/не содержит») тестовую выборку


3) остальные неразмеченные данные причесать перед подачей в модель-векторизатор(убрать ненужные колонки которые не надо подавать в модель)


4) получить векторы-эмбеддинги от модели векторизатора (здесь может быть Берт, но не как классификатор, а как эмбеддинговая модель!)


5) кластеризация этих векторов


6) TF-IDF между кластерами для поиска кластера, содержащего утверждения оценки стоимости мировых рынков


7) сохранение самых характерных n-грамов из этого кластера в список


остальные кластеры принимаем за единый класс «не содержит»


9) rule_based-функционал:


а. взять отложенную выборку


б. каждый текст из выборки проверить на наличие n-грамов из списка


в. если содержит – относим текст в категорию «содержит утверждения оценки стоимости мировых рынков»


г. считаем метрику по true-разметке

Итоговым проектом будет служить файл с разметкой, файл с векторизацией и файл с моделью которая выдает результат по исходным данным.




Губернаторы России
Москва

Собянин вручил государственные и городские награды заслуженным москвичам





Москва

Компания «Мария» рассказала о новых решениях для девелопмента на конференции Московского Бизнес-клуба


Губернаторы России

103news.net – это самые свежие новости из регионов и со всего мира в прямом эфире 24 часа в сутки 7 дней в неделю на всех языках мира без цензуры и предвзятости редактора. Не новости делают нас, а мы – делаем новости. Наши новости опубликованы живыми людьми в формате онлайн. Вы всегда можете добавить свои новости сиюминутно – здесь и прочитать их тут же и – сейчас в России, в Украине и в мире по темам в режиме 24/7 ежесекундно. А теперь ещё - регионы, Крым, Москва и Россия.

Moscow.media
Москва

Собянин наградил выдающихся москвичей за вклад в развитие города и страны



103news.comмеждународная интерактивная информационная сеть (ежеминутные новости с ежедневным интелектуальным архивом). Только у нас — все главные новости дня без политической цензуры. "103 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. 103news.com — облегчённая версия старейшего обозревателя новостей 123ru.net.

Мы не навязываем Вам своё видение, мы даём Вам объективный срез событий дня без цензуры и без купюр. Новости, какие они есть — онлайн (с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии).

103news.com — живые новости в прямом эфире!

В любую минуту Вы можете добавить свою новость мгновенно — здесь.

Музыкальные новости

Джиган

Дом для «козьей ОПГ»: Джиган и Самойлова построят питомник для бутовских коз




Спорт в России и мире

Алексей Смирнов – актер, которого, надеюсь, еще не забыли

Серпуховские гимнастки завоевали 30 медалей на соревнованиях в Москве

Назначены арбитры на матчи 14-ого тура МИР РПЛ

Мультсериал «Команда МАТЧ» взял награду на XXII Международном фестивале спортивного кино


WTA

Елена Рыбакина провела первую тренировку на Итоговом турнире WTA



Новости Крыма на Sevpoisk.ru


Москва

В Ленинском округе завершены работы по программе «Светлый город»



Частные объявления в Вашем городе, в Вашем регионе и в России