Реализовать программу на Python (машинное обучение) с комментариями
В целом, по работе чтобы была ясность, что делается и какая цель:
Вообщем необходимо выявить подозрительные страницы, используя цифровую и текстовую доступную информацию страницы. Соответственно разобъем на задачи: формируем исходный набор страниц, помечаем их как потенциально опасные/безопасные. высчитываем среднее, разброс, критерий разделимости по классам. оцениваем вероятность ошибки классификации. переделываем функции рассчета признаков, используя полученные средние+разброс, чтобы результатом стали 0 или 1. проверяем полученные признаки на новом наборе данных. если вероятность ошибки классификации при оценке на новых данных возрастает незначительно, относительно оценки вероятности ошибки на исходных данных - то считаем, что признаки рассчитаны правильно и доступная информация пользователя (цифровая и текстовая) используется эффективно для выполнения поставленной задачи детектирования.
Входные данные - урлы страниц, датасет формируем сами
Потому что мы должны основываясь на текстовой и цифровой информации делать выводы.
Из своих соображений на данный момент определяются только потенциально опасные и потенциально безопасные множества страниц. Точного датасета не может существовать т.к. станицы однозначно подтверждённые как опасные - соцсети блокируют.
Действительно, определение потенциальной опасности и безопасности страниц, носит оттенок предположения Но
Есть существующие публикации, которые используют ту или иную часть выбранного нами признакового пространства
Соответственно, мы не определяем лимит, по которому определяем страница хорошая или плохая, мы делаем это средствами дискриминантного анализа. Мы только формируем выборку.
Основное предположение, что страница которая пытается пойти за нормальную, но явно сфабрикована - ПОТЕНЦИАЛЬНО опасная И мы обнаруживаем именно эти Это похоже на социальный скоринг, но не совсем то
Непосредственно задача: реализовать программу на Python, с помощью методов машинного обучения, на основе прикрепленного алгоритма и математической модели. В коде обязательны комментарии и необходима пояснительная записка по работе программы и используемых технологиях.