Прогноз популярности материалов с сайта Aftershock.news

Месяц назад мне понадобилось протестировать методы машинного обучения для анализа текстов. В качестве тестовых примеров я использовал публикации с главной страницы АфтерШока. Возможно, результаты исследования будут интересны пользователям этого ресурса.

Сбор и подготовка данных

С Главной страницы сайта (как понимаю, из разделов «Новости», «Аналитика» и «Теория») были скачены все публикации с 12 декабря 2011 г. по 15 февраля 2018 года – всего получилось 36,4 тыс. статей.

Выделены две группы – наиболее и наименее популярные материалы по количеству просмотров. Я попытался понять, какие факторы влияют на популярность поста и можно ли эту популярность предсказать заранее (в какую группу попадёт новый текст и с какой вероятностью).

На первом этапе была использована метаинформация – дата и время публикации, теги и категории, характеристики автора, длина заголовка и текста, источники. На втором этапе проанализированы сами тексты.

Признаки, которые влияют на популярность статьи

Используя алгоритм Random Forest, удалось предсказать популярность постов с точностью до 83%. Наиболее значимые признаки – время публикации, длина и тематика текста.

Разберём каждую группу признаков чуть подробнее.

Популярность циклична

Год публикации оказался самым информативным. Вполне объяснимо – активность пользователей на Главной сайта в разные периоды неоднородна.

Евромайдан хорошо сказался на посещаемости сайта, ожидаемо. Второй всплеск активности пришёлся на вторую половину 2016 года, что лично для меня уже менее очевидно.

Активность пользователей также зависит от месяца – весной наименьшая, к декабрю возрастает.

Количество просмотров определяется и днём недели – по выходным посты в среднем набирают больше.

Есть зависимость и от времени суток: наиболее популярные материалы обычно публикуются с пяти до семи часов утра, с десяти до одиннадцати, с шестнадцати до семнадцати, с двадцати двух до двадцати трех.

Это немного странно: друг на друга как бы наложились два цикла – вышеупомянутый, почасовой (что нехарактерно); и органичный, с максимумами в обед и вечером (ожидаемо). Возможно, почасовые пики вызваны активностью администрации сайта (массовой автоматической публикацией по расписанию).

На АфтерШоке любят длинные посты с короткими заголовками

У постов с короткими заголовками (менее 42 символов, первая четверть распределения) больше просмотров.

Длинные тексты (свыше 2094 символов, середина распределения) в среднем популярнее (8 тыс. просмотров за текст против 6 тыс.).

Авторский контент уважают, но не всегда ценят

Ядро активных авторов (которые опубликовали 5 и более постов) составляет 30% – они создали 90% всего контента на Главной.

Средний пост набирает 8,6 тыс. просмотров (медиана – 6,7 тыс. просмотров), но есть группа пользователей, материалы которых значительно более востребованы аудиторией. Топ-3: Already Yet (27 тыс. за пост), Skorpyon (25 тыс.), мент (21 тыс.).

На сайте размещают не только авторский контент (56% материалов, у которых есть метка «Авторство»), но и перепечатки с других ресурсов.

У авторских работ вероятность выйти в топ выше. Однако интересный копипаст тоже ценится, по соотношению полученной отдачи и потраченных ресурсов более эффективен.

Чаще всего источником для перепостов служат российские информационные агентства, в основном РИА Новости и ТАСС.

Однако перепечатки именно с этих ресурсов как раз не гарантируют большого количества просмотров, скорее наоборот. У аудитории сайта востребована эксклюзивная информация, которую можно взять из менее популярных источников (сайты правительств, министерств, блоги, специализированные порталы).

Обсуждение обезьян всегда в тренде

Тематика публикаций определялась по группам тегов и категорий, то есть по их наиболее частым сочетаниям под постами (служебные категории «Лидеры просмотров» и «Лидеры обсуждений» из топа убраны).

Наиболее популярные статьи посвящены поиску места России в мире и её противостоянию (экономическому, идеологическому и военному) с собирательным Западом (чаще всего с США).

По темам мне сложно сказать точнее, так как я не являюсь постоянным читателем сайта, а категории и теги имеют довольно образные названия. Более конкретно тематика публикаций будет сформулирована при анализе текста.

Анализ текстов

Самые важные слова: Россия, удар, США

Для предсказания популярности постов на основании анализа самих текстов (без метаинформации), я протестировал LogisticRegression, LinearSVC, SGDClassifier. Наилучший результат (85%) показал SVC с TFIDF-трансформацией.

Благодаря полученной модели, удалось выделить слова, которые оказывают наибольшее влияние на то, в какую группу попадёт текст, – в топ или на дно.

Эти слова: Россия, Путин, удар, Украина, рубль, русский, российский, поставки, мировой, Запад, газ… Я сравнил частотность их употребления в каждой группе текстов, однако результат оказался сложен для интерпретации.

В обеих группах пишут о противостоянии России и США.

Судя по относительной частоте, в топовых публикациях в основном об этом и пишут. В статьях менее успешных тематика чуть более размыта.

Важна не частота, а комбинации слов, контекст.

Украина и Сирия в топе

Чтобы лучше понять различия, я применил тематическое моделирование (ссылка на Вики).

Темы для топовых публикаций более очерчены, можно выделить две основных: противостояние России и США на Украине и противостояние России и США в Сирии. При формировании тем большую роль играют местоимения «я», «мы», «вы», «они». Это говорит о субъективной окраске публикаций, о важности точки зрения автора.

Другими словами, топовые статьи – авторские (в широком смысле) дискуссионные публицистические материалы, посвященные противостоянию России и США на Украине и Сирии.

Тематику наименее популярных постов выделить сложнее: темы размыты, их много, форма подачи обезличена. Судя по стилистике, это перепечатки из новостной ленты информационных агентств.

Выводы

Основных выводов два. Первый, важный для меня, – популярность публикации можно предсказывать заранее с большой долей вероятности. Второй, возможно интересный аудитории сайта, – у публицистических постов об Украине, Сирии и противостоянии России с США вероятность попасть в топ выше.

Если кому-то нужна более подробная информация, то ссылки на данные (в формате csv) и скрипт анализа (python в формате jupyter notebook) прилагаю.