Crawling и сбор открытых данных с академического сайта

Приветствую

Имеется популярный сайт academia.edu, на котором все публикации сгруппированы по топикам (темам). Для каждого топика можно найти посмотреть 1) количество публикаций и 2) количество followers, подписавшихся на этот топик:
https://www.academia.edu/topics

Максимум по количеству публикаций внутри одного топика, который я пока видел - это топик Cardiovascular Diseases, в котором 67.3 тысяч статей. Однако количество подписчиков для этого топика составляет всего 6.32 тысяч, что меньше чем для религиозного топика Christianity (71.5 тысяч подписчиков).

Данные, с одной стороны, абсолютно открытые, однако неудобство заключается в том, что для того, чтобы сравнить как ранжируются все топики по количеству публикаций и подписчиков (followers), нужно буквально прокликнуть все страницы с названиями топиков.

Найти аналитические отчёты в открытых источниках не удалось, хотя на сайте есть одноименный топик academia.edu, в котором публикуются кое-какие обзоры.

Как можно проще всего собрать такие данные?

Заранее благодарю.

0