Скрипт, который открывает html-страницы от лица заданного пользователя

@aibolit · Регистрация: 13.05.2015

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Возникла такая интересная задача. Существует ресурс для музыкантов promodj.com. К особенностям данного ресурса относится существование колонки «здесь были» на странице каждого пользователя, в которую заносятся гиперссылки на страницы последних посетителей. Одним словом, если пользователь топ99999 заходит на страницу пользователя топ1, то ссылка на топ99999 какое-то небольшое время провисит на странице топ1.

Это создаёт интересный механизм для промоушена авторов, которые пока не так популярны, но пишут интересную музыку. Что особенно приятно — это то, что данный механизм не нарушает правила сайта и никого не раздражает, в отличие от, скажем, спама в личку со ссылками на чьи-то материалы с «промо-аккаунтов».

Соответственно встаёт задача о создании скрипта, который будет удовлетворять таким условиям.

Скрипт запускается и работает, пока его не закроют, в фоновом режиме
Скрипт читает из текстового файла ссылки на страницы, и поочерёдно открывает (в фоне) эти страницы
При открытии страницы передаётся необходимая информация о пользователе, чтобы сервер обработал запрос для конкретного пользователя, а не анонимно
После завершения работы со всеми ссылками из файла скрипт уходит в сон на заданный промежуток времени (наглеть и забивать весь трафик своей персоной мы тоже не хотим)

Если у кого-то из уважаемых посетителей возникнет желание решить эту задачу и написать скрипт, оказав помощь музыкантам, то буду вам весьма благодарен. Если нет — всё равно спасибо за ваше время и за прочтение данного поста.

В качестве продвинутой опции было бы красиво извлекать ссылки на страницы популярных пользователей не из файла, а из разнообразных чартов на сайте наподобие топ-100, но это, полагаю, существенно и без необходимости усложнит задачу.

Jabbson · 14.05.2015, 11:18

Теоретически вот так должно работать:

Тут я логинюсь с логином SuperBoom (имя: Долли) с паролем superpass и посещаю страницу пользователя spam84box (имя: Колли).
Линки берутся с топ100.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import requests
import lxml.html
 
 
def get_top():
    url = 'http://promodj.com/top100'
    page = requests.get(url).text                   
    parser = lxml.html.fromstring(page)
    links = parser.cssselect('div.title a')
    return [link.get('href') for link in links]
 
 
def goDoTheMagic():
    with requests.session() as c:
        url = 'http://promodj.com/login/'
        login = 'SuperBoom'
        password = 'superpass'
 
        c.get(url)
        login_data = dict(login=login, password=password, backto='http://promodj.com/g3489107')
        c.post(url, data=login_data, headers={"Referer": "http://promodj.com/"})
        
        top = get_top()
        
        for link in top:
            print("Visiting ", link)
            c.get(link)
 
goDoTheMagic()

после этого на странице посещений Колли:

Скрипт, который открывает html-страницы от лица заданного пользователя

@aibolit · 14.05.2015, 15:08 **[ТС]**

Потрясающе — скрипт работает! Спасибо тебе огромное, добрый человек! Будь уверен, из этого кода будет извлечено много пользы)

Про колонку: она отображается на странице каждого пользователя (отметил на приложенном скриншоте).

P.S.: Поставил 4 разные версии Python, пока смог подключить и requests, и lxml и cssselect (lxml был капризен к версии, а в 2.7.0 не нашёл Scripts/pip) , но в итоге всё замечательно

Jabbson · 14.05.2015, 15:19

Всегда пожалуйста.

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@aibolit 0 / 0 / 0 Регистрация: 13.05.2015 Сообщений: 2

	Скрипт, который открывает html-страницы от лица заданного пользователя 13.05.2015, 16:01. Показов 6478. Ответов 3 Метки нет (Все метки) Здравствуйте! Возникла такая интересная задача. Существует ресурс для музыкантов promodj.com. К особенностям данного ресурса относится существование колонки «здесь были» на странице каждого пользователя, в которую заносятся гиперссылки на страницы последних посетителей. Одним словом, если пользователь топ99999 заходит на страницу пользователя топ1, то ссылка на топ99999 какое-то небольшое время провисит на странице топ1. Это создаёт интересный механизм для промоушена авторов, которые пока не так популярны, но пишут интересную музыку. Что особенно приятно — это то, что данный механизм не нарушает правила сайта и никого не раздражает, в отличие от, скажем, спама в личку со ссылками на чьи-то материалы с «промо-аккаунтов». Соответственно встаёт задача о создании скрипта, который будет удовлетворять таким условиям. Скрипт запускается и работает, пока его не закроют, в фоновом режиме Скрипт читает из текстового файла ссылки на страницы, и поочерёдно открывает (в фоне) эти страницы При открытии страницы передаётся необходимая информация о пользователе, чтобы сервер обработал запрос для конкретного пользователя, а не анонимно После завершения работы со всеми ссылками из файла скрипт уходит в сон на заданный промежуток времени (наглеть и забивать весь трафик своей персоной мы тоже не хотим) Если у кого-то из уважаемых посетителей возникнет желание решить эту задачу и написать скрипт, оказав помощь музыкантам, то буду вам весьма благодарен. Если нет — всё равно спасибо за ваше время и за прочтение данного поста. В качестве продвинутой опции было бы красиво извлекать ссылки на страницы популярных пользователей не из файла, а из разнообразных чартов на сайте наподобие топ-100, но это, полагаю, существенно и без необходимости усложнит задачу. 0

@aibolit 0 / 0 / 0 Регистрация: 13.05.2015 Сообщений: 2
	14.05.2015, 15:08 [ТС]
	Потрясающе — скрипт работает! Спасибо тебе огромное, добрый человек! Будь уверен, из этого кода будет извлечено много пользы) Про колонку: она отображается на странице каждого пользователя (отметил на приложенном скриншоте). P.S.: Поставил 4 разные версии Python, пока смог подключить и requests, и lxml и cssselect (lxml был капризен к версии, а в 2.7.0 не нашёл Scripts/pip) , но в итоге всё замечательно Миниатюры 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	14.05.2015, 15:19
	Всегда пожалуйста. 0

Скрипт, который открывает html-страницы от лица заданного пользователя

Решение