Работа с proxy по скорости близкая с Chrome

@Betr1488 · Регистрация: 20.09.2016

Студворк — интернет-сервис помощи студентам

Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда.
P.S. Библиотека "requests".

@alex925 · 20.04.2017, 09:34

Можно использовать прокси от гугла, которое используется в мобильной версии хрома. Только у него 1 минус, с https не умеет работать. Если интересно приведу пример кода.

@Betr1488 · 20.04.2017, 09:55 **[ТС]**

Сообщение от alex925

Если интересно приведу пример кода.

Буду очень признателен.

@alex925 · 20.04.2017, 10:06

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
import time
 
from _md5 import md5
 
import requests
 
 
def get_google_header():
    """
    Генерирует заголовок для авторизации на Chrome Data Compression Proxy
    """
    result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
              'c={platform}')
 
    auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
    timestamp = str(int(time.time()))
    checksum = md5(
        (timestamp + auth_value + timestamp).encode('utf-8')
    ).hexdigest()
 
    return result.format(
        timestamp=timestamp, checksum=checksum, build=2403, patch=61,
        platform='win'
    )
 
 
proxies = {
    'http': 'proxy.googlezip.net:80',
}
 
headers = {
    'Chrome-Proxy': get_google_header()
}
 
r = requests.get(
    'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
    proxies=proxies
)
print(r.text)

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@Betr1488 0 / 0 / 0 Регистрация: 20.09.2016 Сообщений: 9

	Работа с proxy по скорости близкая с Chrome 20.04.2017, 08:53. Показов 1635. Ответов 3 Метки curl, node.js, nodejs, php, proxy, request, requests (Все метки) Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда. P.S. Библиотека "requests". 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	20.04.2017, 09:34
	Можно использовать прокси от гугла, которое используется в мобильной версии хрома. Только у него 1 минус, с https не умеет работать. Если интересно приведу пример кода. 0

Работа с proxy по скорости близкая с Chrome

Решение