Как доработать curl_multi_exec, чтобы спам по ip не срабатывал?

@Hmms · Регистрация: 16.05.2023

Студворк — интернет-сервис помощи студентам

Можно ли ещё что - то доработать в плане curl_multi_exec, что бы спам по ip не срабатывал ?

del php func old

Все идеи кончились. Есть около 100 ссылок, разделяю их по 5 штук, и дальше запрашиваю. И делаю sleep на 3 секунды. Иногда спам фильтр ловит за жопу. А так же динамически пытался менять user agent. Мб стоит поиграться с установкой ip адреса ? Мб сервер не учитывает подделку Ну или как то curl_multi_exec заставить медленнее обрабатывать немного.

Если запустить несколько сеансов по этапного запроса, то спам фильтр за попу не ловит. Но это гемморойно в плане реализации

Добавлено через 9 минут

Сообщение от Hmms

А так же динамически пытался менять user agent.

А может попробовать задать gogole user agent bot ? Мб тогда сервер не будет блокировать, думая что это аналитика гугла гуляет по сайту

Добавлено через 2 минуты
В данный момент вот что получается, ещё не тестировал

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
function fetchUrls(array $urls, callable $callback, int $timeoutSeconds = 3, int $countBatch = 5, array $options = [], array $proxies = []) {
    $listUserAgent = [
        'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)',
        'Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)',
        'Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)'
    ];
 
    $totalUrls = count($urls);
    $completedUrls = 0;
    $handlesProxy = [];
    
    $proxyStringIP = function($proxy) {
        return trim(current(explode(':', count($proxy2 = explode('://', $proxy)) >= 2 ? $proxy2[1] : $proxy)));
    };
    while (current($urls) !== false) {
        $multiHandle = curl_multi_init();
        $remainingBatchSize = $countBatch;
        while ($remainingBatchSize-- && (($currentUrl = current($urls)) !== false)) {
            if(is_array($currentUrl)) {
                if(!(empty($currentUrl['u']) && empty($currentUrl['p']))) {
                    $ipProxy = trim($currentUrl['p']);
                    $currentUrl = trim($currentUrl['u']);
                    $ip = $proxyStringIP($ipProxy);
                } else {
                    $totalUrls--;
                    next($urls);
                    continue;
                }
            } else {
                if(count($proxies)) {
                    $ipProxy = $proxies[array_rand($proxies)];
                    $ip = $proxyStringIP($ipProxy);
                } else {
                    $ipProxy = false;
                    $ip = implode('.', [rand(0, 255), rand(0, 255), rand(0, 255), rand(0, 255)]);
                }
            }
            
            $optionsSet = [
                CURLOPT_RETURNTRANSFER => true, 
                CURLOPT_FOLLOWLOCATION => true, 
                CURLOPT_SSL_VERIFYPEER => false,
                CURLOPT_SSL_VERIFYHOST => false,
                CURLOPT_FRESH_CONNECT => true,
                CURLOPT_USERAGENT => $listUserAgent[array_rand($listUserAgent)],
                CURLOPT_HTTPHEADER => [
                    "HTTP_CLIENT_IP:" . $ip,
                    "HTTP_FORWARDED:" . $ip,
                    "HTTP_PRAGMA:" . $ip,
                    "HTTP_XONNECTION:" . $ip,
                    "HTTP_CACHE_INFO:" . $ip,
                    "HTTP_XPROXY:" . $ip,
                    "HTTP_PROXY_CONNECTION:" . $ip,
                    "HTTP_VIA:" . $ip,
                    "HTTP_X_COMING_FROM:" . $ip,
                    "HTTP_COMING_FROM:" . $ip,
                    "HTTP_X_FORWARDED_FOR:" . $ip,
                    "HTTP_X_FORWARDED:" . $ip,
                    "ZHTTP_CACHE_CONTROL:" . $ip,
                    "REMOTE_ADDR: " . $ip,
                    "X-Client-IP: " . $ip,
                    "Client-IP: " . $ip,
                    "X-Forwarded-For: " . $ip
                ]
            ];
            
            if(function_exists('URLReferenceRandom')) {
                $optionsSet[CURLOPT_REFERER] = URLReferenceRandom();
            }
 
            foreach($options as $key => $value) {
                if($key == CURLOPT_HTTPHEADER && is_array($value)) {
                    foreach($value as $hkey => $hvalue) {
                        $optionsSet[$key][$hkey] = $hvalue;
                    }
                } else {
                    $optionsSet[$key] = $value;
                }
            }
                        
            $curlHandle = curl_init($currentUrl);
            if($ipProxy) {
                $optionsSet[CURLOPT_PROXY] = $ipProxy;
                $handlesProxy[spl_object_hash($curlHandle)] = $ipProxy;
            }
            
            curl_setopt_array($curlHandle, $optionsSet);
            curl_multi_add_handle($multiHandle, $curlHandle);
            next($urls);
        }
        
        do {
            $status = curl_multi_exec($multiHandle, $active);
            if ($active) {
                if(curl_multi_select($multiHandle)) {
                    usleep(300);
                }
            }
        
            while ($info = curl_multi_info_read($multiHandle)) {
                $handle = $info['handle'];
                $handleHash = spl_object_hash($handle);
                $handleProxy = false;
                if(isset($handlesProxy[$handleHash])) {
                    $handleProxy = $handlesProxy[$handleHash];
                    unset($handlesProxy[$handleHash]);
                }
                
                $callback(
                    curl_multi_getcontent($handle),
                    curl_getinfo($handle, CURLINFO_EFFECTIVE_URL),
                    round(((++$completedUrls) / $totalUrls) * 100, 2),
                    $handleProxy,
                    $info['result'] !== CURLE_OK ? curl_strerror($info['result']) : false
                );
                
                curl_multi_remove_handle($multiHandle, $handle);
                curl_close($handle);
                
                if($completedUrls < $totalUrls) {
                    sleep($timeoutSeconds);
                }
            }
        } while ($active && $status == CURLM_OK);
        
        curl_multi_close($multiHandle);
    }
}

Кликните здесь для просмотра всего текста

В функцию передаются массив URL-адресов, колбэк-функция для обработки результатов запросов, опциональные параметры времени ожидания, количества запросов в пакете и пользовательские опции.

Функция инициализирует массив с различными User-Agent'ами для отправки запросов. User-Agent выбирается случайным образом из этого массива для каждого запроса, чтобы имитировать разных браузеров или ботов.

Затем функция проходит по массиву URL-адресов пакетами (определяемыми `$countBatch`), создает cURL-обработчики для каждого URL-адреса, устанавливает опции cURL, добавляет эти обработчики в ресурс curl_multi и переходит к следующему URL-адресу.

Далее выполняется цикл `do-while`, в котором используется функция `curl_multi_exec` для одновременного выполнения запросов в пакете. Если есть активные запросы, функция `curl_multi_select` используется для ожидания доступности результатов. Если результаты доступны, цикл переходит к обработке этих результатов.

Внутри цикла происходит чтение информации о каждом завершенном запросе с помощью `curl_multi_info_read`. Затем вызывается колбэк-функция, которой передается содержимое ответа, URL-адрес запроса и прогресс выполнения. Затем обработчик curl удаляется из ресурса curl_multi и закрывается.

Если не все запросы уже выполнены, функция ожидает указанное количество секунд (определяемого `$timeoutSeconds`), прежде чем продолжить с новым пакетом запросов.

В конце функция curl_multi_close закрывает ресурс curl_multi.

Таким образом, данный код выполняет запросы в пакетах, ожидает результаты и передает их для обработки колбэк-функции, а также учитывает прогресс выполнения.

Добавлено через 2 минуты
Может есть ещё у кого нибудь идеи? Как модернизировать

Добавлено через 7 минут
Пример использования, если кто - то захочет потестировать и внести вклад

PHP
1
2
3
fetchUrls(['https://yandex.ru', 'https://google.com'], function($data, $url, $progress, $ipProxy) {
    echo 'progress: ', $progress, '. Length('. strlen($data) .', ', $url ,')', PHP_EOL;
}, $timeoutSeconds = 2, $countBatch = 20, $options = [], $proxies = []);

PHP
1
2
3
4
5
$proxies = ['socks5://184.178.172.25:15291'];
 
fetchUrls(['https://yandex.ru', 'https://google.com'], function($data, $url, $progress, $ipProxy) {
    echo 'progress: ', $progress, '. ', ($ipProxy ? "proxy({$ipProxy}) " : ''), 'Length('. strlen($data) .', ', $url ,')', PHP_EOL;
}, $timeoutSeconds = 2, $countBatch = 20, $options = [], $proxies);

@Hmms · 22.07.2023, 06:39 **[ТС]**

Самый стабильный вариант

Кликните здесь для просмотра всего текста

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
function fetchUrls(array | string $urls, callable $callback, int $timeoutSeconds = 3, int $countBatch = 5, array $options = [], array $proxies = [], int $connectTimeOut = 15, int $timeOut = 60) {
    if(is_string($urls)) {
        $urls = [$urls];
    }
 
    $totalUrls = count($urls);
    $completedUrls = 0;
    $handlesProxy = [];
 
    while (current($urls) !== false) {
        $multiHandle = curl_multi_init();
        $remainingBatchSize = $countBatch;
        while ($remainingBatchSize-- && (($currentUrl = current($urls)) !== false)) {
            $browserRnd = browsers();
            $browserRnd = $browserRnd[array_rand($browserRnd)];
            $HTTPHEADER = isset($browserRnd['HEADER']) && is_array($browserRnd['HEADER'])
                ? $browserRnd['HEADER'] : [];
            if(is_array($currentUrl)) {
                if(!(empty($currentUrl['u']) && empty($currentUrl['p']))) {
                    $ipProxy = trim($currentUrl['p']);
                    $currentUrl = trim($currentUrl['u']);
                } else {
                    $totalUrls--;
                    next($urls);
                    continue;
                }
            } else {
                if(count($proxies)) {
                    $ipProxy = $proxies[array_rand($proxies)];
                } else {
                    $ipProxy = false;
                    $ip = IPRange(isset($browserRnd['ip'])?$browserRnd['ip']:false);
                    foreach([
                        "HTTP_CLIENT_IP:" . $ip,
                        "HTTP_FORWARDED:" . $ip,
                        "HTTP_PRAGMA:" . $ip,
                        "HTTP_XONNECTION:" . $ip,
                        "HTTP_CACHE_INFO:" . $ip,
                        "HTTP_XPROXY:" . $ip,
                        "HTTP_PROXY_CONNECTION:" . $ip,
                        "HTTP_VIA:" . $ip,
                        "HTTP_X_COMING_FROM:" . $ip,
                        "HTTP_COMING_FROM:" . $ip,
                        "HTTP_X_FORWARDED_FOR:" . $ip,
                        "HTTP_X_FORWARDED:" . $ip,
                        "ZHTTP_CACHE_CONTROL:" . $ip,
                        "REMOTE_ADDR: " . $ip,
                        "X-Client-IP: " . $ip,
                        "Client-IP: " . $ip,
                        "X-Forwarded-For: " . $ip
                    ] as $itemHeader) {
                        $HTTPHEADER[] = $itemHeader;
                    }
                }
            }
            
            $optionsSet = [
                CURLOPT_CONNECTTIMEOUT => $connectTimeOut, 
                CURLOPT_TIMEOUT => $timeOut, 
                CURLOPT_RETURNTRANSFER => true, 
                CURLOPT_FOLLOWLOCATION => true, 
                CURLOPT_SSL_VERIFYPEER => false,
                CURLOPT_SSL_VERIFYHOST => false,
                CURLOPT_FRESH_CONNECT => true,
                CURLOPT_USERAGENT => $browserRnd['userAgent'][array_rand($browserRnd['userAgent'])],
                CURLOPT_HTTPHEADER => $HTTPHEADER,
                CURLOPT_HEADER => false,
                CURLOPT_HTTPGET => true
            ];
            
            foreach($options as $key => $value) {
                if($key == CURLOPT_HTTPHEADER && is_array($value)) {
                    foreach($value as $hkey => $hvalue) {
                        $optionsSet[$key][$hkey] = $hvalue;
                    }
                } else {
                    $optionsSet[$key] = $value;
                }
            }
            
            $curlHandle = curl_init($currentUrl);
            if($ipProxy) {
                $optionsSet[CURLOPT_PROXY] = $ipProxy;
                $handlesProxy[spl_object_hash($curlHandle)] = $ipProxy;
            }
            
            curl_setopt_array($curlHandle, $optionsSet);
            curl_multi_add_handle($multiHandle, $curlHandle);
            next($urls);
        }
        
        do {
            $status = curl_multi_exec($multiHandle, $active);
            if ($active) {
                if(curl_multi_select($multiHandle)) {
                    usleep(300);
                }
            }
            
            while ($info = curl_multi_info_read($multiHandle)) {
                $handle = $info['handle'];
                $handleHash = spl_object_hash($handle);
                $handleProxy = false;
                if(isset($handlesProxy[$handleHash])) {
                    $handleProxy = $handlesProxy[$handleHash];
                    unset($handlesProxy[$handleHash]);
                }
            
                $callback(
                    curl_multi_getcontent($handle),
                    curl_getinfo($handle, CURLINFO_EFFECTIVE_URL),
                    round(((++$completedUrls) / $totalUrls) * 100, 2),
                    $handleProxy,
                    $info['result'] !== CURLE_OK ? curl_strerror($info['result']) : false
                );
                
                curl_multi_remove_handle($multiHandle, $handle);
                curl_close($handle);
                
                if($completedUrls < $totalUrls) {
                    sleep($timeoutSeconds);
                }
            }
        } while ($active && $status == CURLM_OK);
        
        curl_multi_close($multiHandle);
    }
}
function browsers() {
    return [
        [
            'userAgent' => [
                "Googlebot/2.1 (+http://www.google.com/bot.html)",
                "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
                "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36"
            ],
            'HEADER' => [
                'From: googlebot@googlebot.com',
                'Referer: https://www.google.com/',
                'Connection: keep-alive',
                'Accept-Language: en-US,en;q=0.9'
            ],
            'ip' => '66.249.66.1 - 66.249.79.255'
        ],
        [
            'userAgent' => [
                "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)",
                "Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)",
                "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
            ],
            'HEADER' => [
                'From: yandexbot@yandex.com',
                'Referer: https://www.yandex.ru/',
                'Connection: keep-alive',
                'Accept-Language: en-US,en;q=0.9'
            ],
            'ip' => '77.88.0.0 - 77.88.255.255'
        ],
        [
            'userAgent' => [
                "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)",
                "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/",
                "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/",
                "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)"
            ],
            'HEADER' => [
                'From: crawler@go.mail.ru',
                'Referer: https://go.mail.ru/',
                'Connection: keep-alive',
                'Accept-Language: en-US,en;q=0.9'
            ],
            'ip' => '81.19.64.0 - 81.19.95.255'
        ]
    ];
}
 
function IPRange($ip) {
    $ip = explode('-', $ip);
    if($ip == false || count($ip) <= 1) {
        return rand(0, 255) . '.' . rand(0, 255) . '.' . rand(0, 255) . '.' . rand(0, 255);
    }
    $start = explode(".", trim($ip[0]));
    $end = explode(".", trim($ip[1]));
 
    $diff = array();
    for ($i = 0; $i < 4; $i++) {
        $diff[$i] = $end[$i] - $start[$i];
    }
 
    $random_ip = array();
    for ($i = 0; $i < 4; $i++) {
        $random_ip[$i] = $start[$i] + rand(0, $diff[$i]);
    }
 
    return implode(".", $random_ip);
}

PHP
1
2
3
fetchUrls('https://www.cyberforum.ru/php-network/thread3121524.html#post16981491', function($data, $url, $progress, $ipProxy, $error) {
    print_r([$data, $ipProxy]);
}, 1, 1, [], ['136.243.92.30:26541']);

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .