Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.69/480: Рейтинг темы: голосов - 480, средняя оценка - 4.69
 Аватар для supmener
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,750

Какие прокси подходят для парсинга?

03.08.2022, 14:01. Показов 102216. Ответов 7
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Бывают Socks 4 и Socks 5, IPV6. Любые можно брать?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
03.08.2022, 14:01
Ответы с готовыми решениями:

Прокси для парсинга
Всем доброго времени суток. Кто может подсказать ресурс с которого можно достать (парсить) бесплатный прокси лист.

Какие компьютеры подходят для работы 1с-1?
Какие компьютеры подходят для работы 1с-1?

Регулярка для парсинга прокси с сайта
Учусь писать регулярки, первое знакомство, решил спарсить с сайта прокси. Удивился результату 151.200.170.146:80 01:11:14 16:00 ...

7
4 / 3 / 1
Регистрация: 22.07.2022
Сообщений: 42
03.08.2022, 14:36
Любые, зависит больше не от типа прокси, а от формата источника данных
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,664
Записей в блоге: 29
03.08.2022, 14:38
supmener, если бы думал что ты реально займешься парсингом а не будешь строчить каждый день новые глупые темы, то я бы порекомендовал не думать о прокси. Если они тебе понадобились на начальном уровне освоения значит ты что-то делаешь не так. Оставлю это на память потомкам.
2
 Аватар для supmener
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,750
03.08.2022, 16:12  [ТС]
Это реально полезная деятельность в изучении парсинга. Потому что вместо того, чтобы думать, что спарсить, можно пробовать обрабатывать сайты с бесплатными списками прокси. Они там в таком формате, что затруднительно скопировать.
0
Эксперт .NET
 Аватар для Usaga
14077 / 9294 / 1347
Регистрация: 21.01.2016
Сообщений: 34,893
03.08.2022, 17:30
Цитата Сообщение от supmener Посмотреть сообщение
можно пробовать
Можно. Но ты не будешь. Тебе только поговорить надо, не более.
0
 Аватар для supmener
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,750
03.08.2022, 19:48  [ТС]
Сделал код для одной строки таблицы. Прошу показать код, которым можно перебрать все строки.
Python
1
2
3
4
5
6
7
8
9
from lxml import html
import requests
link = "https://free-proxy-list.net/"
resp = requests.get(link)
tree = html.fromstring(resp.content)
elem = tree.xpath("//*[@id='list']/div/div[2]/div/table/tbody/tr[*]/td[1]")
elem2 = tree.xpath("//*[@id='list']/div/div[2]/div/table/tbody/tr[*]/td[2]")
elem1_2 = elem[0].text + ':' + elem2[0].text
print(elem1_2) # 95.217.84.60:8118
Добавлено через 16 минут
Вот такие строки возможны. Как узнать количество строк, чтобы сделать цикл?
Python
1
2
x = 0
elem1_2 = elem[x].text + ':' + elem2[x].text
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,664
Записей в блоге: 29
03.08.2022, 19:51
supmener, ты нарушаешь правила форума!
0
 Аватар для supmener
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,750
03.08.2022, 19:56  [ТС]
Вот так сделал. В конце выводит ошибку, потому что больше итераций циклов задано, чем есть строк таблицы. В принципе можно обработать ошибку, чтобы не считать строки.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
x = 0
while x < 1000:
    elem1_2 = elem[x].text + ':' + elem2[x].text
    print(elem1_2)
    x = x + 1
"""
Вывод:
66.29.154.103:3128
128.199.202.122:8080
169.57.1.85:8123
66.29.154.103:3128
128.199.202.122:8080
169.57.1.85:8123
66.29.154.105:3128
185.61.152.137:8080
8.219.97.248:80
139.99.237.62:80
47.245.33.104:12345
49.207.36.81:80
216.137.184.253:80
197.243.14.59:8888
80.80.211.110:8080
103.149.238.98:8080
163.116.131.129:8080
125.21.3.41:8080
103.148.72.106:80
20.110.214.83:80
218.238.83.182:80
160.19.232.85:3128
80.48.119.28:8080
78.154.180.52:81
200.89.174.158:8080
165.154.226.242:80
47.241.245.186:80
177.55.245.198:8080
177.54.229.1:9292
20.50.138.159:3128
50.225.10.229:80
133.18.234.233:8080
103.149.162.195:80
154.16.63.16:8080
89.250.221.106:53281
78.111.97.180:8080
71.19.249.118:8001
203.150.128.204:8080
179.49.117.226:999
198.59.191.234:8080
195.158.3.198:3128
20.81.62.32:3128
35.234.248.49:3128
159.255.188.134:41258
94.231.216.207:8085
185.77.221.61:8085
161.0.24.22:6046
94.154.127.187:8085
85.208.210.186:8085
45.130.60.151:9678
37.44.254.234:8085
2.59.21.20:7550
45.130.60.226:9753
91.188.246.245:8085
193.31.126.193:8085
2.59.21.174:7704
45.128.245.70:9081
213.166.76.249:8085
5.154.254.66:5077
45.131.230.217:6151
198.23.154.184:3128
37.35.41.81:8427
95.181.151.172:8085
37.35.42.57:8659
172.252.224.217:3128
45.145.131.105:8085
45.12.129.126:5302
91.188.246.246:8085
85.209.151.102:8085
91.242.228.32:8085
85.209.149.13:8085
185.245.27.38:6811
45.72.53.221:6257
185.202.108.23:8085
172.252.1.100:3128
37.35.41.196:8542
185.245.26.214:6731
186.179.7.209:8286
185.202.108.114:8085
94.154.127.103:8085
37.35.42.203:8805
193.56.72.48:8085
45.192.146.174:6185
37.35.42.159:8761
138.128.40.22:6025
2.59.21.238:7768
161.0.24.237:6261
37.35.40.227:8317
144.168.140.212:8283
185.255.129.154:5405
23.229.109.223:6249
45.192.146.46:6057
2.59.21.68:7598
185.61.217.164:8085
37.35.43.213:9071
45.66.209.116:8085
154.12.97.133:6486
45.145.129.208:8085
91.188.247.91:8085
193.27.10.159:6244
83.171.254.48:8085
37.44.254.167:8085
37.35.42.117:8719
45.192.146.158:6169
83.171.254.137:8085
154.201.39.93:3128
91.188.247.227:8085
85.208.210.90:8085
45.192.146.208:6219
45.192.141.231:5268
45.192.141.150:5187
37.44.254.126:8085
95.181.148.209:8085
45.192.141.189:5226
176.126.111.188:8085
45.66.209.81:8085
45.67.213.146:8085
95.164.235.129:6185
45.158.184.3:9079
91.188.247.171:8085
2.59.21.59:7589
185.61.223.145:8085
213.166.77.150:8085
109.94.220.208:8085
154.201.45.115:3128
2.59.21.60:7590
45.94.45.151:7154
23.254.56.62:3128
144.168.151.108:6152
85.239.37.186:8085
185.230.46.76:5725
45.145.129.142:8085
185.61.217.12:8085
23.229.109.130:6156
45.192.141.162:5199
185.202.108.147:8085
85.209.149.232:8085
85.239.37.43:8085
45.159.23.247:8085
107.152.214.87:8664
2.59.21.130:7660
172.121.142.240:3128
45.67.212.72:8085
45.145.131.128:8085
83.171.254.181:8085
37.35.40.239:8329
88.218.67.133:8085
45.145.131.233:8085
45.12.149.55:6045
45.159.23.219:8085
45.9.122.12:8093
193.42.96.248:7593
93.120.32.98:9282
37.35.41.204:8550
194.35.123.235:7655
45.147.28.63:9121
37.35.43.72:8930
91.188.246.197:8085
37.44.254.253:8085
45.67.212.46:8085
95.181.151.217:8085
141.98.161.71:7768
83.171.255.192:8085
45.130.60.77:9604
192.241.113.203:3128
66.150.70.2:6690
45.192.146.253:6264
91.188.246.208:8085
45.192.141.148:5185
193.233.83.193:8085
2.59.21.31:7561
5.183.253.171:8085
144.168.145.240:6288
2.59.21.12:7542
185.202.108.90:8085
5.154.254.7:5018
45.9.122.161:8242
45.66.209.35:8085
85.239.37.251:8085
185.61.217.180:8085
37.35.40.204:8294
142.252.198.190:3128
2.59.21.147:7677
5.154.254.14:5025
37.35.40.8:8098
45.140.147.33:3001
94.231.216.135:8085
2.59.21.22:7552
37.35.43.143:9001
193.31.126.165:8085
172.252.231.114:3128
2.59.21.56:7586
45.192.146.205:6216
37.35.43.52:8910
23.229.122.218:8246
45.192.141.122:5159
217.145.226.53:8085
107.152.190.230:7251
45.192.141.91:5128
172.252.224.33:3128
45.192.146.182:6193
144.168.140.44:8115
45.192.146.157:6168
198.20.191.48:7104
37.35.43.171:9029
95.164.232.237:5328
37.35.41.152:8498
94.154.127.80:8085
147.78.181.60:8085
185.77.221.188:8085
37.35.40.35:8125
45.67.213.254:8085
37.35.42.10:8612
45.9.122.178:8259
85.239.37.226:8085
193.56.72.84:8085
185.77.220.142:8085
37.35.42.175:8777
37.35.40.53:8143
198.20.185.234:6289
2.59.21.8:7538
77.83.86.96:8085
185.101.169.65:6609
185.61.223.23:8085
45.86.244.88:6155
185.245.26.216:6733
217.145.226.20:8085
5.154.254.109:5120
185.61.223.30:8085
2.59.21.64:7594
144.168.146.127:7670
45.192.146.243:6254
5.154.254.144:5155
93.120.32.125:9309
154.201.43.171:3128
172.245.28.159:3128
138.128.68.111:7179
37.35.42.23:8625
5.154.254.220:5231
185.61.223.71:8085
172.252.231.44:3128
45.67.213.196:8085
5.154.254.250:5261
37.35.43.231:9089
84.21.190.72:6073
5.154.254.219:5230
2.59.21.251:7781
37.35.41.136:8482
45.192.146.175:6186
23.250.101.47:8099
80.85.86.247:1235
47.56.69.11:8000
67.212.186.102:80
67.212.186.99:80
37.112.57.47:8080
51.250.80.131:80
80.106.247.145:53410
198.199.86.11:3128
74.208.34.72:5050
77.37.230.21:8080
47.74.152.29:8888
74.208.49.10:5050
74.208.183.39:5050
208.109.11.232:8089
185.15.172.212:3128
23.94.98.201:8080
95.217.84.60:8118
159.203.61.169:8080
209.97.150.167:3128
200.185.55.121:9090
134.209.29.120:3128
72.169.67.109:87
112.133.219.234:3127
190.72.136.211:8080
12.144.254.185:9080
110.78.81.107:8080
36.95.27.225:8080
81.91.137.42:8080
103.111.189.14:3125
157.100.12.138:999
20.47.108.204:8888
186.251.64.10:8085
103.133.26.107:8181
200.116.198.222:9812
43.250.127.98:9001
200.116.226.210:43049
189.123.126.254:3128
62.182.94.173:9812
182.253.172.185:8080
69.167.9.58:8118
108.175.4.71:5050
197.210.217.66:34808
187.95.34.135:8080
201.150.117.97:999
181.204.158.75:999
193.242.178.90:44551
118.36.19.164:8080
47.91.44.217:8000
222.158.197.138:80
156.239.52.146:3128
156.239.52.144:3128
156.239.52.141:3128
156.239.52.133:3128
Traceback (most recent call last):
  File "c:\parsing\b_s\proksi\funkchia_avtopoluchenia.py", line 23, in <module>
    elem1_2 = elem[x].text + ':' + elem2[x].text
IndexError: list index out of range
"""
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
03.08.2022, 19:56
Помогаю со студенческими работами здесь

Какие процессоры подходят для матплаты asus p5pe-vm ?
Добрый день! Подскажите, пожалуйста,какие процессоры (больше одного ядра) подходят для материнки asus p5pe-vm. Какие помощнее из них,...

Какие модули расширения подходят для конкретного ПЛК Siemens
Доброго времени суток. Вопрос: в какой документации указано какие модули расширения подходят для конкретного ПЛК Сименс. И после установки...

Какие есть библиотеки для парсинга JSON?
Какие есть библиотеки для парсинга JSON в СИ++??

Какие классы и методы есть в java для работы/парсинга xml?
подскажите, какие классы и методы есть в java для работы/парсинга xml? если можно то киньте пример

Какие видеокарты подходят материнке AWRDACPI
Как узнать какие видеокарты подходят материнской плате AWRDACPI (производитель - GBT) Интересуют видеокарты с поддержкой Shader Model...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
Фото: Daniel Greenwood
kumehtar 13.11.2025
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru