Посмотреть код onion-сайта

@scio me nescire · Регистрация: 10.01.2014

Author24 — интернет-сервис помощи студентам

Здравствуйте, пришла в голову мысль питоном ~~попарсить~~ посмотреть код сайта , да не простого а .onion гугл особо не помог так что спрошу тут: Есть ли смысл продолжать искать ? Может кто сталкивался с такой задачей ?

@Amet13 · 07.08.2014, 00:58

А проблема в чём? .onion чем-то отличается от других (я так понимаю это домен)?

@scio me nescire · 07.08.2014, 01:04 **[ТС]**

Amet13, Ну да отличается, насколько я знаю как минимум способом подключения. Это сайты в сети ТОР https://ru.wikipedia.org/wiki/Tor
и обычними способами:

Python

1	urllib2.urlopen('****.onion').read()

не выйдет

@Amet13 · 07.08.2014, 01:05

Я чёт подумал что вы html парсить собираетесь.

@s0rg · 07.08.2014, 16:45

ЕМНИП - Tor на клиенте работает как socks5 прокси - вам нужна либа, которая умеет делать http-запросы через socks5, остальное - тривиально.

@scio me nescire · 09.08.2014, 20:13 **[ТС]**

s0rg, перепробовал три различные библиотеки, выхлоп всегда одинаковый:

Python

1	URLError: <urlopen error [Errno -2] Name or service not known>

@alex925 · 11.08.2014, 14:47

На сколько я все понимаю, вам нужно иметь установленный tor на компьютере (не просто tor браузер, а именно сам tor). У tor есть proxy на компьютере через который идет весь трафик, вот вам надо в своем приложении указать, что нужно использовать proxy. Ну и как бы это все.

Добавлено через 8 минут
Извиняюсь за сумбурное изложение своих мыслей, если что не понятно, могу пояснить.

@scio me nescire · 09.09.2014, 02:25 **[ТС]**

Спасибо отписавшимся, оставлю решение тут вдруг кому пригодится

Python

# -*- coding: utf-8 -*-
import socks
import socket
 
def create_connection(address, timeout=None, source_address=None):
    sock = socks.socksocket()
    sock.connect(address)
    return sock
 
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9150)
 
# patch the socket module
socket.socket = socks.socksocket
socket.create_connection = create_connection
 
import urllib2
 
u = urllib2.urlopen('http://lwplxqzvmgu43uff.onion/')
for line in u.readlines():
    print(line)

@alex925 · 09.09.2014, 08:09

Можно было гораздо проще сделать, не используя модуль socket .

@s0rg · 09.09.2014, 18:59

tsar925, можете рассказать как?
просто на моей памяти socks - это вроде единственный модуль, позволяющий работать через socks4/5 прокси.

@scio me nescire · 13.09.2014, 03:11 **[ТС]**

s0rg, очень беглый гуглеж показал что питон с privоxy дружит насчет актуальности сказать ничего не могу.

@alex925 · 13.09.2014, 07:14

scio me nescire, s0rg, http://docs.python-requests.or... d/#proxies

@s0rg · 13.09.2014, 19:59

tsar925,
Про http(s) в requests я знаю, а privoxy, наскольно я понял просто эмулирует http-прокси для питона.
Но все-равно спасибо! Еще один способ в копилку.

@alex925 · 13.09.2014, 23:10

Сообщение от s0rg

privoxy, наскольно я понял просто эмулирует http-прокси для питона

Не совсем, ты можешь подцепить к tor любую проксю, чтобы упралять передаваемым трафиком, на пример если ты захочешь пропустить через сеть tor не только web трафик. В общем если почитать доку, то станет ясно, что это обычное дело

@scio me nescire 123 / 62 / 32 Регистрация: 10.01.2014 Сообщений: 241
		1
	Посмотреть код onion-сайта 07.08.2014, 00:00. Показов 5314. Ответов 13 Метки нет (Все метки) Здравствуйте, пришла в голову мысль питоном ~~попарсить~~ посмотреть код сайта , да не простого а .onion гугл особо не помог так что спрошу тут: Есть ли смысл продолжать искать ? Может кто сталкивался с такой задачей ? 0

@Amet13 1362 / 1074 / 110 Регистрация: 16.03.2012 Сообщений: 4,543
	07.08.2014, 00:58	2
	А проблема в чём? .onion чем-то отличается от других (я так понимаю это домен)? 0

@Amet13 1362 / 1074 / 110 Регистрация: 16.03.2012 Сообщений: 4,543
	07.08.2014, 01:05	4
	Я чёт подумал что вы html парсить собираетесь. 0

@s0rg 42 / 42 / 7 Регистрация: 15.07.2012 Сообщений: 98
	07.08.2014, 16:45	5
	ЕМНИП - Tor на клиенте работает как socks5 прокси - вам нужна либа, которая умеет делать http-запросы через socks5, остальное - тривиально. 1

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	11.08.2014, 14:47	7
	На сколько я все понимаю, вам нужно иметь установленный tor на компьютере (не просто tor браузер, а именно сам tor). У tor есть proxy на компьютере через который идет весь трафик, вот вам надо в своем приложении указать, что нужно использовать proxy. Ну и как бы это все. Добавлено через 8 минут Извиняюсь за сумбурное изложение своих мыслей, если что не понятно, могу пояснить. 1

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	09.09.2014, 08:09	9
	Можно было гораздо проще сделать, не используя модуль socket . 0

@s0rg 42 / 42 / 7 Регистрация: 15.07.2012 Сообщений: 98
	09.09.2014, 18:59	10
	tsar925, можете рассказать как? просто на моей памяти socks - это вроде единственный модуль, позволяющий работать через socks4/5 прокси. 0

@scio me nescire 123 / 62 / 32 Регистрация: 10.01.2014 Сообщений: 241
	13.09.2014, 03:11 [ТС]	11
	s0rg, очень беглый гуглеж показал что питон с privоxy дружит насчет актуальности сказать ничего не могу. 0

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	13.09.2014, 07:14	12
	scio me nescire, s0rg, http://docs.python-requests.or... d/#proxies 2

@s0rg 42 / 42 / 7 Регистрация: 15.07.2012 Сообщений: 98
	13.09.2014, 19:59	13
	tsar925, Про http(s) в requests я знаю, а privoxy, наскольно я понял просто эмулирует http-прокси для питона. Но все-равно спасибо! Еще один способ в копилку. 0

	13.09.2014, 23:10

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	13.09.2014, 23:10	14
	Сообщение от s0rg privoxy, наскольно я понял просто эмулирует http-прокси для питона Не совсем, ты можешь подцепить к tor любую проксю, чтобы упралять передаваемым трафиком, на пример если ты захочешь пропустить через сеть tor не только web трафик. В общем если почитать доку, то станет ясно, что это обычное дело 0