Возможно ли рипнуть всю Википедию?

@Gastello · Регистрация: 11.04.2010

Author24 — интернет-сервис помощи студентам

Всем привет. Возмоно ли рипнуть cfqn всю Википедию?

@remarkes · 29.06.2012, 19:42

О, мсье знает толк в извращениях

@Gastello · 29.06.2012, 19:51 **[ТС]**

Сообщение от remarkes

О, мсье знает толк в извращениях

не ну там программой теелпорт про или ещё какой-то?

@remarkes · 29.06.2012, 20:29

...не знаю насчет телепорт, но технически это можно сделать... а зачем?
в русской википедии 870721 статей. это если по 200 килобайт на статью (не считая картинок и т.д.), то выйдет, что необходимо скачать 174 ГБ (как минимум). + еще ссылки на каталоги статей и прочее. ну, технически - это вполне реально.

@Gastello · 30.06.2012, 01:19 **[ТС]**

Сообщение от remarkes

...не знаю насчет телепорт, но технически это можно сделать... а зачем?
в русской википедии 870721 статей. это если по 200 килобайт на статью (не считая картинок и т.д.), то выйдет, что необходимо скачать 174 ГБ (как минимум). + еще ссылки на каталоги статей и прочее. ну, технически - это вполне реально.

Хранилище есть на 24Тб. Подскажите как грамотно это сделать. Рипнуть пока русские страницы. Если вас не затруднит.

@remarkes · 30.06.2012, 02:09

так программой teleport pro, если уж о ней зашла речь!
можно скрипт подумать и написать.
слева в википедии есть ссылка "указатель а-я" (алфавитный), вот по нему на 3 страницы в глубину, как то так я думаю. имеет смысл скачивать по времени, чтобы сайт не забанил.
если цель благородная, то может имеет смысл поговорить с участниками википедии, может они помогут чем-то или хотя бы не будут банить ваш рип.
что по поводу вопроса "зачем"?

@Gastello · 30.06.2012, 02:21 **[ТС]**

Сообщение от remarkes

что по поводу вопроса "зачем"?

Отвечу на этот вопрос просто, мало ли что нас ждёт в будущем с сетью. Поэтому я бекаплю из интернета всю полезную информацию и сортирую её на SAS жесткие диски. Исключительно для себя и только для себя. У меня много рипнутых познавательных сайтов есть, которых уже не существует, или уже изменены в отрицательную сторону. Поэтому вот такой вопрос поставился, рипнуть википедию, сначала ru потом уже остальное.

@remarkes · 30.06.2012, 13:11

Сообщение от Gastello

мало ли что нас ждёт в будущем с сетью

с точки зрения теории вероятности больше шансов, что у тебя навернется НМЖД, чем полетят разом все ДЦ у Википедии, или что Телекому и большой тройке надоест доить с людей деньги за воздух (сеть) и они прикроют сеть.
Если ты ждешь какого-то Армагепца, то разумней строить бункер и запасать соль, сахар, спички, тарен...

@Gastello · 30.06.2012, 15:40 **[ТС]**

Сообщение от remarkes

с точки зрения теории вероятности больше шансов, что у тебя навернется НМЖД, чем полетят разом все ДЦ у Википедии, или что Телекому и большой тройке надоест доить с людей деньги за воздух (сеть) и они прикроют сеть.
Если ты ждешь какого-то Армагепца, то разумней строить бункер и запасать соль, сахар, спички, тарен...

Я думаю, у меня такое не скоро накроется такой вот блок: http://elmir.ua/catalog/komp_y... k831a.html

И все же, как грамотно рипнуть Вики? И причем тут Армагещец? Армагедец может быть только с сетью....

magirus · 30.06.2012, 16:35

НИКАК.
точка.

@taras atavin · 30.06.2012, 16:41

Сообщение от Gastello

не ну там программой теелпорт про или ещё какой-то?

Скорость держит не прога, да и винт такой ещё поискать. И не факт, что к окончанию закачки скачанные страницы будут актуальны, так как сам ресурс имеет привычку обновляться.

@Gastello · 30.06.2012, 16:52 **[ТС]**

Сообщение от taras atavin

Скорость держит не прога, да и винт такой ещё поискать. И не факт, что к окончанию закачки скачанные страницы будут актуальны, так как сам ресурс имеет привычку обновляться.

Это плохо, эх.....жаль((((

@Jallik Lich · 30.06.2012, 16:53

Согласен с предыдущим постом: википедия еще 20 раз обновится, пока будет идти скачивание файлов))

@taras atavin · 30.06.2012, 16:58

Ну не все, конечно станицы, особо старые уже имеют устоявшееся состояние. Но часть может стать на себя не похожа, меняясь к лучшему. Всё таки качать такой объём - процесс не быстрый.

Vovan-VE · 30.06.2012, 17:28

Также не исключено, что через каждые N МБ/сутки или /час Вам будут говорит, что "Вы скачиваете слишком много информации. Не хотите ли ввести капчу или подождать сутки?" Всякое же бывает. Если так, что весь процесс может растянуться в разы.

@SergeyS · 30.06.2012, 20:06

Есть рипы вики, правда старые (на iPhone залил недавно, не помню какого года уже)

@ЛетающийЕнот · 30.06.2012, 20:11

Не смешите мои тапочки.

ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии
Редиректор от ссылки глючит, не обессудьте.

@SergeyS · 30.06.2012, 20:19

Все оказывается так просто

.

@Gastello · 01.07.2012, 00:28 **[ТС]**

Сообщение от ЛетающийЕнот

Не смешите мои тапочки.

ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии
Редиректор от ссылки глючит, не обессудьте.

То есть это реальная статья? Если да, то спасибо величайшее...вам....

@ЛетающийЕнот · 01.07.2012, 10:18

Gastello, да, реальная статья.
Как можно увидеть, не так уж это нереально.

@taras atavin 4226 / 1796 / 211 Регистрация: 24.11.2009 Сообщений: 27,562
	30.06.2012, 16:58	14
	Ну не все, конечно станицы, особо старые уже имеют устоявшееся состояние. Но часть может стать на себя не похожа, меняясь к лучшему. Всё таки качать такой объём - процесс не быстрый. 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
		1
	Возможно ли рипнуть всю Википедию? 29.06.2012, 19:28. Показов 2660. Ответов 23 Метки нет (Все метки) Всем привет. Возмоно ли рипнуть cfqn всю Википедию? 0

@remarkes 310 / 233 / 15 Регистрация: 01.07.2011 Сообщений: 812 Записей в блоге: 1
	29.06.2012, 19:42	2
	О, мсье знает толк в извращениях 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	29.06.2012, 19:51 [ТС]	3
	Сообщение от remarkes О, мсье знает толк в извращениях не ну там программой теелпорт про или ещё какой-то? 0

@remarkes 310 / 233 / 15 Регистрация: 01.07.2011 Сообщений: 812 Записей в блоге: 1
	29.06.2012, 20:29	4
	...не знаю насчет телепорт, но технически это можно сделать... а зачем? в русской википедии 870721 статей. это если по 200 килобайт на статью (не считая картинок и т.д.), то выйдет, что необходимо скачать 174 ГБ (как минимум). + еще ссылки на каталоги статей и прочее. ну, технически - это вполне реально. 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	30.06.2012, 01:19 [ТС]	5
	Сообщение от remarkes ...не знаю насчет телепорт, но технически это можно сделать... а зачем? в русской википедии 870721 статей. это если по 200 килобайт на статью (не считая картинок и т.д.), то выйдет, что необходимо скачать 174 ГБ (как минимум). + еще ссылки на каталоги статей и прочее. ну, технически - это вполне реально. Хранилище есть на 24Тб. Подскажите как грамотно это сделать. Рипнуть пока русские страницы. Если вас не затруднит. 0

@remarkes 310 / 233 / 15 Регистрация: 01.07.2011 Сообщений: 812 Записей в блоге: 1
	30.06.2012, 02:09	6
	так программой teleport pro, если уж о ней зашла речь! можно скрипт подумать и написать. слева в википедии есть ссылка "указатель а-я" (алфавитный), вот по нему на 3 страницы в глубину, как то так я думаю. имеет смысл скачивать по времени, чтобы сайт не забанил. если цель благородная, то может имеет смысл поговорить с участниками википедии, может они помогут чем-то или хотя бы не будут банить ваш рип. что по поводу вопроса "зачем"? 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	30.06.2012, 02:21 [ТС]	7
	Сообщение от remarkes что по поводу вопроса "зачем"? Отвечу на этот вопрос просто, мало ли что нас ждёт в будущем с сетью. Поэтому я бекаплю из интернета всю полезную информацию и сортирую её на SAS жесткие диски. Исключительно для себя и только для себя. У меня много рипнутых познавательных сайтов есть, которых уже не существует, или уже изменены в отрицательную сторону. Поэтому вот такой вопрос поставился, рипнуть википедию, сначала ru потом уже остальное. 0

@remarkes 310 / 233 / 15 Регистрация: 01.07.2011 Сообщений: 812 Записей в блоге: 1
	30.06.2012, 13:11	8
	Сообщение от Gastello мало ли что нас ждёт в будущем с сетью с точки зрения теории вероятности больше шансов, что у тебя навернется НМЖД, чем полетят разом все ДЦ у Википедии, или что Телекому и большой тройке надоест доить с людей деньги за воздух (сеть) и они прикроют сеть. Если ты ждешь какого-то Армагепца, то разумней строить бункер и запасать соль, сахар, спички, тарен... 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	30.06.2012, 15:40 [ТС]	9
	Сообщение от remarkes с точки зрения теории вероятности больше шансов, что у тебя навернется НМЖД, чем полетят разом все ДЦ у Википедии, или что Телекому и большой тройке надоест доить с людей деньги за воздух (сеть) и они прикроют сеть. Если ты ждешь какого-то Армагепца, то разумней строить бункер и запасать соль, сахар, спички, тарен... Я думаю, у меня такое не скоро накроется такой вот блок: http://elmir.ua/catalog/komp_y... k831a.html И все же, как грамотно рипнуть Вики? И причем тут Армагещец? Армагедец может быть только с сетью.... 0

magirus Почетный модератор 28046 / 15779 / 983 Регистрация: 15.09.2009 Сообщений: 67,752 Записей в блоге: 78
	30.06.2012, 16:35	10
	НИКАК. точка. 1

	01.07.2012, 10:18

@taras atavin 4226 / 1796 / 211 Регистрация: 24.11.2009 Сообщений: 27,562
	30.06.2012, 16:41	11
	Сообщение от Gastello не ну там программой теелпорт про или ещё какой-то? Скорость держит не прога, да и винт такой ещё поискать. И не факт, что к окончанию закачки скачанные страницы будут актуальны, так как сам ресурс имеет привычку обновляться. 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	30.06.2012, 16:52 [ТС]	12
	Сообщение от taras atavin Скорость держит не прога, да и винт такой ещё поискать. И не факт, что к окончанию закачки скачанные страницы будут актуальны, так как сам ресурс имеет привычку обновляться. Это плохо, эх.....жаль(((( 0

@Jallik Lich Исследователь 196 / 175 / 13 Регистрация: 30.10.2011 Сообщений: 605
	30.06.2012, 16:53	13
	Согласен с предыдущим постом: википедия еще 20 раз обновится, пока будет идти скачивание файлов)) 1

Vovan-VE 13208 / 6597 / 1041 Регистрация: 10.01.2008 Сообщений: 15,069
	30.06.2012, 17:28	15
	Также не исключено, что через каждые N МБ/сутки или /час Вам будут говорит, что "Вы скачиваете слишком много информации. Не хотите ли ввести капчу или подождать сутки?" Всякое же бывает. Если так, что весь процесс может растянуться в разы. 1

@SergeyS 154 / 146 / 20 Регистрация: 12.03.2011 Сообщений: 806
	30.06.2012, 20:06	16
	Есть рипы вики, правда старые (на iPhone залил недавно, не помню какого года уже) 1

@ЛетающийЕнот 88 / 67 / 37 Регистрация: 28.06.2012 Сообщений: 161
	30.06.2012, 20:11	17
	Не смешите мои тапочки. ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии Редиректор от ссылки глючит, не обессудьте. 1

@SergeyS 154 / 146 / 20 Регистрация: 12.03.2011 Сообщений: 806
	30.06.2012, 20:19	18
	Все оказывается так просто . 1

@Gastello 30 / 16 / 1 Регистрация: 11.04.2010 Сообщений: 534
	01.07.2012, 00:28 [ТС]	19
	Сообщение от ЛетающийЕнот Не смешите мои тапочки. ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии Редиректор от ссылки глючит, не обессудьте. То есть это реальная статья? Если да, то спасибо величайшее...вам.... 0