карта сайта интернета

@Nebiros · Регистрация: 23.03.2010

Author24 — интернет-сервис помощи студентам

вот допустим есть пауки которые бегают по сайтам и в базу записывают кто на кого ссылается и таким образом получаем так сказать карту интернета , проблема в том что сайтов миллиарды и есть сайты на которые ссылаются миллионы сайтов. Изначально думал построить такую схему таблицы - поле названия доменов , поле перечислений линков идущих на другие сайты (в текстовом виде) , поле перечисления доменов ссылающихся на него (в текстовом виде) .
Проблема в том что последние поле может содержать миллионы слов (доменов ссылающихся на него) , и мне кажется такая конструкция будет не работоспособна , вот и вопрос - как лучше это осуществить?

Vovan-VE · 10.06.2011, 14:42

Для чего нужно накапливать такое количество информации? Почти наверняка она быстрее будет устаревать, чем обновляться в базе. Сколько смысла будет во всей этой информации и для кого?

@Nebiros · 10.06.2011, 14:55 **[ТС]**

Сообщение от Vovan-VE

Для чего нужно накапливать такое количество информации? Почти наверняка она быстрее будет устаревать, чем обновляться в базе. Сколько смысла будет во всей этой информации и для кого?

ну на счет скорости обновления это зависит от железа(сколько будет серверов и какая будет их мощность ) , а для чего это не имеет значения. Да собственно вроде как нашел выход - просто не приписывать к домену какие на него ссылаются а при его вызове прогонять по всей базе лайком где домены на него ссылаются , думаю оптимальный вариант ...

@netsolex · 11.06.2011, 18:26

а какая цель будит преследоваться накапливая просто ссылки с сайта на сайт ? что то немогу понять как это потом можно использовать в каких то целях...
кстати у меня есть сайт на котором расположениы все домены все паутины интерена..
начинаются доменя с чисел и заканчиваются последней буквой алфафита...
там их миллионы и миллиарды этих сайтов...
может тебе взять их и всех просканировать и получишь свою паутину интернета полностью которая есть на данный момент...

получится просто индексация все доменов и ссылками на них...
а как же это будит выглядеть автоматически..
не сканировать же тебе их вручную записывая.. нужна какая то система что бы переходила автоматом на ссылку которая есть и так дальше.... немогу представить что это такое задумано..

ну то что нужно будит много железа и мощную линию на основе фибры оптической это точно...
иначе твой инет простой не понянет всю мощь мировой паутины...

@Nebiros 41 / 40 / 16 Регистрация: 23.03.2010 Сообщений: 3,122
		1
	карта сайта интернета 10.06.2011, 13:43. Показов 757. Ответов 3 Метки нет (Все метки) вот допустим есть пауки которые бегают по сайтам и в базу записывают кто на кого ссылается и таким образом получаем так сказать карту интернета , проблема в том что сайтов миллиарды и есть сайты на которые ссылаются миллионы сайтов. Изначально думал построить такую схему таблицы - поле названия доменов , поле перечислений линков идущих на другие сайты (в текстовом виде) , поле перечисления доменов ссылающихся на него (в текстовом виде) . Проблема в том что последние поле может содержать миллионы слов (доменов ссылающихся на него) , и мне кажется такая конструкция будет не работоспособна , вот и вопрос - как лучше это осуществить? 0

Vovan-VE 13208 / 6596 / 1041 Регистрация: 10.01.2008 Сообщений: 15,069
	10.06.2011, 14:42	2
	Для чего нужно накапливать такое количество информации? Почти наверняка она быстрее будет устаревать, чем обновляться в базе. Сколько смысла будет во всей этой информации и для кого? 0

@Nebiros 41 / 40 / 16 Регистрация: 23.03.2010 Сообщений: 3,122
	10.06.2011, 14:55 [ТС]	3
	Сообщение от Vovan-VE Для чего нужно накапливать такое количество информации? Почти наверняка она быстрее будет устаревать, чем обновляться в базе. Сколько смысла будет во всей этой информации и для кого? ну на счет скорости обновления это зависит от железа(сколько будет серверов и какая будет их мощность ) , а для чего это не имеет значения. Да собственно вроде как нашел выход - просто не приписывать к домену какие на него ссылаются а при его вызове прогонять по всей базе лайком где домены на него ссылаются , думаю оптимальный вариант ... 0

@netsolex 53 / 53 / 4 Регистрация: 26.05.2011 Сообщений: 379
	11.06.2011, 18:26	4
	а какая цель будит преследоваться накапливая просто ссылки с сайта на сайт ? что то немогу понять как это потом можно использовать в каких то целях... кстати у меня есть сайт на котором расположениы все домены все паутины интерена.. начинаются доменя с чисел и заканчиваются последней буквой алфафита... там их миллионы и миллиарды этих сайтов... может тебе взять их и всех просканировать и получишь свою паутину интернета полностью которая есть на данный момент... получится просто индексация все доменов и ссылками на них... а как же это будит выглядеть автоматически.. не сканировать же тебе их вручную записывая.. нужна какая то система что бы переходила автоматом на ссылку которая есть и так дальше.... немогу представить что это такое задумано.. ну то что нужно будит много железа и мощную линию на основе фибры оптической это точно... иначе твой инет простой не понянет всю мощь мировой паутины... 0