парсинг сайтов

@freework · Регистрация: 31.10.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте форумчане, у меня вопрос,к примеру есть сайт wday.ru, мне нужно спарсить все новости во всех разделах ../moda-shopping/.. и т.д. С одной страницы я знаю как это сделать, а вот с одного раздела уже нет. Какой нужно написать цикл, чтобы перебрать все ссылки разделов и новостей в них.

@вандал · 31.10.2013, 15:48

Попробую предположить что вам поможет curl

@freework · 31.10.2013, 18:29 **[ТС]**

хотелось бы чего нибудь конкретнее, нужно считать все ссылки типа - главная/раздел_1/статья_1 до главная/раздел_n/статья_n..

@your_tremor · 31.10.2013, 18:55

PHP
1
2
3
4
5
if (preg_match_all('~<(a|img)(.*)(href\s*=\s*|src\s*=\s*)[\'"](.*)[\'"]~siuU', $page_text, $matches)) {
      foreach ($matches[4] as $buf) {
        $result[] = $buf;
      }
    }

@freework · 31.10.2013, 23:09 **[ТС]**

я так понимаю он выведет все ссылки и изображения на одной странице (например главной)? Мне нужно например с помощью библиотеки simple_html_dom получить все страницы на сайте.. т.е.

PHP
1
2
require_once('simple_html_dom.php');
$html = file_get_html('wday.ru'); //но я вытащу только одну страницу, а надо все, где есть новости..

Новые блоги и статьи Все статьи Все блоги /
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .
Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .

@freework 0 / 0 / 0 Регистрация: 31.10.2013 Сообщений: 3

	парсинг сайтов 31.10.2013, 14:16. Показов 1132. Ответов 4 Метки нет (Все метки) Здравствуйте форумчане, у меня вопрос,к примеру есть сайт wday.ru, мне нужно спарсить все новости во всех разделах ../moda-shopping/.. и т.д. С одной страницы я знаю как это сделать, а вот с одного раздела уже нет. Какой нужно написать цикл, чтобы перебрать все ссылки разделов и новостей в них. 0

@вандал 127 / 127 / 25 Регистрация: 20.11.2009 Сообщений: 498
	31.10.2013, 15:48
	Попробую предположить что вам поможет curl 0

@freework 0 / 0 / 0 Регистрация: 31.10.2013 Сообщений: 3
	31.10.2013, 18:29 [ТС]
	хотелось бы чего нибудь конкретнее, нужно считать все ссылки типа - главная/раздел_1/статья_1 до главная/раздел_n/статья_n.. 0