парсинг сайтов

@freework · Регистрация: 31.10.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте форумчане, у меня вопрос,к примеру есть сайт wday.ru, мне нужно спарсить все новости во всех разделах ../moda-shopping/.. и т.д. С одной страницы я знаю как это сделать, а вот с одного раздела уже нет. Какой нужно написать цикл, чтобы перебрать все ссылки разделов и новостей в них.

@вандал · 31.10.2013, 15:48

Попробую предположить что вам поможет curl

@freework · 31.10.2013, 18:29 **[ТС]**

хотелось бы чего нибудь конкретнее, нужно считать все ссылки типа - главная/раздел_1/статья_1 до главная/раздел_n/статья_n..

@your_tremor · 31.10.2013, 18:55

PHP
1
2
3
4
5
if (preg_match_all('~<(a|img)(.*)(href\s*=\s*|src\s*=\s*)[\'"](.*)[\'"]~siuU', $page_text, $matches)) {
      foreach ($matches[4] as $buf) {
        $result[] = $buf;
      }
    }

@freework · 31.10.2013, 23:09 **[ТС]**

я так понимаю он выведет все ссылки и изображения на одной странице (например главной)? Мне нужно например с помощью библиотеки simple_html_dom получить все страницы на сайте.. т.е.

PHP
1
2
require_once('simple_html_dom.php');
$html = file_get_html('wday.ru'); //но я вытащу только одну страницу, а надо все, где есть новости..

Новые блоги и статьи Все статьи Все блоги /
Вот уже год прошел, как у меня домен в reg.ru ... Etyuhibosecyu 16.04.2026 И ничего они мне не сделали. Если отвязать карту, никакие услуги они не навяжут. Я бы с радостью продлил еще на два года, чтобы не мучиться с временным доменом и меня уже знали по red-star-soft. com,. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .
Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача №1: при указании работ (справочник РаботыПоРемонтуСпецтехники),. . .

@freework 0 / 0 / 0 Регистрация: 31.10.2013 Сообщений: 3

	парсинг сайтов 31.10.2013, 14:16. Показов 1128. Ответов 4 Метки нет (Все метки) Здравствуйте форумчане, у меня вопрос,к примеру есть сайт wday.ru, мне нужно спарсить все новости во всех разделах ../moda-shopping/.. и т.д. С одной страницы я знаю как это сделать, а вот с одного раздела уже нет. Какой нужно написать цикл, чтобы перебрать все ссылки разделов и новостей в них. 0

@вандал 127 / 127 / 25 Регистрация: 20.11.2009 Сообщений: 498
	31.10.2013, 15:48
	Попробую предположить что вам поможет curl 0

@freework 0 / 0 / 0 Регистрация: 31.10.2013 Сообщений: 3
	31.10.2013, 18:29 [ТС]
	хотелось бы чего нибудь конкретнее, нужно считать все ссылки типа - главная/раздел_1/статья_1 до главная/раздел_n/статья_n.. 0