Парсинг с помощью Fizzler.Systems.HtmlAgilityPack

@AndreyXP · Регистрация: 22.07.2022

Студворк — интернет-сервис помощи студентам

Добрый вечер, уважаемые форумчане!
Возник вопрос, уже много чего перепробовал, но ничего не получается.

Есть новостной сайт https://www.cnbc.com/

Из него,условно, возьмем новость https://www.cnbc.com/2024/02/2... risis.html

Мне нужно с помощью Fizzler.Systems.HtmlAgilityPack спарсить с этой новости картинку и текст под ней.
Перепробовал миллион вариантов, на некоторых получалось, но с багами, например, захватывал картинку из видео-файла или, например, из 5 картинок находил 1-2 на странице.

Самый правильный метод на данный момент таков, но он не идеальный:

C#
1
2
3
var img = doc.QuerySelectorAll(".ArticleBody-articleBody").Select(x => x.SelectSingleNode(".//img").GetAttributeValue("src", ""))
    .Select(x => x!)
    .ToList();

Какие есть варианты вытащить все фотографии со страницы, при этом не захватывая видео и прочий мусор.

Спасибо, нуждаюсь в помощи!

@AndreyXP · 24.02.2024, 02:47 **[ТС]**

OwenGlendower, https://www.cnbc.com/2024/02/1... -time.html

Вот, например, тут 2 картинки
Одна есть в мета, вторую не смог нигде найти по htmlDocument

@OwenGlendower · 24.02.2024, 09:35

Сообщение от AndreyXP

вторую не смог нигде найти по htmlDocument

А я нашел. Оба изображения находятся внутри длинного JSON. Его начало можно найти по window.__s_data=, конец по window.__c_data=. Внутренности там сложные. Нужно искать объект с "tagName": "image". У него есть атрибуты: ссылка, описание и другие. Смотрите в прикрепленном этот JSON (только красиво отформатированный). В пост он не влезает из-за большого размера.

@AndreyXP · 24.02.2024, 10:21 **[ТС]**

Сообщение от OwenGlendower

А я нашел. Оба изображения находятся внутри длинного JSON. Его начало можно найти по window.__s_data=, конец по window.__c_data=. Внутренности там сложные. Нужно искать объект с "tagName": "image". У него есть атрибуты: ссылка, описание и другие. Смотрите в прикрепленном этот JSON (только красиво отформатированный). В пост он не влезает из-за большого размера.

Спасибо!!! Сейчас попробую как-нибудь теперь их достать....

Добавлено через 4 минуты
Очень странно, я когда получаю htmlDocument, у меня тоже есть Json с window.__s_data=
но, при этом, нет "tagName": "image"

Добавлено через 37 минут
OwenGlendower, Как вы, кстати, вытащили Json файл из страницы? Сейчас что-то ищу, но не выходит.

@AndreyXP · 24.02.2024, 12:23 **[ТС]**

OwenGlendower,

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
var json = doc.Descendants()
     .Where(n => n.Name == "script" && n.InnerText.StartsWith("window.__s_data"))
     .FirstOrDefault().InnerText
     .Substring(16);
 
int index = json.IndexOf("; window.__c_data");
 
json = json.Substring(0, index);
 
 
dynamic data = JsonConvert.DeserializeObject(json);
 
var data1 = data.page.page.layout[1].columns;

Я все ближе и ближе, но не могу зайти в modules, пишет ошибку
Кстати, как вы правильно в Json файле убрали регистр? Я использовал Regex.Unescape, но получил лишь проблемы.

@OwenGlendower · 24.02.2024, 14:31

Сообщение от AndreyXP

Я все ближе и ближе, но не могу зайти в modules, пишет ошибку

У меня вот так получилось вытащить

C#
1
2
3
4
5
6
7
8
JObject j = JObject.Parse(json);
var images = j.Descendants()
    .Where(jj => jj.Type == JTokenType.Object)
    .Where(jj => jj.Value<string>("tagName") == "image")
    .Select(jj => new {
        Url = jj["attributes"].Value<string>("url"),
        Caption = jj["attributes"].Value<string>("caption")
    });

Сообщение от AndreyXP

Очень странно, я когда получаю htmlDocument, у меня тоже есть Json с window.__s_data=
но, при этом, нет "tagName": "image"

Попробуйте найти без пробела: "tagName":"image", он добавился везде при переформатировании.

Сообщение от AndreyXP

Как вы, кстати, вытащили Json файл из страницы?

Скопировал исходный код страницы в Notepad++, выделил нужный блок текста и воспользовался секретной командой под названием copy-paste.

Сообщение от AndreyXP

Кстати, как вы правильно в Json файле убрали регистр?

Какой регистр? Вы о чем?

@AndreyXP · 24.02.2024, 19:33 **[ТС]**

OwenGlendower, Спасибо Вам большое! Очень помогли!

Новые блоги и статьи Все статьи Все блоги /
Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .	мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))	Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .

@AndreyXP 3 / 3 / 1 Регистрация: 22.07.2022 Сообщений: 174
	24.02.2024, 02:47 [ТС]
	OwenGlendower, https://www.cnbc.com/2024/02/1... -time.html Вот, например, тут 2 картинки Одна есть в мета, вторую не смог нигде найти по htmlDocument 0

@AndreyXP 3 / 3 / 1 Регистрация: 22.07.2022 Сообщений: 174
	24.02.2024, 19:33 [ТС]
	OwenGlendower, Спасибо Вам большое! Очень помогли! 0

Парсинг с помощью Fizzler.Systems.HtmlAgilityPack

Решение