|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
Как можно спарсить страницу и получить описание?04.08.2020, 10:31. Показов 6391. Ответов 61
Метки нет (Все метки)
Хочу сделать парсер описания каналов ютуб и желательно получать свой текст с помощью регулярок. Например https://www.youtube.com/user/PewDiePie/about
Какие библиотеки помогут в этом деле?
0
|
|
| 04.08.2020, 10:31 | |
|
Ответы с готовыми решениями:
61
Каким методом можно спарсить такую страницу? Как спарсить HTML страницу? Как спарсить целую страницу и со стилями |
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 04.08.2020, 18:19 [ТС] | |
|
Есть еще парсеры html страницы желательно по атрибутам? Как https://simplehtmldom.sourceforge.io/manual.htm
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||
| 04.08.2020, 18:32 [ТС] | ||||||
|
А как этот код в функцию превратить и вызывать ее так?
0
|
||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 04.08.2020, 18:39 [ТС] | |
|
Не этот, а который вы кинули с сохранением исходного кода сайта
0
|
|
|
Just Do It!
|
|||
| 04.08.2020, 18:44 | |||
|
у меня там галиматью грузит как раз с ютуба. киберфорумом же всё нормально загружается.
0
|
|||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 04.08.2020, 18:45 [ТС] | |
|
У меня не вся страница поместилась в файл, только часть. С курлом еще не разобрался, там выдает Unsupported protocol. Эту ошибку я пытался фиксить добавив в солюшн курла либы и инклюды опенссла, но ничего не вышло
0
|
|
|
Just Do It!
|
|||
| 04.08.2020, 18:51 | |||
|
вроде он там согласно мануалу может потебно конфигурировать чуть ли не из коропки. я чуть позже посмотрю. Добавлено через 1 минуту у меня галиматья такая что ничто не распарсит
0
|
|||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|||||||||||
| 04.08.2020, 19:36 [ТС] | |||||||||||
![]() Добавлено через 4 минуты Все понял, не указал WITH_DEVIL Опенссла Добавлено через 1 минуту
![]() Добавлено через 36 минут Кто компилил курл с ссл через nmake, где вы качали опенссл, может у меня не то скачано?
0
|
|||||||||||
|
1359 / 857 / 366
Регистрация: 26.02.2015
Сообщений: 3,831
|
||
| 04.08.2020, 19:48 | ||
|
Добавлено через 3 минуты В исходных файлах есть папка winbuild. В ней файл BUILD.WINDOWS.txt, почитай. Добавлено через 15 секунд В исходных файлах есть папка winbuild. В ней файл BUILD.WINDOWS.txt, почитай.
0
|
||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|||||||
| 04.08.2020, 19:54 [ТС] | |||||||
В deps это https://windows.php.net/downlo... 16-x86.zip UPD: исправил https://github.com/curl/curl/issues/1724
0
|
|||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||||||||
| 04.08.2020, 20:05 [ТС] | ||||||||||||
0
|
||||||||||||
|
Just Do It!
|
||||||
| 04.08.2020, 20:06 | ||||||
|
сырец моего теста:
1
|
||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 04.08.2020, 20:09 [ТС] | |
|
XLAT, спасибо, но лучше подключу курл с ssl
0
|
|
|
Just Do It!
|
||
| 04.08.2020, 21:07 | ||
|
1. Качаем исходники карла curl-7.71.1.zip и распаковываем. 2. В проектах выбираем curl-7.71.1\projects\Windows\VC15 3. Конфигурация: 4. Качаем OpenSSL Nupkg-манегером (в студии(2019) во вкладе Tools): 5. Настраиваем пути на скаченный и установленный пакидж. 5.1 Внимание: тут главное 6. Компилим либу на ура: 7. Далее тест(код тот же: см. выше по треду). 8. Настраиваем пути на скомпиленную либу и инклуд из карла. 8.1 Внимание: тут главное аккуратность и опять же внимание(тельность). ... 9. Всё работает!!!
0
|
||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||||
| 05.08.2020, 10:27 [ТС] | ||||||||
|
И выдало такую ошибку:
0
|
||||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||
| 05.08.2020, 10:38 [ТС] | ||||||
|
Также unsupported protocol
0
|
||||||
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
|||
| 05.08.2020, 12:15 | |||
|
Добавлено через 2 минуты мой libcurl 7.71.1 x64
0
|
|||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 05.08.2020, 14:34 [ТС] | |
|
0
|
|
| 05.08.2020, 14:34 | |
|
Как спарсить страницу, типа авторизовавшись? Synapse: Как спарсить страницу HTTPS? Как можно спарсить курсы крипты? Спарсить страницу Спарсить страницу Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Установка нескольких штампов электронной подписи в строго определенных местах файла docx
ВладимирСамохин 19.07.2026
(В!) Работа с Электронной подписью - это неотъемлемая часть современного документооборота. Но что делать, если нужно поставить несколько штампов электронной подписи в строго определенных местах. . .
|
сукцессия 35. Научная статья о проделанной работе
anaschu 19.07.2026
Написал в формате латекс и пдф
|
Вангую, что это не пройдёт модерацию, и на неделе я запущу свой сервер.
Hrethgir 19.07.2026
Эта публикация сейчас в песочнице и ждёт приглашения.
https:/ / habr. com/ ru/ sandbox/ 295048/
начало и оглавление
-
Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование. . .
|
сукцессия 33. открытые вопросы от клауде
anaschu 19.07.2026
"Что накопилось за эту часть А — тринадцать правок, из которых шесть пришли из ваших вопросов и каждая оказалась реальной ошибкой, а не калибровкой: односторонний симбиоз, отсутствующий листопад,. . .
|
|
32 сукцессия
anaschu 19.07.2026
сукцессия 28‑мерное ядро стабилизировано
Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не «подкручивает» сходимость —. . .
|
сукцессия 31: модель микоризы - это модель ещё нескольких явлений, социальных и экономических
anaschu 18.07.2026
Теория «Всего»: апдейт v1. 1. 2 — 28‑мерное ядро стабилизировано
Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не. . .
|
сукцессия 30. Массив проверяющих друг друга моделей
anaschu 18.07.2026
Архитектура сети взаимопроверяющих моделей микоризной сукцессии (v2. 0)
Развитие тензорного ОДУ-ядра и создание кросс-платформенного калибровочного полигона
Уважаемые коллеги!
В продолжение. . .
|
Грибы - это женщины, деревья - это мужчины. Анти инь янь для союза мужчины и женщины.
anaschu 18.07.2026
ГЛАВНЫЙ НАУЧНО-ФИЛОСОФСКИЙ ВЫВОД: Сексуально-Репродуктивный Капитализм против Государства Моногамии
Коллеги, мы вышли на финишную прямую 20-мерного ОДУ-моделирования вековой сукцессии (ветка. . .
|