|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
Как можно спарсить страницу и получить описание?04.08.2020, 10:31. Показов 6464. Ответов 61
Метки нет (Все метки)
Хочу сделать парсер описания каналов ютуб и желательно получать свой текст с помощью регулярок. Например https://www.youtube.com/user/PewDiePie/about
Какие библиотеки помогут в этом деле?
0
|
|
| 04.08.2020, 10:31 | |
|
Ответы с готовыми решениями:
61
Каким методом можно спарсить такую страницу? Как спарсить HTML страницу? Как спарсить целую страницу и со стилями |
|
Just Do It!
|
|||||
| 06.08.2020, 10:37 | |||||
|
вспомнилось чёто
был у меня такой случай(и даже не один раз):
студент спрашивает почему его код выдаёт ошибку, я ему отвечаю исправленным от ошибки кодом, он мне: твой код тоже не рабочий и вот в нем такая ошибка, я ему: покажи что ты компилировал - полностью код. он показывает тот код, что у него в шапке треда. я ему объясняю про копипасту, как ей пользоваться и ещё горсть ссылок на ответы которые там же в треде. он мне снова: оно опять с ошибкой, и так по кругу. в итоге всё обошлось хеппиендом, однако. ![]() Однако. ![]() Вы можете экспериментировать как угодно, и какая то часть ваших экспериментов будет успешна, а какая то провальна, но давайте щас тупо скомпилируем cURL либу с поддержкой SSL не отвлекаясь на типа "Я И ТАК ТУТ ВСЁ ЗНАЮ и сделаю по своему" ![]() Пункт 1: С чистого листа. Пункт 2: Проект. да, там будет два проекта консольный карл и собсно интересующий нас проект с либой libcurl Проект curl можно ваще удалить: в контексте нашей цели он нам на данном этапе НЕ НУЖЕН. Нас будет интересовать только проект libcurl! Поэтому возьмите его в фокус! и перейдите к выбору конфигурации. Пункт 3: Конфигурациия. Конфигурациия: 1. Выставляем LIB Realese LIB OpenSSL 2. Выставляем x64 если попробовать компильнуть, то выскочат ошибки компиляции о не найденных хедерах SSL: поэтому переходим к установке SSL Пункт 4: Установка SSL. Установить SSL или любой другой пакидж можно в каком угодно солюшене и в каком угодно проекте. Единственное неудобство, если действовать хаотично, то он загрузится в тот проект солюшена, который у вас будет открыт во время загрузки, а он может и не требовать данную либу, тогда для порядка придётся лапками переносить куда положено. Но, внимание! использовать его можно будет любым, каким угодно проектом, которому он будет необходим. откуда грузил его я, смотрите на скрине выше по треду. Пункт 5: Настройка путей Настраиваем пути к инклуду и либе SSL. тут опять же ничего нового, это вы уже проделывали когда то по иным поводам: пути должны выглядеть так: (для скорости я не заморачивался с относительными путями и задал их от корня) C:\curl-7.71.1\3\packages\OpenSSL110g_Static_vc1 40_MD.1.1.0\build\native\x64\include C:\curl-7.71.1\3\packages\OpenSSL110g_Static_vc1 40_MD.1.1.0\build\native\x64\lib Пункт 6: Компиялция либы. я компили статик вариант либы, вставлял макрос и ещё тыкал возможно что-то, щас уже не помню, сорри. вот итоговый вариант libcurl с SSL мною скомпилинный: в студии VS2019 я выбрал тулсет 140(...) libcurl -- [Realsex64][Toolset140].rar версия Realese, разрядность x64 этих параметров важно придерживаться, когда будете запускать тест! Пункт 7: Тест. Самое важное это опять и снова указать правильные пути к либе и инклудам. инклуды берутся от curl-7.71.1 а либа это та, что мы тока што скомпили. Пункт 8. если возникнут вопросы, мне не составит труда на них ответить.
1
|
|||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||||||||
| 06.08.2020, 19:24 [ТС] | ||||||||||||
0
|
||||||||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 06.08.2020, 19:27 [ТС] | |
|
скрин либ
0
|
|
|
2690 / 1347 / 485
Регистрация: 08.11.2016
Сообщений: 3,740
|
|
| 07.08.2020, 07:24 | |
|
polakware, компоновщик -> ввод -> дополнительные зависимости - добавить libcurl.lib
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 10:32 [ТС] | |
|
0
|
|
|
2690 / 1347 / 485
Регистрация: 08.11.2016
Сообщений: 3,740
|
|
| 07.08.2020, 10:41 | |
|
polakware, проверьте по пути указанному в Additional library paths (Дополнительные каталоги библиотек) для curl какие там лежат файлы *.lib там должен быть файл на подобии libcurl.lib или libcurl64.lib или curl.lib или что-то в этом духе, его название надо прописать в Linker/Input/Additional dependecies (Компоновщик/Ввод/Дополнительные зависимости)
Путь, по идее, не к каталогу "lib", а скорее всего (если вы сами собирали curl) к каталогу "DLL Release"
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 11:16 [ТС] | |
|
0
|
|
|
Just Do It!
|
||||||||||||
| 07.08.2020, 11:33 | ||||||||||||
Сообщение было отмечено polakware как решение
Решение1. Скомпилил с вашим исходником, при запуске SSL требует сертификаты. 2. Поэтому используйте для теста мою версию
4. Настройки билда: 5. Готовая либа: ext.rar
1
|
||||||||||||
|
2690 / 1347 / 485
Регистрация: 08.11.2016
Сообщений: 3,740
|
|
| 07.08.2020, 11:42 | |
|
polakware, вероятнее всего Вы скомпилировали libcurl под win32 и пытаетесь использовать её в конфигурации x64.
0
|
|
|
2690 / 1347 / 485
Регистрация: 08.11.2016
Сообщений: 3,740
|
||
| 07.08.2020, 11:52 | ||
build\x64\VC12\DLL Relese - DLL OpenSSL - DLL LibSSH2
0
|
||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 13:27 [ТС] | |
|
Спасибо, проблема решена!
1
|
|
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
||
| 09.08.2020, 10:37 | ||
![]() а будет ли что там парсить - зависит от реализации сайта
1
|
||
|
1359 / 857 / 366
Регистрация: 26.02.2015
Сообщений: 3,831
|
||
| 09.08.2020, 19:29 | ||
|
0
|
||
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
|||
| 09.08.2020, 23:40 | |||
|
Добавлено через 1 минуту
0
|
|||
|
1359 / 857 / 366
Регистрация: 26.02.2015
Сообщений: 3,831
|
|
| 09.08.2020, 23:55 | |
|
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 18.10.2020, 16:30 [ТС] | |
|
XLAT, не знаю что произошло, не компилирует, по готовой либе тоже
0
|
|
|
Just Do It!
|
||
| 18.10.2020, 17:02 | ||
|
но был уничтожен во время аварии на старте 22 июля 1962 года через 293 секунды после старта. Есть две версии причины аварии: это пропущенный дефис и вторая версия пропущенная запятая в программе на Фортране, которая управляла стартом как видите ваш случай и не такой уж и страшный.
0
|
||
| 18.10.2020, 17:02 | |
|
Как спарсить страницу, типа авторизовавшись? Synapse: Как спарсить страницу HTTPS? Как можно спарсить курсы крипты? Спарсить страницу Спарсить страницу Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Часы электронные
Uhbif79 12.08.2026
Выкладываю программу часов. Программа позволяет:
1. Использовать системное время и дату,
2. Есть возможность вводить время и дату вручную.
3. Реализованы 2 будильника: начало и конец рабочего дня. . . .
|
Часы с будильником на основе класса QLCDNumber
Uhbif79 12.08.2026
Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber.
Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .
|
Установка MinGW GCC 16.2 и CMake
8Observer8 10.08.2026
VK Видео:
https:/ / vkvideo. ru/ video-240781534_456239017
YouTube:
eY5-5PyI9NM
Текстовая версия
|
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо
anaschu 10.08.2026
Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать
Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .
|
|
Калькулятор для расчета родства
russiannick 07.08.2026
1. Задача: Создать калькулятор для расчета родства.
Родственных связей существует 8 ступеней, такие как:
p - отец
P - мать
q - муж
Q - жена
b - брат
B - сестра
s - сын
S - дочь
|
Мир по моей воле
kumehtar 07.08.2026
Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире.
Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .
|
Кредитный калькулятор
Maks 05.08.2026
Решение задачи по прикладной информатике средствами 1С.
Задача:
Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .
|
У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35".
kumehtar 04.08.2026
С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
|