|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
Как можно спарсить страницу и получить описание?04.08.2020, 10:31. Показов 6353. Ответов 61
Метки нет (Все метки)
Хочу сделать парсер описания каналов ютуб и желательно получать свой текст с помощью регулярок. Например https://www.youtube.com/user/PewDiePie/about
Какие библиотеки помогут в этом деле?
0
|
|
| 04.08.2020, 10:31 | |
|
Ответы с готовыми решениями:
61
Каким методом можно спарсить такую страницу? Как спарсить HTML страницу? Как спарсить целую страницу и со стилями |
|
Just Do It!
|
|||||
| 06.08.2020, 10:37 | |||||
|
вспомнилось чёто
был у меня такой случай(и даже не один раз):
студент спрашивает почему его код выдаёт ошибку, я ему отвечаю исправленным от ошибки кодом, он мне: твой код тоже не рабочий и вот в нем такая ошибка, я ему: покажи что ты компилировал - полностью код. он показывает тот код, что у него в шапке треда. я ему объясняю про копипасту, как ей пользоваться и ещё горсть ссылок на ответы которые там же в треде. он мне снова: оно опять с ошибкой, и так по кругу. в итоге всё обошлось хеппиендом, однако. ![]() Однако. ![]() Вы можете экспериментировать как угодно, и какая то часть ваших экспериментов будет успешна, а какая то провальна, но давайте щас тупо скомпилируем cURL либу с поддержкой SSL не отвлекаясь на типа "Я И ТАК ТУТ ВСЁ ЗНАЮ и сделаю по своему" ![]() Пункт 1: С чистого листа. Пункт 2: Проект. да, там будет два проекта консольный карл и собсно интересующий нас проект с либой libcurl Проект curl можно ваще удалить: в контексте нашей цели он нам на данном этапе НЕ НУЖЕН. Нас будет интересовать только проект libcurl! Поэтому возьмите его в фокус! и перейдите к выбору конфигурации. Пункт 3: Конфигурациия. Конфигурациия: 1. Выставляем LIB Realese LIB OpenSSL 2. Выставляем x64 если попробовать компильнуть, то выскочат ошибки компиляции о не найденных хедерах SSL: поэтому переходим к установке SSL Пункт 4: Установка SSL. Установить SSL или любой другой пакидж можно в каком угодно солюшене и в каком угодно проекте. Единственное неудобство, если действовать хаотично, то он загрузится в тот проект солюшена, который у вас будет открыт во время загрузки, а он может и не требовать данную либу, тогда для порядка придётся лапками переносить куда положено. Но, внимание! использовать его можно будет любым, каким угодно проектом, которому он будет необходим. откуда грузил его я, смотрите на скрине выше по треду. Пункт 5: Настройка путей Настраиваем пути к инклуду и либе SSL. тут опять же ничего нового, это вы уже проделывали когда то по иным поводам: пути должны выглядеть так: (для скорости я не заморачивался с относительными путями и задал их от корня) C:\curl-7.71.1\3\packages\OpenSSL110g_Static_vc1 40_MD.1.1.0\build\native\x64\include C:\curl-7.71.1\3\packages\OpenSSL110g_Static_vc1 40_MD.1.1.0\build\native\x64\lib Пункт 6: Компиялция либы. я компили статик вариант либы, вставлял макрос и ещё тыкал возможно что-то, щас уже не помню, сорри. вот итоговый вариант libcurl с SSL мною скомпилинный: в студии VS2019 я выбрал тулсет 140(...) libcurl -- [Realsex64][Toolset140].rar версия Realese, разрядность x64 этих параметров важно придерживаться, когда будете запускать тест! Пункт 7: Тест. Самое важное это опять и снова указать правильные пути к либе и инклудам. инклуды берутся от curl-7.71.1 а либа это та, что мы тока што скомпили. Пункт 8. если возникнут вопросы, мне не составит труда на них ответить.
1
|
|||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
||||||||||||
| 06.08.2020, 19:24 [ТС] | ||||||||||||
0
|
||||||||||||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 06.08.2020, 19:27 [ТС] | |
|
скрин либ
0
|
|
|
2689 / 1346 / 485
Регистрация: 08.11.2016
Сообщений: 3,734
|
|
| 07.08.2020, 07:24 | |
|
polakware, компоновщик -> ввод -> дополнительные зависимости - добавить libcurl.lib
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 10:32 [ТС] | |
|
0
|
|
|
2689 / 1346 / 485
Регистрация: 08.11.2016
Сообщений: 3,734
|
|
| 07.08.2020, 10:41 | |
|
polakware, проверьте по пути указанному в Additional library paths (Дополнительные каталоги библиотек) для curl какие там лежат файлы *.lib там должен быть файл на подобии libcurl.lib или libcurl64.lib или curl.lib или что-то в этом духе, его название надо прописать в Linker/Input/Additional dependecies (Компоновщик/Ввод/Дополнительные зависимости)
Путь, по идее, не к каталогу "lib", а скорее всего (если вы сами собирали curl) к каталогу "DLL Release"
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 11:16 [ТС] | |
|
0
|
|
|
Just Do It!
|
||||||||||||
| 07.08.2020, 11:33 | ||||||||||||
Сообщение было отмечено polakware как решение
Решение1. Скомпилил с вашим исходником, при запуске SSL требует сертификаты. 2. Поэтому используйте для теста мою версию
4. Настройки билда: 5. Готовая либа: ext.rar
1
|
||||||||||||
|
2689 / 1346 / 485
Регистрация: 08.11.2016
Сообщений: 3,734
|
|
| 07.08.2020, 11:42 | |
|
polakware, вероятнее всего Вы скомпилировали libcurl под win32 и пытаетесь использовать её в конфигурации x64.
0
|
|
|
2689 / 1346 / 485
Регистрация: 08.11.2016
Сообщений: 3,734
|
||
| 07.08.2020, 11:52 | ||
build\x64\VC12\DLL Relese - DLL OpenSSL - DLL LibSSH2
0
|
||
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 07.08.2020, 13:27 [ТС] | |
|
Спасибо, проблема решена!
1
|
|
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
||
| 09.08.2020, 10:37 | ||
![]() а будет ли что там парсить - зависит от реализации сайта
1
|
||
|
1359 / 857 / 366
Регистрация: 26.02.2015
Сообщений: 3,831
|
||
| 09.08.2020, 19:29 | ||
|
0
|
||
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
|||
| 09.08.2020, 23:40 | |||
|
Добавлено через 1 минуту
0
|
|||
|
1359 / 857 / 366
Регистрация: 26.02.2015
Сообщений: 3,831
|
|
| 09.08.2020, 23:55 | |
|
0
|
|
|
2 / 2 / 1
Регистрация: 16.02.2020
Сообщений: 73
|
|
| 18.10.2020, 16:30 [ТС] | |
|
XLAT, не знаю что произошло, не компилирует, по готовой либе тоже
0
|
|
|
Just Do It!
|
||
| 18.10.2020, 17:02 | ||
|
но был уничтожен во время аварии на старте 22 июля 1962 года через 293 секунды после старта. Есть две версии причины аварии: это пропущенный дефис и вторая версия пропущенная запятая в программе на Фортране, которая управляла стартом как видите ваш случай и не такой уж и страшный.
0
|
||
| 18.10.2020, 17:02 | |
|
Как спарсить страницу, типа авторизовавшись? Synapse: Как спарсить страницу HTTPS? Как можно спарсить курсы крипты? Спарсить страницу Спарсить страницу Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Эксперимент с картинкой-обложкой на CodinGame
Adler 10.07.2026
Решил на днях провести эксперимент. У меня есть аккаунт на CodinGame, ТОП-3 по РФ среди 2200 участников (в разделе соревнования по программированию ИИ-ботов). Там есть обложка, куда можно влепить. . .
|
GitDOS: Когда я решил скрестить MS-DOS, GitHub и Claude
MaGz GoLd 08.07.2026
Привет, Киберфорум! Хочу поделиться своим проектом, который, надеюсь, вас заинтересует. GitDOS — это веб-приложение, которое позволяет запускать DOS в браузере с тремя крутыми фичами: диски живут в. . .
|
Учебный мини "цифровой двойник" = (Сервер = Java + Flask_питон )+(3D = Гугловскаая 4T nvideo + google colab) +( WMS = Odoo на Docker)
anaschu 07.07.2026
Увидел в требованиях к вакансии создателя имитационных моделей связку (REst + Api + WMS + Anylogic + питон + 3D Nvideo), и решил посмотреть, что это такое. Из этого всего я работал более менее. . .
|
Море в объективе
kumehtar 06.07.2026
Хотел написать много проникновенных слов, но передумал.
Оно само - говорит.
Кто слышит тот слышит.
|
|
Doom для терминала без стрельбы и монстров. 3D Raycasting на ascii.
dcc0 05.07.2026
Попросил нейронную сеть deepai. org написать рейкастинг 3D с библиотекой ncurses для Linux. Чтобы можно было
ходить на стрелочки. Чтобы стены были отрисованы символами. Справилась.
Первый вариант. . .
|
Установка статуса документа по условию
Maks 05.07.2026
Алгоритм из решения ниже реализован на нетиповом документе "НарядПутевка" разработанного в КА2.
Задача: в табличной части "Материалы" документа при записи автоматически устанавливать статус. . .
|
Сезонность и суточность закисления почв
anaschu 04.07.2026
200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет.
Но обычно это 50 лет и более.
Наверное, закисление почвы происходит сезонно в средней. . .
|
В чем ценность человеческого опыта в глобальном смысле?
kumehtar 03.07.2026
Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .
|