|
22 / 16 / 7
Регистрация: 20.07.2010
Сообщений: 264
|
||||||||||||||||
Почему не парсит XPath в яндексе?06.04.2020, 01:41. Показов 2702. Ответов 8
Метки нет (Все метки)
почему-то не парсятся заголовки в результатах поиска яндекса. Может из-за вложенных тегов b?
не понимаю в чем ошибка, вроде бы правильно написал.
0
|
||||||||||||||||
| 06.04.2020, 01:41 | |
|
Ответы с готовыми решениями:
8
|
|
Заклинатель змей
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
|
|
| 06.04.2020, 11:48 | |
|
nikki4, уверены ли Вы, что Яндекс всегда возвращает одну и ту же страницу? В реквесте не указан user agent и из за этого может измениться построение страницы. Более того, не факт, что Яндекс возвращает одинаковые xpath даже для одного user agent - например, Google постоянно меняет структуру страницы
0
|
|
|
Заклинатель змей
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
|
|
| 06.04.2020, 12:25 | |
|
DmFat, главное, не парсить html регулярками
0
|
|
|
22 / 16 / 7
Регистрация: 20.07.2010
Сообщений: 264
|
||
| 06.04.2020, 14:06 [ТС] | ||
|
просто принцип понять. в учебном примере был гугл. а я попробовал по аналогии для яндекса. вот там заголовки всегда оборачиваются в класс organic__url-text разобрался на тестовом примере как получать данные по классу, но почему-то не сработало.
0
|
||
|
|
|||||||
| 06.04.2020, 14:12 | |||||||
0
|
|||||||
|
22 / 16 / 7
Регистрация: 20.07.2010
Сообщений: 264
|
|||||||
| 06.04.2020, 14:42 [ТС] | |||||||
|
А почему у меня не работает код выше?
установил lxml: добавил принты, чтобы посмотреть предварительные результаты:
0
|
|||||||
|
|
||
| 06.04.2020, 14:48 | ||
Сообщение было отмечено nikki4 как решение
РешениеВообще, странно. Ищи проблему на своем компе. Добавлено через 2 минуты Посмотри, что у тебя в page.text. Может быть, там, действительно, нет нужных элементов: то есть яндекс тебя принял за бота и ничего не прислал.
1
|
||
|
22 / 16 / 7
Регистрация: 20.07.2010
Сообщений: 264
|
||||||
| 06.04.2020, 14:53 [ТС] | ||||||
|
Походу дела яндекс принял меня за бота.
гугл тоже так думал, но тот сразу мне 404 кажется отдавал, вместо 200 в отличие от яндекса. добавил следующий код и сразу все заработало!
добавил - опять не работает. но 1 раз увидел, что работает
0
|
||||||
| 06.04.2020, 14:53 | |
|
Помогаю со студенческими работами здесь
9
Почему bs4 неверно парсит страницу?
Почему nokogiri класс в PHP парсит не все сайты?
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
kYBz3eJf3jQ
|
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
|
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
|
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора
Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если. . .
|
|
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
|
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
|
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
|
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
|