Чем можно взять страницу с сайта

@tmpnik1 · Регистрация: 28.02.2011

Студворк — интернет-сервис помощи студентам

Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов?

@Welemir1 · 07.08.2020, 11:01

Сообщение от tmpnik1

подскажите как брать контент у динамических сайтов?

селениум, ждем загрузки контента и берем что нам надо, для хрома пишем опцию там есть что-то про сертификаты, навскидку не вспомню

@tmpnik1 · 07.08.2020, 11:19 **[ТС]**

Спасибо, перепробовал уже всё и это тоже...:-((

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import chromedriver_binary  # Adds chromedriver binary to path
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--log-level=3')
chrome_options.add_argument('--ignore-certificate-errors-spki-list')
driver = webdriver.Chrome(chrome_options=chrome_options)

@Welemir1 · 07.08.2020, 11:24

tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой?

@tmpnik1 · 07.08.2020, 11:34 **[ТС]**

нет, не локалхост, trudvsem.ru

@Welemir1 · 07.08.2020, 11:43

tmpnik1, потратил свое дорогое время и запустил на селениум+хром твой сайт -все норм, открылось никаких проблем. Что-то не так делаешь.

Вот опции (это джава, но для тебя сами опции важны)

Java
1
2
3
4
5
6
7
8
9
options.setAcceptInsecureCerts(true).setCapability("acceptSslCerts", "true");
        options.setCapability("disable-popup-blocking", true);
        options.addArguments("--disable-infobars"); //https://stackoverflow.com/a/43840128/1689770
        options.addArguments("--disable-dev-shm-usage"); //https://stackoverflow.com/a/50725918/1689770
        options.addArguments("--disable-browser-side-navigation"); //https://stackoverflow.com/a/49123152/1689770
        options.addArguments("--disable-gpu");
        options.addArguments("enable-automation");
        options.addArguments("--no-sandbox");
        options.addArguments("--disable-extensions");

@tmpnik1 · 07.08.2020, 12:05 **[ТС]**

Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability

@Welemir1 · 07.08.2020, 12:18

tmpnik1, а что за ситуация то? что не так, какие ошибки падают, что не отображено?

Добавлено через 4 минуты
вот вообще без опций, все работает

Python
1
2
3
4
5
6
7
from selenium import webdriver
from selenium.webdriver import ActionChains
 
driver = webdriver.Chrome()
driver.get("https://trudvsem.ru/")
ActionChains(driver).pause(5).perform()
driver.quit()

@tmpnik1 · 10.08.2020, 18:53 **[ТС]**

Сообщение от Welemir1

вот вообще без опций, все работает

Да, работать то работает, но...

Кликните здесь для просмотра всего текста

Вложение 1171768

Что это за ошибки, может это проблема у моего компа, которому не хватает каких то сертификатов и их надо доустановить, или это проблема webdrivera, который не может поздороваться с хромом. Можно на эти ошибки не обращать внимание, но мне надо брать оттуда инфу по конкретной организации в которой есть список ссылок вакансий и надо зайти в каждую ссылку. Но программа доходит только до половины этого списка и вылетает(после раза 10-ого запуска, программа всё же доходит до конца списка, но в планировщике ни за что не хочет работать), поэтому так как не знаю всех тонкостей pythonа, предполагаю, что проблема с хромом вот в этом "SSL error code 1". Да, вариант с фантомом тоже не проходит, так как виснет из-за прокси..

@Welemir1 · 11.08.2020, 08:47

tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны

Новые блоги и статьи Все статьи Все блоги /
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,074

	Чем можно взять страницу с сайта 07.08.2020, 10:41. Показов 828. Ответов 9 Метки нет (Все метки) Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов? 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	07.08.2020, 11:24
	tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой? 1

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,074
	07.08.2020, 11:34 [ТС]
	нет, не локалхост, trudvsem.ru 0

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,074
	07.08.2020, 12:05 [ТС]
	Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	11.08.2020, 08:47
	tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны 0