Чем можно взять страницу с сайта

@tmpnik1 · Регистрация: 28.02.2011

Студворк — интернет-сервис помощи студентам

Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов?

@Welemir1 · 07.08.2020, 11:01

Сообщение от tmpnik1

подскажите как брать контент у динамических сайтов?

селениум, ждем загрузки контента и берем что нам надо, для хрома пишем опцию там есть что-то про сертификаты, навскидку не вспомню

@tmpnik1 · 07.08.2020, 11:19 **[ТС]**

Спасибо, перепробовал уже всё и это тоже...:-((

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import chromedriver_binary  # Adds chromedriver binary to path
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--log-level=3')
chrome_options.add_argument('--ignore-certificate-errors-spki-list')
driver = webdriver.Chrome(chrome_options=chrome_options)

@Welemir1 · 07.08.2020, 11:24

tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой?

@tmpnik1 · 07.08.2020, 11:34 **[ТС]**

нет, не локалхост, trudvsem.ru

@Welemir1 · 07.08.2020, 11:43

tmpnik1, потратил свое дорогое время и запустил на селениум+хром твой сайт -все норм, открылось никаких проблем. Что-то не так делаешь.

Вот опции (это джава, но для тебя сами опции важны)

Java
1
2
3
4
5
6
7
8
9
options.setAcceptInsecureCerts(true).setCapability("acceptSslCerts", "true");
        options.setCapability("disable-popup-blocking", true);
        options.addArguments("--disable-infobars"); //https://stackoverflow.com/a/43840128/1689770
        options.addArguments("--disable-dev-shm-usage"); //https://stackoverflow.com/a/50725918/1689770
        options.addArguments("--disable-browser-side-navigation"); //https://stackoverflow.com/a/49123152/1689770
        options.addArguments("--disable-gpu");
        options.addArguments("enable-automation");
        options.addArguments("--no-sandbox");
        options.addArguments("--disable-extensions");

@tmpnik1 · 07.08.2020, 12:05 **[ТС]**

Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability

@Welemir1 · 07.08.2020, 12:18

tmpnik1, а что за ситуация то? что не так, какие ошибки падают, что не отображено?

Добавлено через 4 минуты
вот вообще без опций, все работает

Python
1
2
3
4
5
6
7
from selenium import webdriver
from selenium.webdriver import ActionChains
 
driver = webdriver.Chrome()
driver.get("https://trudvsem.ru/")
ActionChains(driver).pause(5).perform()
driver.quit()

@tmpnik1 · 10.08.2020, 18:53 **[ТС]**

Сообщение от Welemir1

вот вообще без опций, все работает

Да, работать то работает, но...

Кликните здесь для просмотра всего текста

Вложение 1171768

Что это за ошибки, может это проблема у моего компа, которому не хватает каких то сертификатов и их надо доустановить, или это проблема webdrivera, который не может поздороваться с хромом. Можно на эти ошибки не обращать внимание, но мне надо брать оттуда инфу по конкретной организации в которой есть список ссылок вакансий и надо зайти в каждую ссылку. Но программа доходит только до половины этого списка и вылетает(после раза 10-ого запуска, программа всё же доходит до конца списка, но в планировщике ни за что не хочет работать), поэтому так как не знаю всех тонкостей pythonа, предполагаю, что проблема с хромом вот в этом "SSL error code 1". Да, вариант с фантомом тоже не проходит, так как виснет из-за прокси..

@Welemir1 · 11.08.2020, 08:47

tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,072

	Чем можно взять страницу с сайта 07.08.2020, 10:41. Показов 826. Ответов 9 Метки нет (Все метки) Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов? 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	07.08.2020, 11:24
	tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой? 1

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,072
	07.08.2020, 11:34 [ТС]
	нет, не локалхост, trudvsem.ru 0

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,072
	07.08.2020, 12:05 [ТС]
	Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	11.08.2020, 08:47
	tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны 0