Чем можно взять страницу с сайта

@tmpnik1 · Регистрация: 28.02.2011

Студворк — интернет-сервис помощи студентам

Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов?

@Welemir1 · 07.08.2020, 11:01

Сообщение от tmpnik1

подскажите как брать контент у динамических сайтов?

селениум, ждем загрузки контента и берем что нам надо, для хрома пишем опцию там есть что-то про сертификаты, навскидку не вспомню

@tmpnik1 · 07.08.2020, 11:19 **[ТС]**

Спасибо, перепробовал уже всё и это тоже...:-((

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import chromedriver_binary  # Adds chromedriver binary to path
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--log-level=3')
chrome_options.add_argument('--ignore-certificate-errors-spki-list')
driver = webdriver.Chrome(chrome_options=chrome_options)

@Welemir1 · 07.08.2020, 11:24

tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой?

@tmpnik1 · 07.08.2020, 11:34 **[ТС]**

нет, не локалхост, trudvsem.ru

@Welemir1 · 07.08.2020, 11:43

tmpnik1, потратил свое дорогое время и запустил на селениум+хром твой сайт -все норм, открылось никаких проблем. Что-то не так делаешь.

Вот опции (это джава, но для тебя сами опции важны)

Java
1
2
3
4
5
6
7
8
9
options.setAcceptInsecureCerts(true).setCapability("acceptSslCerts", "true");
        options.setCapability("disable-popup-blocking", true);
        options.addArguments("--disable-infobars"); //https://stackoverflow.com/a/43840128/1689770
        options.addArguments("--disable-dev-shm-usage"); //https://stackoverflow.com/a/50725918/1689770
        options.addArguments("--disable-browser-side-navigation"); //https://stackoverflow.com/a/49123152/1689770
        options.addArguments("--disable-gpu");
        options.addArguments("enable-automation");
        options.addArguments("--no-sandbox");
        options.addArguments("--disable-extensions");

@tmpnik1 · 07.08.2020, 12:05 **[ТС]**

Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability

@Welemir1 · 07.08.2020, 12:18

tmpnik1, а что за ситуация то? что не так, какие ошибки падают, что не отображено?

Добавлено через 4 минуты
вот вообще без опций, все работает

Python
1
2
3
4
5
6
7
from selenium import webdriver
from selenium.webdriver import ActionChains
 
driver = webdriver.Chrome()
driver.get("https://trudvsem.ru/")
ActionChains(driver).pause(5).perform()
driver.quit()

@tmpnik1 · 10.08.2020, 18:53 **[ТС]**

Сообщение от Welemir1

вот вообще без опций, все работает

Да, работать то работает, но...

Кликните здесь для просмотра всего текста

Вложение 1171768

Что это за ошибки, может это проблема у моего компа, которому не хватает каких то сертификатов и их надо доустановить, или это проблема webdrivera, который не может поздороваться с хромом. Можно на эти ошибки не обращать внимание, но мне надо брать оттуда инфу по конкретной организации в которой есть список ссылок вакансий и надо зайти в каждую ссылку. Но программа доходит только до половины этого списка и вылетает(после раза 10-ого запуска, программа всё же доходит до конца списка, но в планировщике ни за что не хочет работать), поэтому так как не знаю всех тонкостей pythonа, предполагаю, что проблема с хромом вот в этом "SSL error code 1". Да, вариант с фантомом тоже не проходит, так как виснет из-за прокси..

@Welemir1 · 11.08.2020, 08:47

tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,049

	Чем можно взять страницу с сайта 07.08.2020, 10:41. Показов 804. Ответов 9 Метки нет (Все метки) Захожу на сайт, смотрю код сайта, он отличается от того, что видно на самом сайте(например на сайте кол-во-20, в коде страницы 0) Тот же результат даёт и wget и reqest, хром выдаёт ошибку рукопожатия... есть ещё какие варианты, или может есть какие-нибудь функции у команд wget и reqest или я не умею пользоваться ими, подскажите как брать контент у динамических сайтов? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,675 Записей в блоге: 29
	07.08.2020, 11:24
	tmpnik1, не там еще какая то опция по сертификатам была, а куда лезешь то? что там с сертификатами? это не локалхост твой? 1

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,049
	07.08.2020, 11:34 [ТС]
	нет, не локалхост, trudvsem.ru 0

@tmpnik1 76 / 32 / 11 Регистрация: 28.02.2011 Сообщений: 2,049
	07.08.2020, 12:05 [ТС]
	Спасибо, извиняюсь, за потраченное Вами время, но ситуация не изменилась(не добавил только options.setCapability 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,675 Записей в блоге: 29
	11.08.2020, 08:47
	tmpnik1, вложение пустое, даже файл не можешь прикрепить? или текстом вставить? да, наверное какие-то серьезные проблемы имеются с твоей стороны 0