Как парсится страница HTTPS?

@Htext · Регистрация: 08.01.2015

Студворк — интернет-сервис помощи студентам

С HTTP все просто: программа (например, браузер) посылает заголовки + тело запроса и получает ответ в виде заголовков и html-кода. А вот как с HTTPS? Ведь там прежде, чем начать взаимодействие, программа должна договориться с сервером об общих сертификатах. Как это происходит? Скажем, если взять curl. Она использует сама какие-либо сертификаты перед тем, как запрашивать страницу https? Или их проверка отключается?

ytf · 02.01.2018, 17:50

Сообщение от Htext

Или их проверка отключается?

если вы боитесь взлома можно использовать проверку подлинности сертификата

@Htext · 02.01.2018, 20:50 **[ТС]**

Нет. Я хочу понять сам принцип. Т.е. можно ли отключить эту проверку при парсинге? Всегда ли сайт позволит это сделать?

ytf · 02.01.2018, 21:14

Сообщение от Htext

можно ли отключить эту проверку при парсинге?

в скрипте https://github.com/plohoyav/ph... er/url.php отключена

с помощью 2 строк

PHP
1
2
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

Добавлено через 50 секунд

Сообщение от Htext

Всегда ли сайт позволит это сделать?

пока проблем не было

@little endian · 06.01.2018, 19:30

не всегда, если стоит "только SSL/TLS", но обычно http оставляют

@Htext · 07.01.2018, 22:55 **[ТС]**

Сообщение от little endian

не всегда

А можно подробнее?

@little endian · 07.01.2018, 23:10

можно запретить http совсем

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Programma_Boinc 01.01.2026 Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .

@Htext 365 / 124 / 22 Регистрация: 08.01.2015 Сообщений: 1,418 Записей в блоге: 2

	Как парсится страница HTTPS? 30.12.2017, 20:01. Показов 802. Ответов 6 Метки нет (Все метки) С HTTP все просто: программа (например, браузер) посылает заголовки + тело запроса и получает ответ в виде заголовков и html-кода. А вот как с HTTPS? Ведь там прежде, чем начать взаимодействие, программа должна договориться с сервером об общих сертификатах. Как это происходит? Скажем, если взять curl. Она использует сама какие-либо сертификаты перед тем, как запрашивать страницу https? Или их проверка отключается? 0

@Htext 365 / 124 / 22 Регистрация: 08.01.2015 Сообщений: 1,418 Записей в блоге: 2
	02.01.2018, 20:50 [ТС]
	Нет. Я хочу понять сам принцип. Т.е. можно ли отключить эту проверку при парсинге? Всегда ли сайт позволит это сделать? 0

@little endian -23 / 6 / 6 Регистрация: 21.12.2017 Сообщений: 79
	06.01.2018, 19:30
	не всегда, если стоит "только SSL/TLS", но обычно http оставляют 0

@little endian -23 / 6 / 6 Регистрация: 21.12.2017 Сообщений: 79
	07.01.2018, 23:10
	можно запретить http совсем 0