Сокеты. Отправка GET-запроса по HTTPS и получение ответа от сервера

@freeollo · Регистрация: 14.12.2015

Студворк — интернет-сервис помощи студентам

Использую сокеты для отправки GET-запроса и получения HTML-кода запрашиваемой страницы. Все красиво и быстро работает

! С HTTPS у меня возникли проблемы. Отправляю стандартный GET-запрос на порт 443 - в ответ:

Code
1
2
3
4
5
6
HTTP/1.1 400 Bad Request
Server: nginx/1.9.4
Date: Fri, 25 Dec 2015 22:16:08 GMT
Content-Type: text/html
Content-Length: 270
Connection: close

HTML5
1
2
3
4
5
6
7
8
<html>
<head><title>400 The plain HTTP request was sent to HTTPS port</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<center>The plain HTTP request was sent to HTTPS port</center>
<hr><center>nginx/1.9.4</center>
</body>
</html>

Хочу остаться на уровне сокетов! Понимаю, что нужно шифровать сам запрос. Буду признателен ответу специалиста! Предлагаю сотрудничество на взаимовыгодных условиях!

@gng · 26.12.2015, 21:38

Сообщение от freeollo

Хочу остаться на уровне сокетов!

SSL реализован через сокеты. Пишете SSL_write, читаете SSL_read, шифрует библиотека.

В сети достаточно примеров. В упрощенном виде что-то такого типа (использовалась openssl):

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
#include <stdio.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netdb.h>
#include <openssl/ssl.h>
 
int main() {   
    char hostname[]="ya.ru";
    int port = 443;
 
    SSL_library_init();
    OpenSSL_add_all_algorithms();
    SSL_load_error_strings();
    const SSL_METHOD *method = SSLv23_client_method();
    SSL_CTX *ctx = SSL_CTX_new(method);
    if ( ctx == NULL ) return -1;
 
    struct hostent *host;
    struct sockaddr_in addr;
 
    if ( (host = gethostbyname(hostname)) == NULL ) return -1;
    int sd = socket(PF_INET, SOCK_STREAM, 0);
    bzero(&addr, sizeof(addr));
    addr.sin_family = AF_INET;
    addr.sin_port = htons(port);
    addr.sin_addr.s_addr = *(long*)(host->h_addr);
    if ( connect(sd, (struct sockaddr*)&addr, sizeof addr)) return -1;
    
    SSL *ssl = SSL_new(ctx);
    SSL_set_fd(ssl, sd); 
    if ( SSL_connect(ssl) == -1 )  return -1;
 
    char msg[] = "GET [url]https://ya.ru/[/url] HTTP/1.0\n\n";
    char buf[1024];
 
    SSL_write(ssl, msg, strlen(msg)); 
    long bytes;
    while ((bytes = SSL_read(ssl, buf, sizeof buf)) >0 ) {
      buf[bytes] = 0;
      printf("%s", buf);
    }
    printf ("\n");
    SSL_free(ssl);   
    close(sd);      
    SSL_CTX_free(ctx);   
    return 0;
}

Добавлено через 5 минут
PS. Тег [URL] в 33 строке добавлен здешним веб-редактором. Его в тексте не было.

@freeollo · 29.12.2015, 09:11 **[ТС]**

создал файл https.c
подключил библиотеку openssl
Результат:

gcc -I/root/openssl/openssl-1.0.2e/include -o https https.c
/tmp/cczA3MJJ.o: In function `main':
https.c

.text+0x20): undefined reference to `SSL_library_init'
https.c

.text+0x25): undefined reference to `OPENSSL_add_all_algorithms_noconf'
https.c

.text+0x2a): undefined reference to `SSL_load_error_strings'
https.c

.text+0x2f): undefined reference to `SSLv23_client_method'
https.c

.text+0x3f): undefined reference to `SSL_CTX_new'
https.c

.text+0xf5): undefined reference to `SSL_new'
https.c

.text+0x10a): undefined reference to `SSL_set_fd'
https.c

.text+0x116): undefined reference to `SSL_connect'
https.c

.text+0x190): undefined reference to `SSL_write'
https.c

.text+0x1d5): undefined reference to `SSL_read'
https.c

.text+0x1f8): undefined reference to `SSL_free'
https.c

.text+0x20e): undefined reference to `SSL_CTX_free'

@gng · 29.12.2015, 11:24

freeollo, Линкер не находит библиотеку. Если openssl установлена стандартным способом

Bash
1
gcc `pkg-config --cflags --libs openssl` -o https https.c

@freeollo · 29.12.2015, 16:47 **[ТС]**

а как можно поставит нестандартным способом? Переместить папку openssl в user/include? Можно поставить openssl на Mас os. На сервере не совсем удобно писать скрипты

@sharpey · 29.12.2015, 20:25

freeollo, Вы попытались создать исполняемый файл без компоновки библиотеки libopenssl.a опцией -lopenssl и компоновщик ld не смог разрешить внешние ссылки на используемые функции.
Команда вида
gcc -I/root/openssl/openssl-1.0.2e/include -lopenssl -o https https.c
будет иметь смысл только при собранной библиотеке openssl.

Если не секрет, сервер под управлением какой ОС работает?

@freeollo · 30.12.2015, 00:02 **[ТС]**

Библиотеку собирал запуском на сервере /.config , oн создал include/openssl
Версия OS: Linux version 2.6.32-504.12.2.el6.x86_64

Добавлено через 38 минут

gcc -I/root/openssl/openssl-1.0.2e/include -lopenssl -o https https.c

так отреагировал мой сервер на -lopenssl

/usr/bin/ld: cannot find -lopenssl

@sharpey · 30.12.2015, 04:51

Сообщение от freeollo

Библиотеку собирал запуском на сервере /.config , oн создал include/openssl

Это отработал скрипт-конфигуратор, создающий Makefile. После его запуска запускали утилиту make?

Сообщение от freeollo

Версия OS: Linux version 2.6.32-504.12.2.el6.x86_64

Это ядро.

Мне бы точнее узнать дистрибутив Linux: OpenSUSE, Ubuntu, Arch или ещё какой. А в /usr/lib есть libssl.a?

Сообщение от freeollo

так отреагировал мой сервер на -lopenssl
/usr/bin/ld: cannot find -lopenssl

Компоновщик не нашёл библиотеку libopenssl.a. Попробуйте указать опцию -Lpath-to-lib где расположен файл libopenssl.a.

@freeollo · 30.12.2015, 11:20 **[ТС]**

Сообщение от sharpey

Это отработал скрипт-конфигуратор, создающий Makefile. После его запуска запускали утилиту make?

запустил - не помогло

Сообщение от sharpey

Это ядро. Мне бы точнее узнать дистрибутив Linux: OpenSUSE, Ubuntu, Arch или ещё какой.

# cat /etc/issue
CentOS release 6.6 (Final)

и

# uname -r
2.6.32-504.12.2.el6.x86_64

Сообщение от sharpey

А в /usr/lib есть libssl.a?

там такого файла не оказалось, нашел я его в "/root/openssl/openssl-1.0.2e/libssl.a"

файл libopenssl.a команда find не нашла

@sharpey · 30.12.2015, 11:59

Попытайтесь теперь так:
gcc -Iroot/openssl/openssl-1.0.2e/include -L/root/openssl/openssl-1.0.2e/ -lssl -o https https.c

@freeollo · 30.12.2015, 14:54 **[ТС]**

без изменений
# gcc -I/root/openssl/openssl-1.0.2e/include -L/root/openssl/openssl-1.0.2e/ -lssl -o https https.c
/tmp/ccDBzgGT.o: In function `main':
https.c

.text+0x20): undefined reference to `SSL_library_init'
https.c

.text+0x25): undefined reference to `OPENSSL_add_all_algorithms_noconf'
https.c

.text+0x2a): undefined reference to `SSL_load_error_strings'
https.c

.text+0x2f): undefined reference to `SSLv23_client_method'
https.c

.text+0x3f): undefined reference to `SSL_CTX_new'
https.c

.text+0xf5): undefined reference to `SSL_new'
https.c

.text+0x10a): undefined reference to `SSL_set_fd'
https.c

.text+0x116): undefined reference to `SSL_connect'
https.c

.text+0x190): undefined reference to `SSL_write'
https.c

.text+0x1d5): undefined reference to `SSL_read'
https.c

.text+0x1f8): undefined reference to `SSL_free'
https.c

.text+0x20e): undefined reference to `SSL_CTX_free'
collect2: ld returned 1 exit status

@gng · 30.12.2015, 18:02

Сообщение от freeollo

без изменений

Не хочешь pkg-config, так посмотри, перед тем как строку вбивать, где у тебя реально находится библиотека и как называется.

@sharpey · 30.12.2015, 20:03

Приведённый пример собрался под FreeBSD 10 после включения заголовка <netinet/in.h>

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
#include <stdio.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netdb.h>
#include <netinet/in.h>
#include <openssl/ssl.h>
 
int main() {   
    char hostname[]="ya.ru";
    int port = 443;
 
    SSL_library_init();
    OpenSSL_add_all_algorithms();
    SSL_load_error_strings();
    const SSL_METHOD *method = SSLv23_client_method();
    SSL_CTX *ctx = SSL_CTX_new(method);
    if (ctx == NULL)
      return -1;
 
    struct hostent *host;
    struct sockaddr_in addr;
 
    if ((host = gethostbyname(hostname)) == NULL)
      return -1;
    int sd = socket(PF_INET, SOCK_STREAM, 0);
    bzero(&addr, sizeof(addr));
    addr.sin_family = AF_INET;
    addr.sin_port = htons(port);
    addr.sin_addr.s_addr = *(long *)(host->h_addr);
    if (connect(sd, (struct sockaddr*)&addr, sizeof addr))
      return -1;
    
    SSL *ssl = SSL_new(ctx);
    SSL_set_fd(ssl, sd); 
    if (SSL_connect(ssl) == -1)
      return -1;
 
    char msg[] = "GET [url]https://ya.ru/[/url] HTTP/1.0\n\n";
    char buf[1024];
 
    SSL_write(ssl, msg, strlen(msg)); 
    long bytes;
    while ((bytes = SSL_read(ssl, buf, sizeof buf)) >0 ) {
      buf[bytes] = 0;
      printf("%s", buf);
    }
    printf("\n");
    SSL_free(ssl);   
    close(sd);      
    SSL_CTX_free(ctx);   
    return 0;
}

и командой
cc -Wall -o https -lssl -lcrypto https.c
Как видите, компонуются два библиотечных модуля libssl.a и libcrypto.a. Подозреваю, что libcrypto.a собирается вместе с libssl.a.

@freeollo · 31.12.2015, 11:50 **[ТС]**

Сообщение от gng

Не хочешь pkg-config, так посмотри, перед тем как строку вбивать, где у тебя реально находится библиотека и как называется.

через pkg-config не получается
# gcc `pkg-config --cflags --libs openssl` -o https https.c
/tmp/ccR2apBI.o: In function `main':
https.c

.text+0x20): undefined reference to `SSL_library_init'
https.c

.text+0x25): undefined reference to `OPENSSL_add_all_algorithms_noconf'
https.c

.text+0x2a): undefined reference to `SSL_load_error_strings'
https.c

.text+0x2f): undefined reference to `SSLv23_client_method'
https.c

.text+0x3f): undefined reference to `SSL_CTX_new'
https.c

.text+0xf5): undefined reference to `SSL_new'
https.c

.text+0x10a): undefined reference to `SSL_set_fd'
https.c

.text+0x116): undefined reference to `SSL_connect'
https.c

.text+0x190): undefined reference to `SSL_write'
https.c

.text+0x1d5): undefined reference to `SSL_read'
https.c

.text+0x1f8): undefined reference to `SSL_free'
https.c

.text+0x20e): undefined reference to `SSL_CTX_free'

Добавлено через 14 часов 8 минут
Eсли я подключу или перемещу в нужные папки все необходимые файлы *.h и *.a поставляемые openssl, то проект будет компилироваться не зависимо от того какая у меня стоит OS? Или мне нужно пройти процедуру установки openssl и наличие файлов *.h и *.a, в нужном месте, недостаточно для компиляции?

@gng · 31.12.2015, 12:14

Сообщение от freeollo

Eсли я подключу или перемещу в нужные папки все необходимые файлы *.h и *.a поставляемые openssl, то проект будет компилироваться не зависимо от того какая у меня стоит OS? Или мне нужно пройти процедуру установки openssl и наличие файлов *.h и *.a, в нужном месте, недостаточно для компиляции?

Давайте по порядку.
1. Для сборки вашей программы нужна библиотека libopenssl вместе с заголочными файлами (или, как вариант две библиотеки libssl и libcrypto).
2. Стандартный способ установки библиотек - менеджер пакетов (apt-get, yum ....). Версии библиотек для разработчиков также включают заголовочные файлы и статические либы. Они обычто имеют суффикс -dev в Дебиане и -devel в РедХэте. Напр. у меня в Дебиане достаточно установить libssl-dev.
3. При таким образом установленной библиотеке для ее подключения компилятору достаточно дать опции, которые выводит команда pkg-config --cflags --libs openssl.
4. По умолчанию сборка динамическая - т.е. статические библиотеки (с расширением *.a) вовсе не нужны. Используются динамические (*.so).
5. Если вы где-то скачали библиотеку и не через пакет, и не в виде исходников, а в виде набора заголовочных файлов и статических библиотек, то, во-первых нужно проверить соответствие версий этих библиотек вашей архитектуре, потом проверить и разрешить их зависимости (напр. какую версию libc они требуют), затем указать их в строке компилятора либо через -L -l, либо прямым перечислением *.a файлов наряду с *.c файлами. Но этот путь, ИМХО, самый сложный и самый бестолковый. Обычно либо устанавливают библиотеку пакетом, либо компилируют из исходников.

@freeollo · 03.01.2016, 12:19 **[ТС]**

Получилось откомпилировать код

Скрипт отправляет GET-запрос через https и получает HTML-код запрашиваемый страницы. Большое спасибо gng и sharpey

@Htext · 07.02.2019, 11:37

У меня вот так установилась:

Bash
1
2
whereis openssl
openssl: /usr/bin/openssl /usr/include/openssl /usr/local/ssl/bin/openssl /usr/share/man/man1/openssl.1ssl.gz

Компилирую:

Bash
1
gcc  -o https https.c -L. -lssl -lcrypto   -Wl,-I.,-rpath=/usr/local/

В итоге, исполняемый файл создался без ошибок (компилятор их не показал), но при запуске появляется сообщение:
"Permission denied
Обрыв терминальной линии".
Т.е. почему-то не работает.

@prik · 09.02.2019, 11:54

Сообщение от Htext

У меня вот так установилась:

Складывается впечатление, что вы библиотеку руками ставили, что-то поломав при этом.
Выхлоп ldd для этой программы и любой системной использующей openssl (например /usr/bin/wget) для libcrypo и libssl отличается?

@Htext · 09.02.2019, 14:51

Да, руками, в итоге. Т.к. она, похоже, была изначально установлена (при предыдущей установке Ubuntu) неправильно. Или поломалась в процессе, как говорится. Поэтому нарушения связей не устранялись и при компиляции ошибки были. И в конце концов, видимо, я ее доломал окончательно.
Переустановил Ubuntu, вместо apt-get использовал aptitude - проблема решилась, все скомпилировалось.
Да, и вместо -rpath=usr/local/ использую теперь -L/usr/lib.

Bash
1
2
3
4
5
6
7
8
9
10
11
12
$ ldd /usr/bin/wget
    linux-vdso.so.1 =>  (0x00007ffce9d3b000)
    libpcre.so.3 => /lib/x86_64-linux-gnu/libpcre.so.3 (0x00007fc8653eb000)
    libuuid.so.1 => /lib/x86_64-linux-gnu/libuuid.so.1 (0x00007fc8651e6000)
    libssl.so.1.0.0 => /lib/x86_64-linux-gnu/libssl.so.1.0.0 (0x00007fc864f7d000)
    libcrypto.so.1.0.0 => /lib/x86_64-linux-gnu/libcrypto.so.1.0.0 (0x00007fc864b38000)
    libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007fc86491e000)
    libidn.so.11 => /usr/lib/x86_64-linux-gnu/libidn.so.11 (0x00007fc8646eb000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fc864321000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fc864104000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fc8658d5000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fc863f00000)

Не по теме:

Правда, именно Яндекс выдает ошибку 406, не желает контент отдавать. По всей видимости (я еще не проверял), ему требуется полный набор заголовков, а в стр.38 только 1 заголовок присутствует. А вот, скажем, Google вполне отдает контент главной страницы.

А вот интересно, если сделать этим кодом запрос на какой-нибудь зараженный вирусами сайт - по идее, код вируса ведь должен прийти на ТСР-соединение вместе с html-кодом?

@prik · 09.02.2019, 15:23

Сообщение от Htext

Правда, именно Яндекс выдает ошибку 406, не желает контент отдавать. По всей видимости (я еще не проверял), ему требуется полный набор заголовков,

Попробуйте поменять url на / и добавить Host: еще возможно оно хочет HTTP/1.1 тогда не помешает Connection: close

Сообщение от Htext

вместе с html-кодом?

Да. Но скорее с каким-нибудь скриптом или картинкой.

Новые блоги и статьи Все статьи Все блоги /
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .

Сокеты. Отправка GET-запроса по HTTPS и получение ответа от сервера

Решение

Решение

@freeollo 0 / 1 / 0 Регистрация: 14.12.2015 Сообщений: 14
	29.12.2015, 09:11 [ТС]
	создал файл https.c подключил библиотеку openssl Результат: gcc -I/root/openssl/openssl-1.0.2e/include -o https https.c /tmp/cczA3MJJ.o: In function `main': https.c.text+0x20): undefined reference to `SSL_library_init' https.c.text+0x25): undefined reference to `OPENSSL_add_all_algorithms_noconf' https.c.text+0x2a): undefined reference to `SSL_load_error_strings' https.c.text+0x2f): undefined reference to `SSLv23_client_method' https.c.text+0x3f): undefined reference to `SSL_CTX_new' https.c.text+0xf5): undefined reference to `SSL_new' https.c.text+0x10a): undefined reference to `SSL_set_fd' https.c.text+0x116): undefined reference to `SSL_connect' https.c.text+0x190): undefined reference to `SSL_write' https.c.text+0x1d5): undefined reference to `SSL_read' https.c.text+0x1f8): undefined reference to `SSL_free' https.c.text+0x20e): undefined reference to `SSL_CTX_free' 0

@freeollo 0 / 1 / 0 Регистрация: 14.12.2015 Сообщений: 14
	29.12.2015, 16:47 [ТС]
	а как можно поставит нестандартным способом? Переместить папку openssl в user/include? Можно поставить openssl на Mас os. На сервере не совсем удобно писать скрипты 0

@sharpey 650 / 403 / 76 Регистрация: 21.09.2008 Сообщений: 1,396
	29.12.2015, 20:25
	freeollo, Вы попытались создать исполняемый файл без компоновки библиотеки libopenssl.a опцией -lopenssl и компоновщик ld не смог разрешить внешние ссылки на используемые функции. Команда вида gcc -I/root/openssl/openssl-1.0.2e/include -lopenssl -o https https.c будет иметь смысл только при собранной библиотеке openssl. Если не секрет, сервер под управлением какой ОС работает? 1

@sharpey 650 / 403 / 76 Регистрация: 21.09.2008 Сообщений: 1,396
	30.12.2015, 11:59
	Попытайтесь теперь так: gcc -Iroot/openssl/openssl-1.0.2e/include -L/root/openssl/openssl-1.0.2e/ -lssl -o https https.c 0

@freeollo 0 / 1 / 0 Регистрация: 14.12.2015 Сообщений: 14
	30.12.2015, 14:54 [ТС]
	без изменений # gcc -I/root/openssl/openssl-1.0.2e/include -L/root/openssl/openssl-1.0.2e/ -lssl -o https https.c /tmp/ccDBzgGT.o: In function `main': https.c.text+0x20): undefined reference to `SSL_library_init' https.c.text+0x25): undefined reference to `OPENSSL_add_all_algorithms_noconf' https.c.text+0x2a): undefined reference to `SSL_load_error_strings' https.c.text+0x2f): undefined reference to `SSLv23_client_method' https.c.text+0x3f): undefined reference to `SSL_CTX_new' https.c.text+0xf5): undefined reference to `SSL_new' https.c.text+0x10a): undefined reference to `SSL_set_fd' https.c.text+0x116): undefined reference to `SSL_connect' https.c.text+0x190): undefined reference to `SSL_write' https.c.text+0x1d5): undefined reference to `SSL_read' https.c.text+0x1f8): undefined reference to `SSL_free' https.c.text+0x20e): undefined reference to `SSL_CTX_free' collect2: ld returned 1 exit status 0

@freeollo 0 / 1 / 0 Регистрация: 14.12.2015 Сообщений: 14
	03.01.2016, 12:19 [ТС]
	Получилось откомпилировать код Скрипт отправляет GET-запрос через https и получает HTML-код запрашиваемый страницы. Большое спасибо gng и sharpey 0