Невидимые параметры в fiddler или почему мой запрос не проходит?

@ker_laedra · Регистрация: 25.09.2015

Студворк — интернет-сервис помощи студентам

Проблема для меня магическая. Задача - пройти авторизацию на сайте ru.wix.com. Для этого нужно получить определенные куки, отправив определенный запрос. Работаю из приложения на c# с помощью библиотеки xNet. Так вот, проблема в том, что делая запрос из приложения(как через fiddler, так и напрямую), мой запрос не проходит, куки не выдаются и загружаются другие данные. Но стоит мне повторить тот же самый запрос(!) из fiddler'а(хот-кей "R" или "Reissue Requests"), как он спокойно проходит, выдаются куки и загружается нужный контент. Этому есть какое-то объяснение?
Заметил, что если повторять запрос с частотой 1сек - то примерно на 5й раз проходит, если с частотой в 2 - то где-то на третий. При этом одиночная пауза в 3-4-5-6сек не подходит, все равно нужно повторять. В браузере и через fiddler проходит все с 1го раза.
Попробовал через WebRequest - тоже самое. При этом, если формировать те же самые запросы от начала и до конца с помощью Composer fiddler'a, проходит на ура. Очень прошу помощи.

@EvilFromHell · 27.09.2015, 18:33

А через HttpClient вы пробовали?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Net;
using System.Net.Http;
namespace WindowsFormsApplication2
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            using (var handler = new HttpClientHandler() { CookieContainer = new CookieContainer(), AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate })
            {
                using (var client = new HttpClient(handler) { BaseAddress = new Uri("https://sslusers.wix.com/") })
                {
                    client.DefaultRequestHeaders.TryAddWithoutValidation("Accept", "*/*");
                    client.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Encoding", "gzip, deflate");
                    client.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0");
                    client.DefaultRequestHeaders.TryAddWithoutValidation("Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4");
                    client.DefaultRequestHeaders.TryAddWithoutValidation("Connection", "keep-alive");
                    client.DefaultRequestHeaders.Referrer = new Uri("http://ru.wix.com/");
 
                    List<KeyValuePair<string, string>> content = new List<KeyValuePair<string, string>>();
                    content.Add(new KeyValuePair<string, string>("orgDocID", "null-doc-id"));
                    content.Add(new KeyValuePair<string, string>("appUrl","http://ru.wix.com/"));
                    content.Add(new KeyValuePair<string, string>("urlThatUserRedirectedFrom", "http://ru.wix.com/"));
                    content.Add(new KeyValuePair<string, string>("language", "ru"));
                    content.Add(new KeyValuePair<string, string>("email", "evilfromhell1993@rambler.ru"));
                    content.Add(new KeyValuePair<string, string>("password","qwerty"));
                    content.Add(new KeyValuePair<string, string>("rememberMe", "true"));
                    content.Add(new KeyValuePair<string, string>("force", "false"));
                    content.Add(new KeyValuePair<string, string>("view", "desktop"));
                    content.Add(new KeyValuePair<string, string>("accept", "jsonp"));
                    content.Add(new KeyValuePair<string, string>("callback", ""));
                    content.Add(new KeyValuePair<string, string>("callerId", "_0"));
                    content.Add(new KeyValuePair<string, string>("_method", "post"));
                    FormUrlEncodedContent ct = new FormUrlEncodedContent(content);
                    var ctt = ct.ReadAsStringAsync();
                    ctt.Wait();
                    var getResponse3 = client.GetAsync("/wix-users/auth/login?"+ctt.Result);
                    Task<string> ts3 = getResponse3.Result.Content.ReadAsStringAsync();
                    ts3.Wait();
                    ct.Dispose();
 
                }
            }
        }
    }
}

Вроде бы куки исправно выдаются, но дальше там куча скриптов и могут возникнуть другие проблемы..

@ker_laedra · 28.09.2015, 22:33 **[ТС]**

Спасибо за ответ, сейчас попробую. Там дело в том, что мне нужно будет использовать socks-прокси в работе, но я хоть смогу понять почему так. Кстати ошибки на первом запросе не происходит при авторизации, в ответ приходит ошибка, которая говорит о каптче, а вот когда отправляешь запрос с ответом каптчи - уже беда. При этом, там есть еще один запрос, который выдает куки browser_sess, кажется, вот он первым не проходит. Вот этот:
http://ru.wix.com/_api/wix-lab... scope=user

@EvilFromHell · 29.09.2015, 01:26

HTTP/1.1 200 OK
Server: nginx/1.9.4
Date: Mon, 28 Sep 2015 22:15:41 GMT
Content-Type: application/jsonp;charset=UTF-8
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache
Set-Cookie: userType=REGISTERED;Path=/

omain=.wix.com;Expires=Sun, 27-Dec-2015 22:15:41 GMT
Set-Cookie: wixSession=e473b9ed0d7107b7a11a4b1bcb69b cb5920cf46f843661bab64ae94d5a655bcb8a060 1c83618ff18493f9b88590b424258e97953652c8 e8b26a11263d4b700fe788f4fb1570a21e52c53a 27a7a49d4aa3f8d52804a7c00202f600d796b401 1c7b9efe676c8d7809183547f45830e4d5a24873 549aac464e7f6e8fab13cda0d2acddcfcbd4d7e1 0d62f9ae6ef35a3618f73017fa67dc875c6d5af9 176d741b04944f51b0d5b2f6a7981599b4c47f13 18f0d75d9cc09b66a350cdd504e5dd6ede1faaab 523d5e15284f9d00c1d55e18293a6c2d95724af1 73ef986f7d9eb4ae4eb96f0c6e57d4061728bcdf 7bc206d240a6d73f5dfbc49ec1a830c4e015ffb2 ce37017bffb1f61c5aaa331007c6b581dd86a9ed f09990955766f069c0147ec5e91f8b32ff4d4830 61a152e7fa9158db2f4ef21c77c21b761050036e d998646fd9e93f082e82e94a49973e0d41018135 a0e390bab053002e33169ef18a96eda2d1afe9f5 45ab09925579e6593b71c00858b;Path=/

omain=.wix.com;Expires=Tue, 13-Oct-2015 22:15:41 GMT;HttpOnly
Set-Cookie: _wixCIDX=bf3b3c33-dbdc-4bb1-ac67-bce7c4f2ff14;Path=/

omain=.wix.com;Expires=Sun, 27-Dec-2015 22:15:41 GMT
Set-Cookie: wixClient=evilfromhell1993||NOT_VERIFIED _OPT_IN|0|1443478541982|1444774541982|8e 6c763d-dbd1-4dda-bb2a-8fe196b2b0e1|{};Path=/

omain=.wix.com;Expires=Tue, 13-Oct-2015 22:15:41 GMT
Set-Cookie: _wix_browser_sess=428b946a-f266-4427-8e24-6bd70ac0dbba;Path=/

omain=.wix.com
Set-Cookie: wixLanguage=ru;Path=/

omain=.wix.com;Expires=Sun, 27-Sep-2020 22:15:41 GMT
Set-Cookie: _wixUIDX=283408544|8e6c763d-dbd1-4dda-bb2a-8fe196b2b0e1;Path=/

omain=.wix.com;Expires=Sun, 27-Dec-2015 22:15:41 GMT
Expires: Thu, 01 Jan 1970 00:00:00 GMT
X-Seen-By: LaPuWQZnqfZnuVVvgjr5MPDtye+RmZ9gdqcwAgBX ae0=,3tpeTo+Hu2Q6iEPujMx96GzWisS0QGOnFW5 kcurrOUmMnuhslNum5/zqFYCdtetg
Set-Cookie: visid_incap_138990=xKjOeG7LTSWSmeMOpSEMx A28CVYAAAAAQUIPAAAAAAAQHl0PfScsWVhai7jfP W6O; expires=Wed, 27 Sep 2017 11:37:53 GMT; path=/; Domain=.wix.com
Set-Cookie: incap_ses_323_138990=93RNXsXTIm1aJs8KJ4d 7BA28CVYAAAAAiwB2OaObYtnqcE8KK2xu3A==; path=/; Domain=.wix.com
X-Iinfo: 9-19325763-19325792 NNNN CT(142 289 0) RT(1443478540847 209) q(0 0 4 1) r(6 6) U2
X-CDN: Incapsula
Content-Length: 924

({"action":"", "type":"", "callerId":"_0"}, {"errorCode":0,"errorDescription":"OK"," success":true,"payload":{"uid":283408544 ,"encryptedUid":"ZMWZ7HUWgfrWjeDpoPE1 Bg--a","guid":"8e6c763d-dbd1-4dda-bb2a-8fe196b2b0e1","encryptedGuid":"Emu4VUu7z NoOQylaQy1KkaEYKWhfYCl7Jvm4LiWpUmqUUdgoL 5cwMw--a","userName":"evilfromhell1993","email" :"evilfromhell1993@rambler.ru","mailStat us":"NOT_VERIFIED_OPT_IN","status":"ACTI VE","permissions":0,"wixStaff":false,"da teCreated":"2015-09-27T13:59:59.000Z","dateUpdated":"2015-09-27T13:59:59.000Z","version":1,"salt":nul l,"locale":null,"language":"ru","editorV er":"2","privateMediaVer":"2","hasPasswo rd":true,"profileImage":"http://gravatar.com/avatar/e4719257c9ccc921b0dad2ae9ffc07d?d=blank" ,"regColor":null,"postRegColors":null,"u aToken":"9wL3Ip9x2xDO-M4VTZYbEdpZi_3j6KiUxlQhM4GBzf71ypaVutvME RuZKxnt-Rx3eWsYzIQjggMBtCCJ5Mazq3ZDdKQm333kbxpWg sDfWlVCkUxHhFbJW89bEAZQA4J5AoDB_k0sAOl5T k1JxZgcfA"}});

Вот такой ответ приходит у меня. Никакой каптчи тут не видно и : _wix_browser_sess присустствует(если вы про это). Но через прокси не пробовал.

@ker_laedra · 29.09.2015, 02:07 **[ТС]**

Очень странно. Повторил запрос, который Вы привели, вот прямо копипастом, и вот какой ответ получил:

HTML5
1
2
3
4
5
6
7
8
9
10
HTTP/1.1 200 OK
Content-Type: text/html
Cache-Control: no-cache
Connection: close
Content-Length: 673
X-Iinfo: 7-14294924-0 0NNN RT(1443481322024 117) q(0 -1 -1 -1) r(0 -1) B12(4,315,0)
Set-Cookie: visid_incap_138990=KjcTb2WiTJOLkwBXy1PlLOrGCVYAAAAAQUIPAAAAAAChNNILRdd5GdZyfhhQRviF; expires=Wed, 27 Sep 2017 12:00:15 GMT; path=/; Domain=.wix.com
Set-Cookie: incap_ses_325_138990=2PIMDfpeXSCYv6VjCKKCBOrGCVYAAAAANACDmJ/1DmdlFmoPMRjdUQ==; path=/; Domain=.wix.com
 
<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=24&xinfo=7-14294924-0 0NNN RT(1443481322024 117) q(0 -1 -1 -1) r(0 -1) B12(4,315,0)&incident_id=325000280039252009-204495088179806663&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 325000280039252009-204495088179806663</iframe></body></html>

Может дело в IP. Но самый обычный, динамический IP от провайдера.
При этом этот запрос совсем никак не проходит, хоть через фидлер, хоть без него, хоть из него

)
Поменял только на свои данные и пробовал с параметром callback.

@EvilFromHell · 29.09.2015, 02:31

А можете скомилировать код с этим запросом и выложить сюда? Я попробую отправить со своего инета, тогда будет ясно в чем проблема-в коде или в инете. callback я убрал потому, что он(насколько я понял, подробно не выяснял), нужен для того, чтобы понять, какой скрипт будет обрабатывать ответ, если посылать с ним, то в ответе весь JSON будет в скобках и с названием коллбэка, что не позволит его напрямую парсить каким-либо JSON парсером. А если же посылать без него-приходит чистый JSON и нормально парсится. Во всяком случае так было на предыдущем сайте, для которого я недавно писал бота.

@ker_laedra · 29.09.2015, 05:47 **[ТС]**

А я регуляркой забирал чистый json

Вот скомпилированный вариант, работает через фиддлер только - https://yadi.sk/d/MAc5QW0RhXxyL
Я уже кое-какое решение нашел, костыльное довольно-таки, но все же. Первая кнопка показывает какое решение, вторая показывает в чем проблема, третья - это вариант отсюда. Та проблема, которая возникает при втором же запросе при нажатии на вторую кнопку, возникает потом во всей работе. Там нужно пройти дальше, разгадав каптчу, введя антигейт ключ и можно будет увидеть, что проблема повторяется. И еще заметил одну особенность - проблема возникает при втором запросе на один домен. То есть первый запрос на ru.wix.com проходит нормально, а вот второй - уже нет. То же самое с sslusers.wix.com - первый проходит, а потом уже нет.

@EvilFromHell · 29.09.2015, 08:48

Ну мой вариант у меня как работал, так и работает... А в вашем-если я в фиддлере исправляю параметр "rememberMe" на true и посылаю, то ответ приходит как у меня, а иначе-что-то другое...

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@ker_laedra 0 / 0 / 0 Регистрация: 25.09.2015 Сообщений: 4

	.NET 4.x Невидимые параметры в fiddler или почему мой запрос не проходит? 25.09.2015, 03:43. Показов 4445. Ответов 7 Метки нет (Все метки) Проблема для меня магическая. Задача - пройти авторизацию на сайте ru.wix.com. Для этого нужно получить определенные куки, отправив определенный запрос. Работаю из приложения на c# с помощью библиотеки xNet. Так вот, проблема в том, что делая запрос из приложения(как через fiddler, так и напрямую), мой запрос не проходит, куки не выдаются и загружаются другие данные. Но стоит мне повторить тот же самый запрос(!) из fiddler'а(хот-кей "R" или "Reissue Requests"), как он спокойно проходит, выдаются куки и загружается нужный контент. Этому есть какое-то объяснение? Заметил, что если повторять запрос с частотой 1сек - то примерно на 5й раз проходит, если с частотой в 2 - то где-то на третий. При этом одиночная пауза в 3-4-5-6сек не подходит, все равно нужно повторять. В браузере и через fiddler проходит все с 1го раза. Попробовал через WebRequest - тоже самое. При этом, если формировать те же самые запросы от начала и до конца с помощью Composer fiddler'a, проходит на ура. Очень прошу помощи. 0

@ker_laedra 0 / 0 / 0 Регистрация: 25.09.2015 Сообщений: 4
	28.09.2015, 22:33 [ТС]
	Спасибо за ответ, сейчас попробую. Там дело в том, что мне нужно будет использовать socks-прокси в работе, но я хоть смогу понять почему так. Кстати ошибки на первом запросе не происходит при авторизации, в ответ приходит ошибка, которая говорит о каптче, а вот когда отправляешь запрос с ответом каптчи - уже беда. При этом, там есть еще один запрос, который выдает куки browser_sess, кажется, вот он первым не проходит. Вот этот: http://ru.wix.com/_api/wix-lab... scope=user 0

@EvilFromHell 979 / 874 / 350 Регистрация: 26.04.2012 Сообщений: 2,647
	29.09.2015, 02:31
	А можете скомилировать код с этим запросом и выложить сюда? Я попробую отправить со своего инета, тогда будет ясно в чем проблема-в коде или в инете. callback я убрал потому, что он(насколько я понял, подробно не выяснял), нужен для того, чтобы понять, какой скрипт будет обрабатывать ответ, если посылать с ним, то в ответе весь JSON будет в скобках и с названием коллбэка, что не позволит его напрямую парсить каким-либо JSON парсером. А если же посылать без него-приходит чистый JSON и нормально парсится. Во всяком случае так было на предыдущем сайте, для которого я недавно писал бота. 0

@ker_laedra 0 / 0 / 0 Регистрация: 25.09.2015 Сообщений: 4
	29.09.2015, 05:47 [ТС]
	А я регуляркой забирал чистый json Вот скомпилированный вариант, работает через фиддлер только - https://yadi.sk/d/MAc5QW0RhXxyL Я уже кое-какое решение нашел, костыльное довольно-таки, но все же. Первая кнопка показывает какое решение, вторая показывает в чем проблема, третья - это вариант отсюда. Та проблема, которая возникает при втором же запросе при нажатии на вторую кнопку, возникает потом во всей работе. Там нужно пройти дальше, разгадав каптчу, введя антигейт ключ и можно будет увидеть, что проблема повторяется. И еще заметил одну особенность - проблема возникает при втором запросе на один домен. То есть первый запрос на ru.wix.com проходит нормально, а вот второй - уже нет. То же самое с sslusers.wix.com - первый проходит, а потом уже нет. 0

@EvilFromHell 979 / 874 / 350 Регистрация: 26.04.2012 Сообщений: 2,647
	29.09.2015, 08:48
	Ну мой вариант у меня как работал, так и работает... А в вашем-если я в фиддлере исправляю параметр "rememberMe" на true и посылаю, то ответ приходит как у меня, а иначе-что-то другое... 0