Отслеживание значения переменной на стороннем сайте

Добрый день, мне нужно на одном сайте определять числовое значение переменной. То есть на странице есть текст в виде числа, и мне надо определять это число. Я посмотрел исходный код элемента, этот текст лежит в переменной b-product__purchase-price. И ее значение постоянно меняется. Как я могу это сделать на javascript? Я не знаток javascript, всю жизнь писал на С++, но в этот раз стоит вот такая задача. Можно ли это как-то через GET запрос определять или как вообще это можно сделать? Не судите, в веб разработке я чайник

0

Сообщение от alexeygolenkov1 Я посмотрел исходный код элемента, этот текст лежит в переменной b-product__purchase-price.

Исходный код элемента - это HTML и в нем нет никаких переменных. Если речь идет о переменной в скрипте, то в JavaScript не может быть переменной с таким именем.

Сообщение от alexeygolenkov1 И ее значение постоянно меняется.

Что значит "постоянно"? В течение одной сессии или все-таки она (ну типа переменная) имеет разное значение при каждой загрузке страницы?

Сообщение от alexeygolenkov1 Как я могу это сделать на javascript?

Это зависит от того, откуда будет запускаться этот яваскрипт. Из расширения что ли?

Сообщение от alexeygolenkov1 Можно ли это как-то через GET запрос определять или как вообще это можно сделать?

Это опять-таки зависит от ответов на предыдущие вопросы. Если, например, под переменной ты имеешь в виду какой-нибудь HTML-элемент и при каждой загрузке страницы его содержимое меняется, то возможно достаточно загрузить текст этой страницы напрямую и вытащить из него нужный текст. Но бывает, что интересующее значение запихивается туда скриптом. В этом случае тоже бывают разные ситуации. Иногда значение приходит в данных содержащихся в самом скрипте и в этом случае его нужно поискать там и также вытаскивать доступными средствами обработки текста. Также оно может подгружаться с сервера, в этом случае нужно искать откуда оно подгружается и тогда уже запрос отправлять именно в это место. Более сложный вариант - значение может вычисляться, тогда придется изучать код, который его вычисляет, но такое делать приходится редко.

0

Сообщение от diadiavova Исходный код элемента - это HTML и в нем нет никаких переменных. Если речь идет о переменной в скрипте, то в JavaScript не может быть переменной с таким именем.

Да, я не правильно выразился. Это не переменная, а название класса.

Сообщение от diadiavova Это опять-таки зависит от ответов на предыдущие вопросы. Если, например, под переменной ты имеешь в виду какой-нибудь HTML-элемент и при каждой загрузке страницы его содержимое меняется, то возможно достаточно загрузить текст этой страницы напрямую и вытащить из него нужный текст. Но бывает, что интересующее значение запихивается туда скриптом. В этом случае тоже бывают разные ситуации. Иногда значение приходит в данных содержащихся в самом скрипте и в этом случае его нужно поискать там и также вытаскивать доступными средствами обработки текста. Также оно может подгружаться с сервера, в этом случае нужно искать откуда оно подгружается и тогда уже запрос отправлять именно в это место. Более сложный вариант - значение может вычисляться, тогда придется изучать код, который его вычисляет, но такое делать приходится редко.

Я нашел такое решение. Нажимаю посмотреть исходный код элемента.
Перехожу на вкладку Network.
Выделяю XHR и ищу в каком файле в разделе preview находится нужная мне информация.
Когда нашел файл, захожу в раздел headers и смотрю Request url и Request method. В данном случае Request method = GET. Я отправляю GET-запрос на этот url, получаю ответ и начинаю парсить нужную мне информацию.
С этой темой я как-то разобрался. Но еще раз повторюсь, это мое первое приложение на javascript Удивлен как это у меня получилось, потому что веб разработкой никогда не занимался и только вчера узнал, что такое POST и GET запросы.

Теперь мне нужно научиться автоматически отправлять серверу запрос на нажатие кнопки. То есть есть кнопка "Купить", и я хочу ее нажимать не вручную, а чтобы это делала программа.
Я подумал, что это можно сделать примерно таким же способом. То есть найти файл, который отправляется на сервер во время нажатия кнопки.
Я нашел только один файл, в котором Request method = POST и подозреваю, что это именно то, что мне нужно. Надо как-то делать POST-запрос на url который там прописан, и передавать нужные параметры (в них я пока не разобрался).
Скажите, в правильном ли направлении я думаю? Можно ли таким способом решить поставленную задачу? Если нет, подскажите как это можно сделать.
Благодарю

0

Сообщение от alexeygolenkov1 Скажите, в правильном ли направлении я думаю? Можно ли таким способом решить поставленную задачу? Если нет, подскажите как это можно сделать.

Еще раз повторю вопрос

Сообщение от diadiavova откуда будет запускаться этот яваскрипт. Из расширения что ли?

Чтобы было совсем понятно о чем я спрашиваю: написал ты код и куда ты его засовываешь, чтобы он исполнился?

По поводу кнопок, запросов и прочего. Если твоя программа каким-то образом будет выполняться внутри браузера или использовать браузерный движок, то нажать кнопку программно - совсем несложно. Там просто надо найти ее и вызывать у нее метод click(). Если же ты сам формируешь запросы где-то в отдельной среде исполнения (node.js или еще что-то в этом роде), то в коде надо искать форму, которую отправляет кнопка, которую ты хочешь нажать. Обычно это выглядит как-то так
Разумеется помимо кнопки там есть масса других элементов, обычно те, что представляют интерес, имеют атрибудты name и value и их значения должны быть отправлены как параметры запроса. Но на практике все несколько сложнее, поскольку зачастую значения элементов инициируются скриптом и причем нередко непосредственно перед отправкой. Поэтому более простой и надежный способ - это отправить реальный запрос и отследить что именно было отправлено с помощью стороннего приложения (для винды можно использовать, например, Fiddler - Free Web Debugging Proxy - Telerik).

0

Сообщение от diadiavova Еще раз повторю вопрос Чтобы было совсем понятно о чем я спрашиваю: написал ты код и куда ты его засовываешь, чтобы он исполнился?

Делаю через node.js
Мне нужно написать бота, который отслеживает цену товара, и если она опускается до какого-то (мной установленного) значения, он автоматически его покупает. С отслеживанием значения цены я уже разобрался.
Теперь осталось понять, как написать, чтобы он покупал товар.

Сообщение от diadiavova Поэтому более простой и надежный способ - это отправить реальный запрос и отследить что именно было отправлено с помощью стороннего приложения (для винды можно использовать, например, Fiddler - Free Web Debugging Proxy - Telerik).

Попробовал, при нажатии и после нажатия ничего в этой программе не меняется. То есть до этого в нее поступают какие-то пакеты, а после - ничего не приходит.

У меня еще проблема с аутентификацией. На некоторые запросы сервер возвращает, что я не аутентифицирован. Подскажите, как это исправить? Я в начале программы должен сделать какой-то запрос на аутентификацию и потом отправлять любые запросы? Или же при каждом запросе я должен добавлять в них какие-то параметры (что то вроде логина и пароля), чтобы сервер понимал, что я аутентифицирован?

0

Сообщение от alexeygolenkov1 Делаю через node.js

Ну вот с этого надо было начинать. Вопросы по нюансам работы с нодой задают здесь JavaScript: Node.js - Форум web-программистов - Киберфорум.

Сообщение от alexeygolenkov1 Попробовал, при нажатии и после нажатия ничего в этой программе не меняется. То есть до этого в нее поступают какие-то пакеты, а после - ничего не приходит.

После установки/обновления программы открывается следующая страница Update Installed
Там есть ссылки на следующие темы:

• Установка расширений
• Конфигурирование для расшифровки HTTPS
• Конфигурирование перехвата трафика для Windows8+
• Просмотр траффика отправленного на локальный сервер
• Короткие обучающие видео

Вот у меня что-то есть подозрение, что ты на это внимание-то и не обратил ))

Сообщение от alexeygolenkov1 У меня еще проблема с аутентификацией. На некоторые запросы сервер возвращает, что я не аутентифицирован. Подскажите, как это исправить? Я в начале программы должен сделать какой-то запрос на аутентификацию и потом отправлять любые запросы? Или же при каждом запросе я должен добавлять в них какие-то параметры (что то вроде логина и пароля), чтобы сервер понимал, что я аутентифицирован?

Обычно при каждом запросе отправляются куки. Когда пользователь логинится сервер устанавливает куки и потом они отправляются при каждом запросе. Поэтому вопрос в том, как залогиниться. Самый простой вариант - это вытащить куки из браузера, есть для браузеров расширения, с помощью которых можно это сделать. Но если ты хочешь этот процесс воспроизвести программно, то сначала разберись с фиддлером или подобной программой, потом залогинься и посмотри что при этом происходило. Обычно процесс не так прост, поскольку подразумевает заход не несколько страниц, с которых осуществляются редиректы. Причем иногда редирект может быть выполнен с помощью заголовка Location, а иногда скрипт выполняется. Страницы которые приходят могут содержать заголовки Set-Cookie, в каждом таком заголовке содержится по одному куку и каждый надо установить. Если делать это вручную, то надо изучить как устроены эти заголовки и чем они отличаются от заголовка запроса Cookie, который потом все это будет отправлять на сервер. Но вполне возможно, что в ноде есть какой-нибудь удобный инструмент типа куки-контейнера, с помощью которого это можно будет сделать проще. Но об этом надо спрашивать в соответствующем разделе.
Если после этих объяснений захочешь вытащить куки из браузера, то обрати внимание на срок действия: на некоторых сайтах он достаточно большой и можно вытащить и не париться, на других нужно постоянно логиниться и там лучше все-таки как-то автоматизировать процесс.

ЗЫ
Да и еще. Я как-то пытался "оседлать" двухфакторную аутентификацию вконтакте. Помучился, конечно, но в конце концов все получилось, вечером я несколько раз ее использовал, а вот утром она уже не работала. Начал разбираться, оказалось что мне там гуглокапчу присылают. Проблему не решил, однако когда отключил на сайте двухфакторную аутентификацию все заработало и даже не пришлось переписывать код, поскольку первая фаза совпадала в обоих случаях.
В любом случае ты отправляешься в увлекательное путешествие ))

0

Скиньте пожалуйста код для аутентификации в вк. Или шаблончик какой-нибудь. Может на нём я что-нибудь пойму. Я не знаю где искать инфу по моему вопросы))
Еще хотел бы с Вами связаться не на форуме, а где-нибудь в вк. Но, кажется, правилами форума запрещено как-либо обмениваться информацией, если я не ошибаюсь.

0

Сообщение от alexeygolenkov1 Скиньте пожалуйста код для аутентификации в вк.

Я, конечно, могу его выковырять из проекта, только вряд ли это что-то даст. Во-первых, он написан на языке F# под платформу .Net Core. Во-вторых, даже если ты знаком и с языком и с используемыми апи, без пояснений там будет сложно разобраться, а переписать это напрямую под ноду тоже вряд ли получится.

Сообщение от alexeygolenkov1 Или шаблончик какой-нибудь. Может на нём я что-нибудь пойму. Я не знаю где искать инфу по моему вопросы))

Универсального шаблончика скорей всего нет. На примере вконтактика мне пришлось что-то около пяти запросов отправлять. Кое где автоматический редирект, на других страницах извлекаются какие-то данные, с помощью которых строятся параметры следующего запроса, где-то данные извлекаются не из самой страницы, а с помощью аякс-запроса, где-то редирект может выполняться не с помощью заголовка, а с помощью скрипта. Кроме того, на странице могут содержаться какие-то данные, которые иногда тоже надо читать, например сообщение о том, что был введен неверный логин/пароль или еще что-то. То есть везде порядок свой.
Общий сценарий действий таков: запускаешь фиддлер, логинишься, находишь запросы которые были выполнены во время залогинивания, пытаешься построить из них цепочку, то есть на предыдущей странице находишь данные, с помощью которых был построен запрос для следующей. Попутно собираешь куки, разумеется.

Сообщение от alexeygolenkov1 Еще хотел бы с Вами связаться не на форуме, а где-нибудь в вк.

Тем чем я готов поделиться, я поделюсь здесь.

0

Скажите, а Вы согласитесь сделать этот проект за определенную сумму? Насколько я понял, знания и опыт у Вас достаточные, много времени на проект не уйдет. Все подробности опишу, но если в кратце, то я повторюсь: нужен бот, который будет покупать определенный товар, если в какой-то момент его цена будет ниже определенной.

0

Сообщение от alexeygolenkov1 Насколько я понял, знания и опыт у Вас достаточные, много времени на проект не уйдет.

Опыт в чем? В залогинивании? Ну да однажды мне это сделать удалось, но удачно только наполовину, поскольку справиться с защитой от ботов мне не удалось. Так что если на сайте есть приличная защита от ботов, то я тут бессилен. Насчет времени тоже спорно: с нодой я практически не знаком и за каждым чихом придется курить документацию, не говоря уже о том, что исследование веб-страниц - такая штука, что никогда заранее нельзя сказать, сколько времени это займет и что в конце концов получится, а что нет. Ну и наконец покупки. Денежные вопросы требуют знания определенных протоколов безопасности и прочей лабуды, с которой я вообще не знаком, так что могу такого накодить, что пользователь вообще без денег останется.
Но есть и хорошая новость: на форуме есть раздел фриланса, думаю там вполне реально найти исполнителя, имеющего опыт во всех этих вопросах.

0

Сообщение от diadiavova Опыт в чем? В залогинивании? Ну да однажды мне это сделать удалось, но удачно только наполовину, поскольку справиться с защитой от ботов мне не удалось. Так что если на сайте есть приличная защита от ботов, то я тут бессилен.

Защиты от ботов там нет. Просто вводится логин и пароль, и все.

Сообщение от diadiavova Насчет времени тоже спорно: с нодой я практически не знаком и за каждым чихом придется курить документацию, не говоря уже о том, что исследование веб-страниц - такая штука, что никогда заранее нельзя сказать, сколько времени это займет и что в конце концов получится, а что нет.

Не обязательно на node.js. Можете использовать любой язык, какой захотите, мне главное чтобы приложение работало.

Сообщение от diadiavova Ну и наконец покупки. Денежные вопросы требуют знания определенных протоколов безопасности и прочей лабуды, с которой я вообще не знаком, так что могу такого накодить, что пользователь вообще без денег останется.

А там нет никакой банковской оплаты. Просто нажимается кнопка "Купить" и все, предмет куплен (если, соответственно хватает денег на аккаунте). А деньги пополнять на аккаунт автоматически не требуется.
Если Вы согласитесь, я буду очень признателен!!!

0