Как нажать на кнопку на сайте?

@Glebmanager@mai · Регистрация: 08.02.2013

Author24 — интернет-сервис помощи студентам

День добрый. использую Python 2.7 и библиотеку Grab. никак не могу нажать кнопку на сайте. "Name" у кнопки нет, по "Type" не получается единственное чего смог добиться:

Python

from grab import Grab
import logging
 
 
logging.basicConfig(level=logging.DEBUG)
 
g=Grab(log_file='out.html')
g.go('http://ya.ru//')
g.set_input('text', '22')
 
g.submit(submit_name='submit')

(поэксперементировал на ya.ru)

но такой метод работает только если есть поле куда надо вводить текст (с этим проблем обычно не возникает) а вот если нужно нажать на кнопку (просто нажать (например предлогается в форме регистрации выбрать ваш пол)) возникает фэйл

например если из приведеного выше скрипта исключить строчку

Python

1	g.set_input('text', '22')

то выдаст ошибку

Python

1	TypeError: object of type 'InputGetter' has no len()

хотя по идее должно перейти на страничку http://yandex.ru/yandsearch?text=&lr=21

Спросил знакомого програмиста на PHP, он сказал что это может быть связанно с джавой (попробывали заполнить один сайт отключив джава скрипты и потерпели закономерный фэйл) хотелось-бы узнать так-ли это. Ведь если так то идея с пост запросами заранее практически обречена ибо на многих сайтах используют яву

Вобмещем подскажите как нажать на кнопку, и действительно-ли джава влияет на этот процесс. Заранее спасибо. извиняюсь за ужасный слог но голова уже не варит совсем от всего этого

@Nameless One · 04.09.2013, 13:51

Сообщение от Glebmanager@mai

то что ты кинул больше похоже на язык программирования нежели на браузер внятной инструкции на русском опять таки нет. как на нем описывать шаги когда при передаче ссылки он выдает следующее:

Это обычный код на джаваскрипте.

Сообщение от Glebmanager@mai

блин придется еще и прогу скачивать для того чтобы хоть примеры открыть (расширение не стандартное) вот поэтому и не люблю учить лишние вещи

На будущее: большинство исходников для различных ЯП — это обычные текстовые файлы.

Сообщение от Glebmanager@mai

вот поэтому и не люблю учить лишние вещи

Про гугл я тебе уже намекал. Сложно поискать «python headless browser»? https://pypi.python.org/pypi/spynner

Сообщение от Glebmanager@mai

внятной инструкции на русском опять таки нет.

Вот поэтому программист должен знать английский хотя бы на уровне чтения документации.

Сообщение от Glebmanager@mai

ссылку на сайт дать увы не могу

Ну тогда тебе точно самому придется париться.

@Glebmanager@mai · 04.09.2013, 19:29 **[ТС]**

Сообщение от Nameless One

Это обычный код на джаваскрипте.

На будущее: большинство исходников для различных ЯП — это обычные текстовые файлы.

Про гугл я тебе уже намекал. Сложно поискать «python headless browser»? https://pypi.python.org/pypi/spynner

Вот поэтому программист должен знать английский хотя бы на уровне чтения документации.

Ну тогда тебе точно самому придется париться.

несложно и кстати было введено уже, однако фантом мне как-то больше понравился, наверное все дело в иконке

а еще он наверное должен уметь излагать прописные истины на уровне мастера Йоды

так я и не хочу чтобы мой проект сделали за меня я хотел получить направление в котором копать, ибо прежде чем написать на форум долго (реально долго) пытался разобраться сам

вобщем я попытаюсь вытащить джаваскрипт этого сайта и напишу о результатах, еще раз всем спасибо

@Wolkodav · 04.09.2013, 22:11

Glebmanager@mai, что бы вытащить js(за исключением node-js) код надо ( в google chrome) правой кнопкой мыши зайти в ( Inspect Element- типо посмотреть элемент), затем Resources и там искать js файлы в Frames ( вроде).

@Glebmanager@mai · 05.09.2013, 11:04 **[ТС]**

Сообщение от Wolkodav

Glebmanager@mai, что бы вытащить js(за исключением node-js) код надо ( в google chrome) правой кнопкой мыши зайти в ( Inspect Element- типо посмотреть элемент), затем Resources и там искать js файлы в Frames ( вроде).

да-да-да

Вы все верно подсказали

Спасибо!)

Javascript

                       <script>(function(h){try{var f=document.location.search.substr(1).split("&"),g=f.length;if(!g)return!1;for(var a=0;a<g;a++)window[h[a]]=unescape(f[a]);document.cookie="sd=1; path=/; domain=.adriver.ru";if(-1!=document.cookie.indexOf("sd")){window["1d"]=0;if(-1==document.cookie.indexOf("1d")){var d=new Date;d.setTime(d.getTime()+864E5);document.cookie="1d=1; expires="+d.toGMTString()+"; path=/; domain=.adriver.ru";window["1d"]=1}var b=document.cookie.match("(^|;) ?rs=([^;]*)(;|$)"),b=b?b[2]:0;if(0==b){var e= new Date;e.setTime(e.getTime()+6E4);document.cookie="rs=1; expires="+e.toGMTString()+"; path=/; domain=.adriver.ru";document.write('<script type="text/javascript" src="0.js">\x3c/script>');onunload=function(){document.cookie="rs=0; path=/; domain=.adriver.ru"}}}else(function(a){a=a.replace(/!\[rnd\]/g,rnd);var c=document,b=c.body;c.createElement&&b?(c=c.createElement("img"),c.src=a,b.insertBefore(c,b.firstChild)):(new Image).src=a})("//ad.adriver.ru/cgi-bin/rle.cgi?sid=1&ad=340241&bt=21&pid=834040&bid=2334308&bn=2334308&rnd=![rnd]")}catch(k){}})("sid ad cookieaction cookiestate newuid rnd tns uid geozoneid _reply".split(" "));</script>

думаю это оно, насколько я вчера успел прочесть, по скрипту на нос (на элемент) пишется обычно.

теперь вопрос: что с этим делать?

Добавлено через 35 минут
так, судя по всему нам нужен транспорт selenium (хотя некоторые пишут что он уже не существует)
вобщем сейчас попробуем

господа, если имеются еще идеи прошу не стесняйтесь

@Wolkodav · 05.09.2013, 17:44

Glebmanager@mai, не знаю, что вы именно хотите сделать, но что мешает самому все написать?

@Glebmanager@mai · 05.09.2013, 18:46 **[ТС]**

Сообщение от Wolkodav

Glebmanager@mai, не знаю, что вы именно хотите сделать, но что мешает самому все написать?

на кнопочку на сайте я нажать хочу а на ней скрипт js

не так уж и много

самому написать мешает отсутствие знаний

мне нужен ОДИН рабочий пример как нажать кнопку с джаваскриптом. я просто уже реально устал перелопачивать интернет и фильтровать тонны бесполезной информации.

видите написал на форуме и в итоге получил:

pashtet-kun любезно скинул мне РАБОЧИЙ модуль (с неисправным, согласитесь, было-бы довольно трудно что-то сделать)

Nameless One тоже много чего посоветовал правда много лишнего получилось но всеравно я очень благодарен ему за помощь

Вы вот подсказали как js извлекать

вобщем движемся потихонечку к конечной цели - нажатию на кнопку

@Wolkodav · 05.09.2013, 20:50

Glebmanager@mai, вообще по сути, когда вы нажимаете на кнопку, то происходит событие oncklick, дальше уже надо смотреть. Скажите что кнопка делаеть должна.
Можно не нажимать на кнопку а просто дернуть js функцию с нужными параметрами уже. А дальше уже надо смотреть, в принципе это сделать никто не мешает.

@Glebmanager@mai · 05.09.2013, 22:42 **[ТС]**

Сообщение от Wolkodav

Glebmanager@mai, вообще по сути, когда вы нажимаете на кнопку, то происходит событие oncklick, дальше уже надо смотреть. Скажите что кнопка делаеть должна.
Можно не нажимать на кнопку а просто дернуть js функцию с нужными параметрами уже. А дальше уже надо смотреть, в принципе это сделать никто не мешает.

На этом сайте есть два типа кнопок:
1 заполняет поле (открываете рамку со списком вариантов) например: клик - появляется рамка со следующими значениями : [январь, февраль, .... декабрь]. кликаете на один из месяцев и он записывает соответствующее значение в поле.

и второй тип:
есть две кнопки (два варианта) из которых нужно выбрать один например: мужчина, женщина. кликаете на один из вариантов и он выделяется в рамочку.

по сути оба типа кнопок не отличаются друг от друга (да и сами знаете) но смысл таков что есть рамка из таких кнопок которую надо заполнить и отправить данные. ну и как я уже говорил ситуация осложняется тем что кнопки выполняю джаваскрипты один из которых (открытие рамки с вариантами кстати) я приводил выше. такая вот засада....

мне-бы просто один работающй пример неважно даже на каком сайте лишь-бы библиотеки grab selenium или urrlib ну на самый крайний случай сойдет и любая лишь-бы работала и была в свободном доступе.

я лично сейчас активно читаю про selenium

Добавлено через 1 минуту
вот как-бы мне js дернуть? можно маленький пример?

@Wolkodav · 06.09.2013, 11:52

Glebmanager@mai, получается отправка сообщений от сервера клиенту, единственное что приходит в голову, веб-сокеты, но такими делами я не занимался)

@Glebmanager@mai · 06.09.2013, 14:33 **[ТС]**

Сообщение от Wolkodav

Glebmanager@mai, получается отправка сообщений от сервера клиенту, единственное что приходит в голову, веб-сокеты, но такими делами я не занимался)

вот видите

а говорите что мешает

у всех все просто только вот только даже элементарного примера никто дать не может

я пока чет тоже не могу нагуглить ничего дельного

вот пока селениум учу но особо к js пока не подобрался

@Glebmanager@mai · 06.09.2013, 15:46 **[ТС]**

Джентльмены! кажется, я нашел решение!

на одной кнопке работает! как проверю все на остальных напишу!

@Festelo · 06.10.2016, 20:05

Сообщение от Glebmanager@mai

как проверю все на остальных напишу!

Много там наверное кнопок... Но мы все ждем...

@Glebmanager@mai · 11.10.2016, 08:58 **[ТС]**

тысяча сорянов, и правда с моей стороны было некрасиво не отписаться по поводу окончательного решения

Вобщем, как и следует из моего предыдущего поста решение заключается в SeleniumWebdriver. Шикарная весч, всем советую.

Все решается в пару строчек:

from selenium import webdriver #импорт библиотеки эмуляции браузера

driver = webdriver.Firefox() # выбор проводника для браузера, ОЧЕНЬ рекомендую выбирать фаерфокс, так как с остальными, лично у меня периодически возникали сложности, хотя возможно просто ручки кривые

)

url = 'https://*вводим адресную строку*' #переменная для хранения url перехода

el_1=driver.find_elements_by_xpath('//span[@class="vCenterText"]') #получаем список нужных нам элементов (если написать driver.find_element_by_xpath (типа без s в слове element

) то мы получим первый элемент соответствующий искомым параметрам)

el_1[3].click() #нажимаем на выбранный элемент (естественно если написали driver.find_element_by_xpath то пишем el_1.click() так как возврщен не список элементов а уже конкретный элемент) да, я капитан очевидность

driver.close() #закрываем браузер, ясное дело можно закрыть и ручками

вобщем-то вроде и все, еще раз извиняюсь что долго отписывался - просто не думал что это и вправду кому-нибудь нужно

Если возникнут вопросы - таки пишите, попытаемся помочь в меру своих скромных возможностей

@Wolkodav 840 / 478 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	05.09.2013, 17:44	25
	Glebmanager@mai, не знаю, что вы именно хотите сделать, но что мешает самому все написать? 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	05.09.2013, 18:46 [ТС]	26
	Сообщение от Wolkodav Glebmanager@mai, не знаю, что вы именно хотите сделать, но что мешает самому все написать? на кнопочку на сайте я нажать хочу а на ней скрипт js не так уж и много самому написать мешает отсутствие знаний мне нужен ОДИН рабочий пример как нажать кнопку с джаваскриптом. я просто уже реально устал перелопачивать интернет и фильтровать тонны бесполезной информации. видите написал на форуме и в итоге получил: pashtet-kun любезно скинул мне РАБОЧИЙ модуль (с неисправным, согласитесь, было-бы довольно трудно что-то сделать) Nameless One тоже много чего посоветовал правда много лишнего получилось но всеравно я очень благодарен ему за помощь Вы вот подсказали как js извлекать вобщем движемся потихонечку к конечной цели - нажатию на кнопку 0

@Wolkodav 840 / 478 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	05.09.2013, 20:50	27
	Glebmanager@mai, вообще по сути, когда вы нажимаете на кнопку, то происходит событие oncklick, дальше уже надо смотреть. Скажите что кнопка делаеть должна. Можно не нажимать на кнопку а просто дернуть js функцию с нужными параметрами уже. А дальше уже надо смотреть, в принципе это сделать никто не мешает. 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	05.09.2013, 22:42 [ТС]	28
	Сообщение от Wolkodav Glebmanager@mai, вообще по сути, когда вы нажимаете на кнопку, то происходит событие oncklick, дальше уже надо смотреть. Скажите что кнопка делаеть должна. Можно не нажимать на кнопку а просто дернуть js функцию с нужными параметрами уже. А дальше уже надо смотреть, в принципе это сделать никто не мешает. На этом сайте есть два типа кнопок: 1 заполняет поле (открываете рамку со списком вариантов) например: клик - появляется рамка со следующими значениями : [январь, февраль, .... декабрь]. кликаете на один из месяцев и он записывает соответствующее значение в поле. и второй тип: есть две кнопки (два варианта) из которых нужно выбрать один например: мужчина, женщина. кликаете на один из вариантов и он выделяется в рамочку. по сути оба типа кнопок не отличаются друг от друга (да и сами знаете) но смысл таков что есть рамка из таких кнопок которую надо заполнить и отправить данные. ну и как я уже говорил ситуация осложняется тем что кнопки выполняю джаваскрипты один из которых (открытие рамки с вариантами кстати) я приводил выше. такая вот засада.... мне-бы просто один работающй пример неважно даже на каком сайте лишь-бы библиотеки grab selenium или urrlib ну на самый крайний случай сойдет и любая лишь-бы работала и была в свободном доступе. я лично сейчас активно читаю про selenium Добавлено через 1 минуту вот как-бы мне js дернуть? можно маленький пример? 0

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	06.09.2013, 15:46 [ТС]	31
	Джентльмены! кажется, я нашел решение! на одной кнопке работает! как проверю все на остальных напишу! 0

@Nameless One 5828 / 3479 / 358 Регистрация: 08.02.2010 Сообщений: 7,448
	04.09.2013, 13:51	21
	Сообщение от Glebmanager@mai то что ты кинул больше похоже на язык программирования нежели на браузер внятной инструкции на русском опять таки нет. как на нем описывать шаги когда при передаче ссылки он выдает следующее: Это обычный код на джаваскрипте. Сообщение от Glebmanager@mai блин придется еще и прогу скачивать для того чтобы хоть примеры открыть (расширение не стандартное) вот поэтому и не люблю учить лишние вещи На будущее: большинство исходников для различных ЯП — это обычные текстовые файлы. Сообщение от Glebmanager@mai вот поэтому и не люблю учить лишние вещи Про гугл я тебе уже намекал. Сложно поискать «python headless browser»? https://pypi.python.org/pypi/spynner Сообщение от Glebmanager@mai внятной инструкции на русском опять таки нет. Вот поэтому программист должен знать английский хотя бы на уровне чтения документации. Сообщение от Glebmanager@mai ссылку на сайт дать увы не могу Ну тогда тебе точно самому придется париться. 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	04.09.2013, 19:29 [ТС]	22
	Сообщение от Nameless One Это обычный код на джаваскрипте. На будущее: большинство исходников для различных ЯП — это обычные текстовые файлы. Про гугл я тебе уже намекал. Сложно поискать «python headless browser»? https://pypi.python.org/pypi/spynner Вот поэтому программист должен знать английский хотя бы на уровне чтения документации. Ну тогда тебе точно самому придется париться. несложно и кстати было введено уже, однако фантом мне как-то больше понравился, наверное все дело в иконке а еще он наверное должен уметь излагать прописные истины на уровне мастера Йоды так я и не хочу чтобы мой проект сделали за меня я хотел получить направление в котором копать, ибо прежде чем написать на форум долго (реально долго) пытался разобраться сам вобщем я попытаюсь вытащить джаваскрипт этого сайта и напишу о результатах, еще раз всем спасибо 0

@Wolkodav 840 / 478 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	04.09.2013, 22:11	23
	Glebmanager@mai, что бы вытащить js(за исключением node-js) код надо ( в google chrome) правой кнопкой мыши зайти в ( Inspect Element- типо посмотреть элемент), затем Resources и там искать js файлы в Frames ( вроде). 1

@Wolkodav 840 / 478 / 58 Регистрация: 18.09.2012 Сообщений: 1,688
	06.09.2013, 11:52	29
	Glebmanager@mai, получается отправка сообщений от сервера клиенту, единственное что приходит в голову, веб-сокеты, но такими делами я не занимался) 1

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	06.09.2013, 14:33 [ТС]	30
	Сообщение от Wolkodav Glebmanager@mai, получается отправка сообщений от сервера клиенту, единственное что приходит в голову, веб-сокеты, но такими делами я не занимался) вот видите а говорите что мешает у всех все просто только вот только даже элементарного примера никто дать не может я пока чет тоже не могу нагуглить ничего дельного вот пока селениум учу но особо к js пока не подобрался 0

@Festelo 0 / 0 / 0 Регистрация: 25.02.2016 Сообщений: 4
	06.10.2016, 20:05	32
	Сообщение от Glebmanager@mai как проверю все на остальных напишу! Много там наверное кнопок... Но мы все ждем... 0

@Glebmanager@mai 2 / 2 / 0 Регистрация: 08.02.2013 Сообщений: 52
	11.10.2016, 08:58 [ТС]	33
	тысяча сорянов, и правда с моей стороны было некрасиво не отписаться по поводу окончательного решения Вобщем, как и следует из моего предыдущего поста решение заключается в SeleniumWebdriver. Шикарная весч, всем советую. Все решается в пару строчек: from selenium import webdriver #импорт библиотеки эмуляции браузера driver = webdriver.Firefox() # выбор проводника для браузера, ОЧЕНЬ рекомендую выбирать фаерфокс, так как с остальными, лично у меня периодически возникали сложности, хотя возможно просто ручки кривые ) url = 'https://вводим адресную строку' #переменная для хранения url перехода el_1=driver.find_elements_by_xpath('//span[@class="vCenterText"]') #получаем список нужных нам элементов (если написать driver.find_element_by_xpath (типа без s в слове element ) то мы получим первый элемент соответствующий искомым параметрам) el_1[3].click() #нажимаем на выбранный элемент (естественно если написали driver.find_element_by_xpath то пишем el_1.click() так как возврщен не список элементов а уже конкретный элемент) да, я капитан очевидность driver.close() #закрываем браузер, ясное дело можно закрыть и ручками вобщем-то вроде и все, еще раз извиняюсь что долго отписывался - просто не думал что это и вправду кому-нибудь нужно Если возникнут вопросы - таки пишите, попытаемся помочь в меру своих скромных возможностей 1

Опции темы