Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
2 / 2 / 0
Регистрация: 08.03.2021
Сообщений: 173

webdriver+Selenium+Pandas

27.10.2021, 11:12. Показов 1611. Ответов 4
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем добрый день!Вопрос следующий.Считываю данные с csv файла(Адреса),затем с помощью webdriver прогоняю их через chrome с целью вытащить координаты(долготу и широту).Но как сохранить эти координаты,чтобы каждый раз не скрапить их?


Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
from selenium import webdriver #Управление браузером
from tqdm import tqdm #Красивый индикатор отсчета
import pandas as pd #Считывание информации и работа с датасетом
import folium #Распределение координат на карте
 
 
pd.set_option('display.max_columns', 3) #Видимые 3 столбца таблицы
 
acnc = pd.read_excel('C:\\Users\demid\OneDriveабочий столИПЛОМчет пожаров\Fire.xlsx', keep_default_na=False) #False нужен,чтобы пустые столбцы не отображать,как NaN
acnc.head()
 
mel = acnc[acnc.Адрес.str.contains("",case=False)][['Дата',"Адрес","Происшествие"]].copy() # "" в случае поиска какого-либо значения
 
 
mel = mel.Адрес.str.replace("около","")
print(mel.iloc[:30]) #iloc выбирает из определенного столбца или строки
 
 
mel['Url'] = ['https://www.google.com/maps/search/' + i for i in mel] #ВОТ ТУТ ЧТО-ТО НЕ ТО(В КАКУЮ ВСТАВЛЯЕТ КОЛОНКУ)
 
Url_With_Coordinates = []
 
option = webdriver.ChromeOptions()
prefs = {'profile.default_content_setting_values': {'images': 2, 'javascript': 2}}
option.add_experimental_option('prefs', prefs)
 
driver = webdriver.Chrome("C:\\Users\demid\OneDriveабочий столИПЛОМчет пожаров\chromedriver_win32\chromedriver.exe", options=option)
 
for url in tqdm(mel.Url, leave=False):
    driver.get(url)
    Url_With_Coordinates.append(driver.find_element_by_css_selector('meta[itemprop=image]').get_attribute('content'))
driver.close()
 
mel['Url_With_Coordinates'] = Url_With_Coordinates
 
mel['lat'] = [ url.split('?center=')[1].split('&zoom=')[0].split('%2C')[0] for url in mel['Url_With_Coordinates'] ]
mel['long'] = [url.split('?center=')[1].split('&zoom=')[0].split('%2C')[1] for url in mel['Url_With_Coordinates'] ]
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
27.10.2021, 11:12
Ответы с готовыми решениями:

from selenium import webdriver ==> options = webdriver.ChromeOptions
Подсвечивается красным почему - то в VSC. from selenium import webdriver options = webdriver.ChromeOptions

Selenium webdriver подключиться ?
Такой код: from selenium import webdriver Chrome_Browser = webdriver.Chrome() Chrome_Browser = webdriver.Chrome() ...

selenium webdriver tmp файлы
Всем привет. Такая ситуация. При работе вебдрайвера через browser =...

4
296 / 120 / 33
Регистрация: 06.03.2016
Сообщений: 453
27.10.2021, 11:22
Цитата Сообщение от FagotPetrova Посмотреть сообщение
Но как сохранить эти координаты
в файл записать
0
2 / 2 / 0
Регистрация: 08.03.2021
Сообщений: 173
27.10.2021, 11:33  [ТС]
Это понятно.Но если вы посмотрите на строчку Url_With_Coordinates.append,то он добавляет куда-то эти данные.И вот вопрос куда именно,и как найти этот Url_With_Coordinates(я так понял проект делался в Jupyter)
0
296 / 120 / 33
Регистрация: 06.03.2016
Сообщений: 453
27.10.2021, 11:35
Лучший ответ Сообщение было отмечено FagotPetrova как решение

Решение

FagotPetrova, это массив, в себя и добавляет
Python
1
Url_With_Coordinates = []
0
2 / 2 / 0
Регистрация: 08.03.2021
Сообщений: 173
27.10.2021, 11:39  [ТС]
Я балбес).Спасибо большое
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
27.10.2021, 11:39
Помогаю со студенческими работами здесь

Ошибка SSL сертификатов в Selenium Webdriver
Возникла проблема при загрузке страницы, браузер выдаёт ошибку "Secure Connection Failed". Если запускать в пустом файле загрузку той...

Отключение режима Webdriver (Python+Selenium)
Что дает нам отключение режима Webdriver (Python+Selenium)? Открываются какие то доступы? Напишите пожалуйста список плюсов и минусов...

Парсинг Beautiful Soup 4 и Selenium.Webdriver
Здравствуйте, пишу парсер под сайт https://www.kimovil.com/ru/ и возникает проблема: товары динамически подгружаются. Сначала были...

Python + Selenium.Webdriver не видит элемент
Для создания теста необходимо, чтобы selenium нажимал на кнопку: <button class="sqdOP yWX7d _8A5w5 "...

Работа selenium.webdriver в воркере celery
В общем, такая ситуевина: Через таски celery в проекте на джанге запускаю парсер, юзающий selenium.webdriver.Firefox. options...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка SDL3, Box2D, FreeType и SDL3_ttf из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru