Парсер сайта Selenium данные с двух столбцов

@olegshtompel · Регистрация: 17.07.2022

Студворк — интернет-сервис помощи студентам

Добрый день! Подскажите пожалуйста, нужно подтянуть данные нашел код, переделал но выскакивают ошибки... где и что исправить. Заранее благодарен за ответ ?
http://https://www.whoscored.c... -Tottenham нужно вытянуть два столбца : имя игроков, рейтинг.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
 
url = 'https://www.whoscored.com/Teams/30/Show/England-Tottenham'
 
s = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=s)
 
# web driver goes to page
driver.get(url)
 
WebDriverWait(driver, 15).until(
        EC.presence_of_element_located((By.ID, 'team-squad-stats'))
    )
 
Players_list = []
Player_rating = []
 
for nme in driver.find_elements(By.CSS_SELECTOR, 'a.player-link span.iconize.iconize-icon-left'):
    Players_list.append(nme.text)
for rat in driver.find_elements(By.CSS_SELECTOR, 'td.rating_sorted'):
    Player_rating.append(rat.text)
data = {'name': Players_list, 'rating_sorted': Player_rating}
df = pd.DataFrame(data)
print(df)
df.to_csv('England-Tottenham.csv')
 
 

@Welemir1 · 13.01.2023, 16:42

olegshtompel, панду не трогал, просто достал значения

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Python3.10 >>> driver = webdriver.Chrome()
Python3.10 >>> driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
Python3.10 >>> from selenium.webdriver.common.by import By
Python3.10 >>> players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
Python3.10 >>> len(players_lines)
25
Python3.10 >>> results = {}
Python3.10 >>> for player in players_lines:
...     name = player.find_element(By.XPATH, './/span').text
...     rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
...     results[name] = rating
...
Python3.10 >>> results
{'Harry Kane': '7.55', 'Rodrigo Bentancur': '7.32', 'Pierre-Emile Højbjerg': '7.13', 'Son Heung-Min': '7.10', 'Dejan Kulusevski': '7.01', 'Eric Dier': '6.79', 'Ivan Perisic': '6.74', 'Cristian Romero': '6.73', 'Matt Doherty': '6.70', 'Hugo Lloris': '6.69', 'Pape Sarr': '6.61', 'Ben Davies': '6.61', 'Clément Lenglet': '6.58', 'Emerson Royal': '6.57', 'Bryan Gil': '6.57', 'Davinson Sánchez': '6.53', 'Richarlison': '6.52', 'Ryan Sessegnon': '6.45', 'Fraser Forster': '6.35', 'Yves Bissouma': '6.29', 'Lucas Moura': '6.22', 'Japhet Tanganga': '6.18', 'Harvey White': '6.13', 'Oliver Skipp': '6.11', 'Djed Spence': '6.00'}
Python3.10 >>> driver.quit()

@olegshtompel · 13.01.2023, 23:38 **[ТС]**

Подскажите, а как это всё вывести в эксель файл ?

@Welemir1 · 14.01.2023, 09:35

olegshtompel, да просто -берешь опенпиксель или xlrd и записываешь. Неужели лень пару примеров посмотреть? данные то уже есть, остался один шажок.

@Red white socks · 14.01.2023, 09:58

Сообщение от olegshtompel

Подскажите, а как это всё вывести в эксель файл ?

Модуль csv. Класс csv.DictWriter

@olegshtompel · 14.01.2023, 18:26 **[ТС]**

Нужна помощь, три часа просидел, чего только не пробовал, но увы ошибки...

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[PYTHON]from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
 
driver = webdriver.Chrome()
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
len(players_lines)
results = {}
for player in players_lines: name = player.find_element(By.XPATH, './/span').text
rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
results[name] = rating
 
data = {'name': Players_list, 'rating': Player_rating}  
df = pd.DataFrame(data)
writer = pd.ExcelWriter('England-Tottenham.xlsx', engine='xlsxwriter')
df.to_excel(writer, sheet_name='England-Tottenham')

[/PYTHON]

@Welemir1 · 14.01.2023, 18:27

olegshtompel, правила форума запрещают код присылать картинками, ошибки выкладывай тоже текстом, уважай читающих

@olegshtompel · 14.01.2023, 18:27 **[ТС]**

Нужна помощь, три часа просидел, чего только не пробовал, но увы ошибки...

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[PYTHON]from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
 
driver = webdriver.Chrome()
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
len(players_lines)
results = {}
for player in players_lines: name = player.find_element(By.XPATH, './/span').text
rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
results[name] = rating
 
data = {'name': Players_list, 'rating': Player_rating}  
df = pd.DataFrame(data)
writer = pd.ExcelWriter('England-Tottenham.xlsx', engine='xlsxwriter')
df.to_excel(writer, sheet_name='England-Tottenham')

[/PYTHON]

@Welemir1 · 14.01.2023, 18:30

он тебе верно указывает на ошибку, ты почему ее не прочел? он говрит что нет такой переменной Players_list и он прав -я тоже ее не вижу. Ты откуда ее взял?

Добавлено через 2 минуты
во -вторых почему нет отступов? ты понимаешь что в питоне через отступы в 4 пробела все решается? я тебе код с отcтупами дал
но вот он снова

Python
1
2
3
4
5
6
7
8
9
10
11
driver = webdriver.Chrome()
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
results = {}
for player in players_lines:
    name = player.find_element(By.XPATH, './/span').text
    rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
    results[name] = rating
 
print(results)

@olegshtompel · 14.01.2023, 18:30 **[ТС]**

нужно так name = player.find_element ?

@Welemir1 · 14.01.2023, 18:32

уже предполагая твой ответ, все же опинтересуюсь - какую книгу по питону ты прочел, чтобы освоить основы, например про консоль и отступы?

@olegshtompel · 14.01.2023, 18:41 **[ТС]**

до этого сайта разбирался методом тыка и почти всё получалось ), но с этим сайтом всё смешалось )))

Добавлено через 1 минуту
о теперь заработало

огромное Спасибо! ещё попробую разобраться как теперь его в эксель )

@Welemir1 · 14.01.2023, 18:44

Сообщение от olegshtompel

методом тыка

капут

за 3 часа что ты потратил ты мог книгу для начинающих прочесть

@olegshtompel · 15.01.2023, 00:39 **[ТС]**

Всё равно получается таблица с пустыми значениями, подскажите пожалуйста что не так ?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from selenium import webdriver
driver = webdriver.Chrome()
import pandas as pd
 
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
results = {}
for player in players_lines:
    name = player.find_element(By.XPATH, './/span').text
    rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
    results[name] = rating
 
df = pd.DataFrame({'name': ['name'],
                 'rating': ['rating']})
        
df.to_excel('England-Tottenham.xlsx')
 
 
df.to_excel('./teams.xlsx')

@Welemir1 · 15.01.2023, 08:51

olegshtompel, ты притормози, подумай головой то хоть секундочку. У тебя в df что лежит? вот прям подумай, код посмотри... под спойлером ответ

Кликните здесь для просмотра всего текста

ничего! ты туда ничего же не поместил, кроме каких то 2 слов ({'name': ['name'], 'rating': ['rating']})! потому когда пишешь df в файл то там пусто. Тебе не нужна панда, тебе нужно просто записать УЖЕ готовый словарь в ексель. Способы тебе написали выше, но ты не читаешь не только книжки, но и советы

@olegshtompel · 20.01.2023, 23:26 **[ТС]**

нужна помощь

истина где-то рядом ....

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from selenium import webdriver
driver = webdriver.Chrome()
import csv
import pandas as pd
 
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
results = {}
for player in players_lines:
    name = player.find_element(By.XPATH, './/span').text
    rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
    results[rating] = [name]
 
data = {'name': results}
df = pd.DataFrame(data)
print(df)
df.to_csv('Tottenham.csv')

Как это всё теперь вывести в два столбца ?)

@Gdez · 21.01.2023, 00:45

olegshtompel, вместо 15-16 строк

Python
1
2
3
…
df = pd.DataFrame.from_dict (results, orient='index'). reset_index()
…

@olegshtompel · 21.01.2023, 13:34 **[ТС]**

Всё равно в эксель не выводит по отдельным столбцам

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from selenium import webdriver
driver = webdriver.Chrome()
import csv
import pandas as pd
 
driver.get('https://www.whoscored.com/Teams/30/Show/England-Tottenham')  
from selenium.webdriver.common.by import By
players_lines = driver.find_elements(By.XPATH,"//tbody[@id='player-table-statistics-body']/tr")
results = {}
for player in players_lines:
    name = player.find_element(By.XPATH, './/span').text
    rating = player.find_element(By.XPATH, ".//td[contains(@class,'rating')]").text
    results[rating] = [name]
 
 
df = pd.DataFrame.from_dict (results, orient='index'). reset_index()
print(df)
df.to_csv('England-Tottenham.csv')

@Welemir1 · 21.01.2023, 14:31

olegshtompel, ты понимаешь разницу цсв и ексель(xlsx)? Можно например загуглить как правильно открывать цсв в Ексель программе и вообще почитать про форматы

@Red white socks · 21.01.2023, 14:34

olegshtompel, в Excel есть функция данные по столбцам.
Если хочешь, чтобы при открытии уже разделено было, то в df.to_csv поставь параметр sep='\t' или sep=';'. Какой-то из них точно сработает, а может и оба, точно не помню.

Новые блоги и статьи Все статьи Все блоги /
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .	Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip

@olegshtompel 0 / 0 / 0 Регистрация: 17.07.2022 Сообщений: 11
	13.01.2023, 23:38 [ТС]
	Подскажите, а как это всё вывести в эксель файл ? 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	14.01.2023, 09:35
	olegshtompel, да просто -берешь опенпиксель или xlrd и записываешь. Неужели лень пару примеров посмотреть? данные то уже есть, остался один шажок. 1

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	14.01.2023, 18:27
	olegshtompel, правила форума запрещают код присылать картинками, ошибки выкладывай тоже текстом, уважай читающих 0

@olegshtompel 0 / 0 / 0 Регистрация: 17.07.2022 Сообщений: 11
	14.01.2023, 18:30 [ТС]
	нужно так name = player.find_element ? 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	14.01.2023, 18:32
	уже предполагая твой ответ, все же опинтересуюсь - какую книгу по питону ты прочел, чтобы освоить основы, например про консоль и отступы? 0

@olegshtompel 0 / 0 / 0 Регистрация: 17.07.2022 Сообщений: 11
	14.01.2023, 18:41 [ТС]
	до этого сайта разбирался методом тыка и почти всё получалось ), но с этим сайтом всё смешалось ))) Добавлено через 1 минуту о теперь заработало огромное Спасибо! ещё попробую разобраться как теперь его в эксель ) 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	15.01.2023, 08:51
	olegshtompel, ты притормози, подумай головой то хоть секундочку. У тебя в df что лежит? вот прям подумай, код посмотри... под спойлером ответ Кликните здесь для просмотра всего текста ничего! ты туда ничего же не поместил, кроме каких то 2 слов ({'name': ['name'], 'rating': ['rating']})! потому когда пишешь df в файл то там пусто. Тебе не нужна панда, тебе нужно просто записать УЖЕ готовый словарь в ексель. Способы тебе написали выше, но ты не читаешь не только книжки, но и советы 2

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	21.01.2023, 14:31
	olegshtompel, ты понимаешь разницу цсв и ексель(xlsx)? Можно например загуглить как правильно открывать цсв в Ексель программе и вообще почитать про форматы 1

@Red white socks 4523 / 1899 / 336 Регистрация: 18.01.2021 Сообщений: 3,489
	21.01.2023, 14:34
	olegshtompel, в Excel есть функция данные по столбцам. Если хочешь, чтобы при открытии уже разделено было, то в df.to_csv поставь параметр sep='\t' или sep=';'. Какой-то из них точно сработает, а может и оба, точно не помню. 0