Создаю парсер для системы управления (админка)

@fi2522 · Регистрация: 28.12.2020

Студворк — интернет-сервис помощи студентам

Всем привет! Я прошел обучение питону, но мое знакомство с ним только началось. По видео-урокам я "научился парсить hh.ru"

Кстати вот отличная обучалка: https://www.youtube.com/watch?... Laboratory

Логика всего этого в принципе ясна. Нужен совет от знающих людей

В общем есть админка (web) работающего приложения.

Требуется понимание и решение:
1. Как реализовать вход? Логика: Запускаем в pycharm код. Переходим на страницу сайт.ру/куда_надо. Нас перекидывает сайт.ру/логин. Вводим руками номер телефона. Вводим руками код из смс. Переходим на страницу сайт.ру/куда_надо и работаем
1а. использование fake-useragent помогает зайти на сайт. Есть альтернативы или и так хорошо?
1б. chromedriver можно использовать для логина? Помогите советом, так проще залогиниться.

2. Будут ли где-то храниться кукис для повторного входа? Или надо повторять пункт 1?
3. Парсеру помимо главной страницы надо кликать в каждый объект и брать информацию о нем
4. Сохранить результаты в различные xls и работать с ними.

@fi2522 · 13.01.2023, 14:47 **[ТС]**

Сообщение от fi2522

Хотелось бы воспользоваться Юпитером, однако я так понимаю - проблема с установкой модулей именно в систему.

В Pycharm была замечена та же фигня с терминалом, однако там лечится через добавление в Python Interpreter.

Есть предположения как добавить модули?

Обратите внимание на скрин в посте от 11:23 (не знаю как ссылку сделать)

Команда в терминале прописана. Селениум установлен. Да вот юпитер не видит его. Какие варианты?

@Red white socks · 13.01.2023, 15:05

fi2522,
1. запустите jupyter с командной строки: python -m notebook
2. в jupyter или командной строке наберите pip install selenium
3. убедитесь, что установка выполнена полностью
4. import selenium
5. работайте и наслаждайтесь

С селениум помнится у меня только проблема была нужный webdriver установить, надо в документацию совместимость смотреть с версией браузера.

@fi2522 · 13.01.2023, 15:28 **[ТС]**

Еще раз обращу внимание на скрин.

Через pip3 установил (даже пробовал удалить-установить заново)

Code
1
pip3 show selenium #показывает версию, все норм

А вот в данном случае «модуль не найден»

Code
1
import selenium

@Welemir1 · 13.01.2023, 15:29

fi2522, а вы почему в одном случае пишете пип, в другом пип3? попробуте везде пип3

@fi2522 · 13.01.2023, 15:31 **[ТС]**

Это для наглядности. В моем случае работает только команда с пип3

@fi2522 · 16.01.2023, 02:48 **[ТС]**

Сообщение от fi2522

Еще раз обращу внимание на скрин.

Через pip3 установил (даже пробовал удалить-установить заново)

Code
1
pip3 show selenium #показывает версию, все норм

А вот в данном случае «модуль не найден»

Code
1
import selenium

Судя по всему библиотеки устанавливаются куда-то не туда...
Видимо питонов установлено несколько, за пару дней решение годное не нашел. Придется в крайнем случае сносить макось либо пользоваться как есть (прыгать с юпитера на пайчарм, либо не добавлять новые модули)

Собрал я значит данные по столбцам в списки (с одинаковым числом элементов)
Пример:
num = ['1','2','3',... '100']
name = ['Вася', 'Коля', ...'Петя']
work = ['строитель', 'водитель', 'учитель', ...'ценитель']
yes = ['yes', 'no, 'yes', ... 'no']

Типа такого правила
full_table[i] = num[i] + name[i] + work[i] + yes[i]

Внимание вопрос:
Как циклом или иным способом создать таблицу CSV где будут строки: (без подключения сторонних библиотек)
1, Вася, строитель, yes
.....
100, Петя, ценитель, no (разделители столбцов - запятые)

@fi2522 · 16.01.2023, 10:32 **[ТС]**

Сам спросил и сам ответил)

Python
1
2
3
4
5
6
7
8
# Объединяем списки в таблицу
 
# headers = []
with open ('test_list.csv' , 'w') as file:
    writer = csv.writer(file)
#     writer.writerow(headers)
    for i in range(100):
        writer.writerow([num[i],name[i]....)

Добавлено через 37 минут
И сам решил проблему с модулями. Так как питонов установлено несколько (по глупости) Выявляем перебором каким пользуется юпитер

Python
1
2
!pip3.10 install pandas
!pip3.11 install pandas

В итоге выяснилось после импорта модулей, что юпитер пользует 3.11
Теперь смело подключаем все библиотеки

@Welemir1 · 16.01.2023, 11:18

... или удаляем лишний питон чтобы больше не гадать

Новые блоги и статьи Все статьи Все блоги /
мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))	Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .	Нашел вот забавное видео о измерениях. Лучшее что я видел на эту тему kumehtar 26.08.2026 ILETXiw9bMQ Основная суть и тезисы по измерениям: 0D (Нулевое измерение): точка, не имеющая длины, ширины, высоты или объема. Объект не может перемещаться в 0D. 1D (Первое измерение):. . .	[EasyBuilder Pro] Памятка по разработке для панелей Weintek ФедосеевПавел 26.08.2026 Памятка по разработке для панелей Weintek ВВЕДЕНИЕ Ранее, при реализации проектов основное внимание уделял разработке управляющей программы для контроллера, а панели оператора доставалось время. . .
Модель по догадкам anaschu 25.08.2026 Прошло две недели. Я уже рассказывал, как разговаривал с сотрудниками у сортировки и как понял, что главная ветка — не про приёмку, а про отбор. Но тогда я думал, что понял механику. На этой неделе я. . .	Запись в регистр сведений независимо от заполненности табличной части Maks 25.08.2026 Реализация из решения ниже выполнена на нетиповом документе с несколькими табличными частями, разработанного в КА2. Задача: Обеспечить запись документа в регистр сведений независимо от. . .	Ноутбук Альфария kumehtar 24.08.2026 Встретился тут в сети ноутбук Альфария, примарха Альфа-Легиона. Хотя возможно, это ноутбук Омегона, разумеется. Ну как вам?	Мастера простых решений DevAlt 23.08.2026 В сишарп стэках winforms, да и wpf существует сложная система связывания источниках данных и элементов формы(текстовые поля и метки), опирается все это на технологию событий и мета. . .

@fi2522 3 / 3 / 0 Регистрация: 28.12.2020 Сообщений: 22

	Создаю парсер для системы управления (админка) 10.01.2023, 16:11. Показов 1885. Ответов 27 Метки pycharm, python (Все метки) Всем привет! Я прошел обучение питону, но мое знакомство с ним только началось. По видео-урокам я "научился парсить hh.ru" Кстати вот отличная обучалка: https://www.youtube.com/watch?... Laboratory Логика всего этого в принципе ясна. Нужен совет от знающих людей В общем есть админка (web) работающего приложения. Требуется понимание и решение: 1. Как реализовать вход? Логика: Запускаем в pycharm код. Переходим на страницу сайт.ру/куда_надо. Нас перекидывает сайт.ру/логин. Вводим руками номер телефона. Вводим руками код из смс. Переходим на страницу сайт.ру/куда_надо и работаем 1а. использование fake-useragent помогает зайти на сайт. Есть альтернативы или и так хорошо? 1б. chromedriver можно использовать для логина? Помогите советом, так проще залогиниться. 2. Будут ли где-то храниться кукис для повторного входа? Или надо повторять пункт 1? 3. Парсеру помимо главной страницы надо кликать в каждый объект и брать информацию о нем 4. Сохранить результаты в различные xls и работать с ними. Миниатюры 0

@Red white socks 4523 / 1899 / 336 Регистрация: 18.01.2021 Сообщений: 3,489
	13.01.2023, 15:05
	fi2522, 1. запустите jupyter с командной строки: python -m notebook 2. в jupyter или командной строке наберите pip install selenium 3. убедитесь, что установка выполнена полностью 4. import selenium 5. работайте и наслаждайтесь С селениум помнится у меня только проблема была нужный webdriver установить, надо в документацию совместимость смотреть с версией браузера. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,700 Записей в блоге: 29
	13.01.2023, 15:29
	fi2522, а вы почему в одном случае пишете пип, в другом пип3? попробуте везде пип3 0

@fi2522 3 / 3 / 0 Регистрация: 28.12.2020 Сообщений: 22
	13.01.2023, 15:31 [ТС]
	Это для наглядности. В моем случае работает только команда с пип3 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,700 Записей в блоге: 29
	16.01.2023, 11:18
	... или удаляем лишний питон чтобы больше не гадать 0