Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Форум программистов и сисадминов Киберфорум > Форум программистов > Python > Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.56/9: Рейтинг темы: голосов - 9, средняя оценка - 4.56
 Аватар для Anonymous4722
5 / 3 / 2
Регистрация: 29.11.2012
Сообщений: 545

Парсинг web страничек. библиотеки import requests

18.05.2020, 22:01. Показов 2014. Ответов 9
Метки нет (Все метки)
Студворк — интернет-сервис помощи студентам
Добрый день. Хотел попробовать написать простенький парсер странички. Но почему то не работает этот код:
Python
1
2
3
4

import requests
from lxml import etree
import lxml.html
import csv
подчеркивает. Я смотрел просто как один человек делает и у него работает.
IDE PyCharm
0
Лучшие ответы (1)
Сообщение: #14558071
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
 18.05.2020, 22:01
Ответы с готовыми решениями:

Добавил модуль requests в Visual Studio, но import requests подсвечен зеленым
Добавил модуль requests в Visual Studio, но import requests подсвечен зеленым. Как исправить?

Использование по import requests. ImportError: No module named requests
Приветствую, начну с того, что я самый новый новичек и код который написан ниже это 1й скрипт после helloworld. Итак. Я нашел на...

Import requests
При импорте requests выдаёт ошибку: module 'http' has no attribute 'client' Добавлено через 5 минут И ещё при импорте smtplib: ...

9
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,664
Записей в блоге: 29
18.05.2020, 22:17
Цитата Сообщение от Anonymous4722 Посмотреть сообщение
подчеркивает.
шок-контент!
что подчеркивает? как? что при запуске пишет?

Цитата Сообщение от Anonymous4722 Посмотреть сообщение
Я смотрел просто как один человек делает и у него работает.
советую начать с основ питона, подозреваю что модули у тебя не установлены
0
 Аватар для Anonymous4722
5 / 3 / 2
Регистрация: 29.11.2012
Сообщений: 545
18.05.2020, 22:31  [ТС]
Цитата Сообщение от Welemir1 Посмотреть сообщение
шок-контент!
да
Цитата Сообщение от Welemir1 Посмотреть сообщение
что подчеркивает? как? что при запуске пишет?
etree
Цитата Сообщение от Welemir1 Посмотреть сообщение
советую начать с основ питона
как раз изучаю
Цитата Сообщение от Welemir1 Посмотреть сообщение
подозреваю что модули у тебя не установлены
вот как установить модули не знаю в pycharm
Вот еще код парсера:
Python
1
2
3
4
5
6
7
8
9
10

import requests
from lxml import etree
import lxml.html
import csv
 
 
def parse(url):
    api = requests.get(url)
    tree = lxml.html.document_fromstring(api.text)
    text_original=tree.xpath('//*[@id="click_area"]/div[2]/div[1]')
Я установил модуль, использовал команду pip и установил requests, вот почему-то etree подчеркивает.

Добавлено через 4 минуты
Welemir1, Вот, дописал, но etree все равно подчеркивает
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14

import requests
from lxml import etree
import lxml.html
import csv
 
 
def parse(url):
    api = requests.get(url)
    tree = lxml.html.document_fromstring(api.text)
    text_original=tree.xpath('//*[@id="click_area"]/div[2]/div[1]')
    print(text_original)
 
def main():
    parse("https://www.amalgama-lab.com/songs/t/tones_and_i/dance)monkey.html")
0
Заклинатель змей
 Аватар для DobroAlex
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
18.05.2020, 22:40
Anonymous4722, lxml установили?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,664
Записей в блоге: 29
19.05.2020, 08:09
Лучший ответ Сообщение было отмечено Anonymous4722 как решение

Решение

Цитата Сообщение от Anonymous4722 Посмотреть сообщение
Вот, дописал, но etree все равно подчеркивает
а lxml ты установил?
что пишет при запуске то? или ты в таком шоке от подчеркивания что даже не пытаешься запустить?
Цитата Сообщение от Anonymous4722 Посмотреть сообщение
вот как установить модули не знаю в pycharm
а вот как
1
 Аватар для Anonymous4722
5 / 3 / 2
Регистрация: 29.11.2012
Сообщений: 545
19.05.2020, 12:32  [ТС]
Цитата Сообщение от Welemir1 Посмотреть сообщение
а lxml ты установил?
да Установил.
Цитата Сообщение от Welemir1 Посмотреть сообщение
что пишет при запуске то? или ты в таком шоке от подчеркивания что даже не пытаешься запустить?
Уже все заработало, я там куча модулей установил с ключ словом etree.
Спасибо за помощь.
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
19.05.2020, 14:27
Цитата Сообщение от Anonymous4722 Посмотреть сообщение
я там куча модулей установил с ключ словом etree.
Молодец. Именно так все и делают. Тыкают пальцем в небо вместо чтения документации.
0
 Аватар для Anonymous4722
5 / 3 / 2
Регистрация: 29.11.2012
Сообщений: 545
19.05.2020, 14:34  [ТС]
Цитата Сообщение от Garry Galler Посмотреть сообщение
Именно так все и делают
Другого выхода не было(
Цитата Сообщение от Garry Galler Посмотреть сообщение
Тыкают пальцем в небо
Да, методом тыка я изучаю)
Цитата Сообщение от Garry Galler Посмотреть сообщение
вместо чтения документации.
Её не было. Я гуглил еще и про etree, но там ничего про это не было.
Пришлось установить несколько пакетов.
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
19.05.2020, 14:40
Цитата Сообщение от Anonymous4722 Посмотреть сообщение
Её не было.
Она есть.
На каждый модуль документация находится мгновенно по запросу: python имя_модуля documentation

Цитата Сообщение от Anonymous4722 Посмотреть сообщение
Да, методом тыка я изучаю)
Бесполезный способ.
0
 Аватар для Anonymous4722
5 / 3 / 2
Регистрация: 29.11.2012
Сообщений: 545
19.05.2020, 14:45  [ТС]
Цитата Сообщение от Garry Galler Посмотреть сообщение
Бесполезный способ.
Да, согласен.
Цитата Сообщение от Garry Galler Посмотреть сообщение
Она есть.
На каждый модуль документация находится мгновенно по запросу: python имя_модуля documentation
Спасибо за подсказку, учту.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
 19.05.2020, 14:45
Помогаю со студенческими работами здесь

import requests
import requests url = 'https://www.otcmarkets.com/' r = requests.get(url, auth=('user', 'pass')) print(r.status_code) нет...

Парсинг веб страничек
Здравствуйте. Хотел бы узнать у опытных программистов - сложно ли написать следующую программку: Пользователь вводит определенную ссылку...

Сохранение Web страничек
Здравствуйте, хотелось бы узнать: как можно сохранить веб-страницу? Кроме как "Сохранить как" на ней и онлайн html > pdf...

У кого есть теория на тему "аутентификация в web" или "авторизация в web" ?? хоть бы на 4-5 страничек а4
У кого есть теория на тему "аутентификация в web" или "авторизация в web" ?? хоть бы на 4-5 страничек а4!!!

Парсинг с использованием requests
Добрый день. Столкнулся со следующей проблемой. При попытке вытащить информацию с сайта отправлял post запрос. В качестве логина...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
10
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
 Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Поддержать - Реклама - Условия использования - Обратная связь
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru