|
2 / 2 / 0
Регистрация: 27.12.2010
Сообщений: 89
|
||||||
Очень нужны дельные советы: парсить сайт04.07.2013, 21:39. Показов 7898. Ответов 25
Метки нет (Все метки)
Стоит задача вытащить из сайта все закупки, которые были сделаны за период. Я полный новичок в теме, но уже начитанный новичок
Прошу подскажите какой тег нужно в брать в функции def handle_starrtag(self, tag,attrs), чтобы вытащить именно закупки с сайта? - по идеи ссылки? - но как именно те, что требуются...-подсказали обращаться через ключи (keys), но что-то расплывчато все очень. И еще дайте совет как верно подключиться к серверу нужной html-странички, прочел про класс from http.client import HTTPConnection и взял только con = HTTPConnection("http://etp.setonline.ru/app/Search/page") - но думаю это несовсем верно. Объясните кто что сможет.
0
|
||||||
| 04.07.2013, 21:39 | |
|
Ответы с готовыми решениями:
25
Очень нужны советы Диплом, ОЧЕНЬ нужны советы Дайте дельные советы по выбору ПК лимит 35т |
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|||||||
| 12.07.2013, 10:17 | |||||||
Поэтому я и привык к HTTPConnection. Есть все, что необходимо для http запроса
0
|
|||||||
|
4866 / 3288 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||
| 12.07.2013, 12:01 | |||
|
даже при скачивании сотни страниц ты не заметишь разницы да, и раскодируешь ты неправильно, кодировку она не определяет автоматом, её нужно извлекать из ответа
0
|
|||
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|
| 12.07.2013, 12:30 | |
|
я просто на автомате воспользовался HTTPConnection. А соединение пусть висит,пока не закончит работать скрипт или не отправлю новый запрос или не отвалится по времени. На работе приходится отправлять много запросов, весной начало отваливаться по числу открытых портов.Поэтому и пришлось думать чтобы запросы были внутри одного соединения, сокета.
Зарыть можно в любой момент, я писал пример парсера, а не полностью рабочего приложения, соединение можно закрыть в любой момент и любом местеcили открыть новое соединение. По поводу кодировки да, согласен, придется определять из заголовка, в отличие от автоматическиэто выполняющего urllib. Но был однажды случай при написании парсера для сайта, на котором часть html была в utf-8, а другая часть в cp-1251. Бывает всяко. К тому же, в ряде фирм политика безопасности такова, что доступно только несколько портов для работы, и распыляться ими бессмысленно. Я говорил не о текущем задании, а в общем, на будущее так сказать
0
|
|
|
4866 / 3288 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||||||
| 12.07.2013, 12:50 | |||||||
|
либо ты его открываешь каждый раз, делаешь запрос, закрываешь каждый раз
0
|
|||||||
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|||||||||||
| 12.07.2013, 13:22 | |||||||||||
|
Или я вас не понимаюили вы меня((
я же сказал, почему я привык использовать HTTPConnection. Когда заканчиваются свободные порты, вываливаются exception, работа останавливается пока не освободится порт. А что касается реализации, думаете я не понимаю о чем пишу? вот вам тривиальный пример
в отличие от трех возможных. В случае ошибки просто открываю новое соединение и не парюсь. Или реализация оч плоха?
1
|
|||||||||||
|
4866 / 3288 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||||||||||||||
| 13.07.2013, 07:52 | |||||||||||||||
если .close() нет, оно может остаться ESTABLISHED даже после вызова функции закрытие сокета выполняется сборщиком мусора, походу, потому что в C сокет остаётся висеть, если его не закрыть (на сборщик мусора полагаться нельзя) Добавлено через 22 минуты с точки зрения питона, много ошибок почитай http://www.python.org/dev/peps/pep-0008/
тогда бы ты увидел, что при создании класса в него подаются сервер и порт, правильно бы запустил его (может, нужно ручное соединение), вызвал бы метод, который отвечает за всю передачу, подал бы в него последовательность запросов, проверил, как он работает а так получился класс - ни рыба, ни мясо
1
|
|||||||||||||||
| 13.07.2013, 07:52 | |
|
Помогаю со студенческими работами здесь
26
Оцените сборки, дельные советы - плюсик к в карму Очень нужны ваши советы по программе-справочнике! Сборка ПК (ДНС, 80-120к), очень нужны советы Очень нужны советы по решение, Кривошип, вращение
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ВВЕДЕНИЕ
Выполняя задание на управление насосной группой заполнения резервуара,. . .
|
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
|
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд.
Даже если у вас. . .
|
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает
монорепозиторий в котором находятся все исходники.
При создании нового решения, мы просто добавляем нужные проекты
и имеем. . .
|