|
2 / 2 / 0
Регистрация: 27.12.2010
Сообщений: 89
|
||||||
Очень нужны дельные советы: парсить сайт04.07.2013, 21:39. Показов 7996. Ответов 25
Метки нет (Все метки)
Стоит задача вытащить из сайта все закупки, которые были сделаны за период. Я полный новичок в теме, но уже начитанный новичок
Прошу подскажите какой тег нужно в брать в функции def handle_starrtag(self, tag,attrs), чтобы вытащить именно закупки с сайта? - по идеи ссылки? - но как именно те, что требуются...-подсказали обращаться через ключи (keys), но что-то расплывчато все очень. И еще дайте совет как верно подключиться к серверу нужной html-странички, прочел про класс from http.client import HTTPConnection и взял только con = HTTPConnection("http://etp.setonline.ru/app/Search/page") - но думаю это несовсем верно. Объясните кто что сможет.
0
|
||||||
| 04.07.2013, 21:39 | |
|
Ответы с готовыми решениями:
25
Очень нужны советы Диплом, ОЧЕНЬ нужны советы Дайте дельные советы по выбору ПК лимит 35т |
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|||||||
| 12.07.2013, 10:17 | |||||||
Поэтому я и привык к HTTPConnection. Есть все, что необходимо для http запроса
0
|
|||||||
|
4866 / 3287 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||
| 12.07.2013, 12:01 | |||
|
даже при скачивании сотни страниц ты не заметишь разницы да, и раскодируешь ты неправильно, кодировку она не определяет автоматом, её нужно извлекать из ответа
0
|
|||
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|
| 12.07.2013, 12:30 | |
|
я просто на автомате воспользовался HTTPConnection. А соединение пусть висит,пока не закончит работать скрипт или не отправлю новый запрос или не отвалится по времени. На работе приходится отправлять много запросов, весной начало отваливаться по числу открытых портов.Поэтому и пришлось думать чтобы запросы были внутри одного соединения, сокета.
Зарыть можно в любой момент, я писал пример парсера, а не полностью рабочего приложения, соединение можно закрыть в любой момент и любом местеcили открыть новое соединение. По поводу кодировки да, согласен, придется определять из заголовка, в отличие от автоматическиэто выполняющего urllib. Но был однажды случай при написании парсера для сайта, на котором часть html была в utf-8, а другая часть в cp-1251. Бывает всяко. К тому же, в ряде фирм политика безопасности такова, что доступно только несколько портов для работы, и распыляться ими бессмысленно. Я говорил не о текущем задании, а в общем, на будущее так сказать
0
|
|
|
4866 / 3287 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||||||
| 12.07.2013, 12:50 | |||||||
|
либо ты его открываешь каждый раз, делаешь запрос, закрываешь каждый раз
0
|
|||||||
|
1 / 1 / 0
Регистрация: 07.07.2013
Сообщений: 7
|
|||||||||||
| 12.07.2013, 13:22 | |||||||||||
|
Или я вас не понимаюили вы меня((
я же сказал, почему я привык использовать HTTPConnection. Когда заканчиваются свободные порты, вываливаются exception, работа останавливается пока не освободится порт. А что касается реализации, думаете я не понимаю о чем пишу? вот вам тривиальный пример
в отличие от трех возможных. В случае ошибки просто открываю новое соединение и не парюсь. Или реализация оч плоха?
1
|
|||||||||||
|
4866 / 3287 / 468
Регистрация: 10.12.2008
Сообщений: 10,570
|
|||||||||||||||
| 13.07.2013, 07:52 | |||||||||||||||
если .close() нет, оно может остаться ESTABLISHED даже после вызова функции закрытие сокета выполняется сборщиком мусора, походу, потому что в C сокет остаётся висеть, если его не закрыть (на сборщик мусора полагаться нельзя) Добавлено через 22 минуты с точки зрения питона, много ошибок почитай http://www.python.org/dev/peps/pep-0008/
тогда бы ты увидел, что при создании класса в него подаются сервер и порт, правильно бы запустил его (может, нужно ручное соединение), вызвал бы метод, который отвечает за всю передачу, подал бы в него последовательность запросов, проверил, как он работает а так получился класс - ни рыба, ни мясо
1
|
|||||||||||||||
| 13.07.2013, 07:52 | |
|
Оцените сборки, дельные советы - плюсик к в карму Очень нужны ваши советы по программе-справочнике! Сборка ПК (ДНС, 80-120к), очень нужны советы Очень нужны советы по решение, Кривошип, вращение
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
сукцессия 29. Переход от одних деревьев на другие делать более или менее вероятностным?
anaschu 12.07.2026
Насколько смена типов микоризы — исключительное событие в двухвековой сукцессии? Оценка вероятности в пространстве параметров
В текущей версии модели успешно реализован ключевой механизм. . .
|
сукцессия 27. Думаю, как переделывать уже написанную статью с планами на сукцессию.
anaschu 12.07.2026
Анализ соответствия модели требованиям
Реализованные компоненты:
Механизм закисления почвы через протонную помпу
Конкуренция между типами микориз
pH как триггер сукцессии
C/ P соотношение. . .
|
Сукцессия 26. Мат модель создана.
anaschu 12.07.2026
Модель смены растительных сукцессий посредством управления грибами работает внутри небольшой ячейки почвы, восстанавливающейся после пожара, где ненадолго бывшее царство хвойных снова захватили. . .
|
Решил проблему с ошибкой пагинации сообщений с сервера на алгоритме обхода дерева "Эстафета хвоста".
Hrethgir 12.07.2026
Проблема была в том, что удалялась именно новая кнопка, а не старая. Ни один ИИ не обнаружил это, а сам я смог только когда с работой стало попроще и когда заставил работать будущее автономное. . .
|
|
сукцессия 25. Хронология ошибок
anaschu 12.07.2026
# От 50-тонного гриба до устойчивого леса: хроника ошибок при построении модели вековой сукцессии микоризы
## О чём эта статья
В процессе построения ОДУ-модели (система дифференциальных. . .
|
сукцессия 24. Промежуточное общее описание модели
anaschu 12.07.2026
Хендофф: модель АМ→ЭКМ сукцессии микоризы (ризосфера, 50 лет)
Содержание проекта
Симуляция вековой (50 лет) экологической сукцессии в почве леса
Основные участники: АМ-гриб, ЭКМ-гриб,. . .
|
сукцессия 23. Более физиологичная физиология, более экологичная экология, более диффурные диффуры.
anaschu 12.07.2026
Что реально нашли и починили за эти 5 часов
Правило Линдемана (КПД конверсии сахара в тело, kEff) — раньше 100% полученного углерода шло прямо в биомассу гриба; теперь только kEff=0. 5 (после. . .
|
сукцессия 22. От артефактов к физиологии: калибровка агентной модели грибной сукцессии для воспроизведения сезонной динамики и pH-плато
anaschu 11.07.2026
Аннотация
В данной работе представлена калибровка агентной модели динамики грибных сообществ (fungal-succession), направленная на устранение нефизичных артефактов (коллапс биомассы, мгновенное. . .
|