|
0 / 0 / 0
Регистрация: 18.09.2013
Сообщений: 3
|
||||||
Правильный парсер19.09.2013, 00:53. Показов 2295. Ответов 7
Метки нет (Все метки)
Доброе время суток!
Сразу приведу пример кода:
Назначение думаю становиться ясным. Файл с урлами, большой около 100к адресов приходится проходить за раз, по этому я решил не загружать весь список в память а работать по линейно, так как нужна большая скорость парсинга. Выявились некоторые недостатки: 1) Форма программы тормозит, хоть я ее рендерю каждый раз после шага цикла, но то ли я не правильно делаю то ли это отголоски неправильного алгоритма. 2) В ней не возможно сделать паузу, в идеале Sleep привязанный к событию 3) Многопоточность, подозреваю что проблемы указанные выше, как раз от этого. Но в реализации ее я наткнулся на грабли, то есть как обращаться к одному файловому дескриптору, например 5 отдельным потокам. Я так подразумеваю, что нужно создавать систему очередей, тогда сама идея многопоточности, становиться под вопросом, хотя могу и ошибаться. Программа хоть и работает, но покоя мне не дает, хочу довести до идеала. Натолкните на правильный алгоритм, хочу научится правильно мыслить. Всем спасибо за ранее.
0
|
||||||
| 19.09.2013, 00:53 | |
|
Ответы с готовыми решениями:
7
Правильный или не правильный ответ Indy: программа не получает правильный ответ от сервера, но сниффер показывает правильный ответ Не правильный H1? |
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
|
| 19.09.2013, 08:32 | |
|
1. Зачем парсеру GUI? Вполне подойдет консольное приложение. Для увеличения скорости парсинга используйте многопоточность (Thread, TPL).
3. Сто тысяч ссылок - это мала. Поэтому их можно загрузить в потокобезопасную очередь. Файл тоже можно использовать, для этого просто блокируете файл (lock)
1
|
|
|
0 / 0 / 0
Регистрация: 18.09.2013
Сообщений: 3
|
|
| 19.09.2013, 15:46 [ТС] | |
|
Спасибо Петррр, то есть торможение формы вызвано однопоточностью? я правильно понял?
0
|
|
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
|
| 19.09.2013, 16:18 | |
|
Совершенно точно.
0
|
|
| 19.09.2013, 16:23 | |
|
Не по теме: вот как всегда название темы интересное, а зайдешь там банальное омг тормозит окно или как нажать кнопку на сайте..
0
|
|
| 19.09.2013, 18:44 | |
|
Не по теме: m0nax, В чем проблема? Создаете тему с названием "Правильный парсер" и вперед. Коллективным разумом пилить...
0
|
|
|
0 / 0 / 0
Регистрация: 18.09.2013
Сообщений: 3
|
||
| 20.09.2013, 00:39 [ТС] | ||
|
m0nax В точку, я так то как раз и хотел мысли по реализации правильного алгоритма парсера, я даже так и написал
1) Многопоточность, при первом приближении я думаю что это сделать двумя способами, Thread или BackgroundWorker, ссылки на потоки я бы запихнул в глобальный ArrayList, чтобы было удобно контролировать их 2) Данные, загружать в ArrayList и отправлять в ConcurrentQueue. Это моя первая программа в десктопах, не обращайте внимание на спецефический подход)
0
|
||
|
Неадекват
1501 / 1237 / 248
Регистрация: 02.04.2010
Сообщений: 2,807
|
|
| 20.09.2013, 02:54 | |
|
Vec, Имхо, для многопоточности лучше таски - вся необходимая инфраструктура уже есть в фреймворке, кода для управления потоками минимум.
Глобальный массив - не лучшая идея. Алгоритм работы: -Сунули данные парсеру. -Парсер переварил, обработал данные. -Парсер уведомил нас что закончил и доступно объяснил, где лежит результат. И все это в изолированном режиме - результаты или запросы пересекаться не должны.
0
|
|
| 20.09.2013, 02:54 | |
|
Помогаю со студенческими работами здесь
8
Правильный инклюд *.h! Правильный ответ Правильный ViewPager Не правильный JS возможно Правильный размер Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование
. \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json>
Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом.
# Check if. . .
|
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так:
https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347
Основана на STM32F303RBT6.
На борту пять. . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|