|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||||||
Как ускорить код? Numba?08.06.2020, 00:19. Показов 2553. Ответов 28
Подскажите как можно ускорить код? TXT файлы весят 20MB, python долго считывает их.
Пытался через библиотеку ‘Numba’, но слишком много действий для jit'a и выполнение завершается.
0
|
||||||
| 08.06.2020, 00:19 | |
|
Ответы с готовыми решениями:
28
Как ускорить код?
Как ускорить код |
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||
| 10.06.2020, 00:18 [ТС] | ||
|
0
|
||
|
|
|
| 10.06.2020, 00:38 | |
|
Сколько у тебя файлов?
Что ты ищешь в каждом html? Не проще извлечь нужную часть html (как часть какого-то элемента страницы) с помощью XPATH или селекторов CSS (это называется html парсинг - lxml\bs4) и уже не тупо по строчкам этого html итерировать и проверять наличие этого нечто в файлах, а искать что-то конкретное в файлах? Искать тогда можно будет уже не линейным поиском, а регулярным выражением.
0
|
|
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||
| 10.06.2020, 11:43 [ТС] | ||
|
0
|
||
|
|
||
| 10.06.2020, 13:51 | ||
|
И что ты хочешь проверить? Вхождение первого попавшегося\любого артикула из файла в конкретный html и затем записать его url и этот первый попавшийся артикул? (так следует из твоего первого кода, только вместо return должен быть break). Почему тебя интересен любой артикул? В этом случае можно все артикулы засунуть в set и проверять set([артикулы_из_файла\файлов]) & set([артикулы_из_конкретного_html]) - ровно одна операция на каждый url. Если результат не пустой set(), значит есть пересечение. Или ты хочешь все-таки декартово произведение и сравнивать каждый с каждым? return в твоем коде завершает не цикл, а всю функцию run целиком. break делает выход из ближайшего цикла. Для досрочного выхода из вышележащих циклов уже не обойтись без условий с флагами, так как в Python нет меток циклов. try except неправильно делать на весь код. Он должен быть как выстрел снайпера - ровно на одну операцию, которая может вызвать исключение, которое ты не можешь проверить и исключить. В данном случае это запрос на сервер. И у каждого исключения есть имя, поэтому ловить нужно не любое исключение, а конкретное. Если базовых исключений на операцию может быть несколько, писать под каждое свой блок except. И только в самом последнем блоке except можно написать except Exception для отлова всех прочих исключений.
2
|
||
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||||||||
| 10.06.2020, 21:55 [ТС] | ||||||||
0
|
||||||||
|
|
||||||
| 10.06.2020, 22:44 | ||||||
|
Хотя бы вот к такому варианту свой код приведите...
Не нужно делать в цикле то, что должно быть вне цикла.
1
|
||||||
|
║XLR8║
|
|
| 10.06.2020, 22:46 | |
|
1
|
|
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
|
| 11.06.2020, 11:30 [ТС] | |
|
Garry Galler, outoftime, спасибо вам, все работает намного быстрей!
0
|
|
| 11.06.2020, 11:30 | |
|
Как ускорить код? Можно как-то ускорить код?
Как ускорить код для задачи про забор? Ускорить асинхронный код Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
ИИ не может найти нужный язык в списке
Supersumestria 05.10.2026
Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык.
Возвращает он вот это:
https:/ / i. **********/ vqBWLe2. png
Нужную строчку в 3й колонке просто выдумал. .
Это. . .
|
Новая последняя моя музыка в SUNO
zorxor 05.10.2026
Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor.
Это. . .
|
Nekobox - outbounds[0].transport: unknown transport type: raw
damix 01.10.2026
Фикс ошибки
Правым кликом по серверу -> отладочная информация -> edit
Заменить "net": "raw", на "net": "tcp",
Нажать кнопку reload.
|
Программный домашний кинотеатр
russiannick 27.09.2026
Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js.
В помощники взял Яндекс-Алису.
Было создано три зала на разные интересы.
исторические и ретро
сериал Хичкок. . .
|
|
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
|
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#.
Название изменил на ColorStep.
Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
|
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами:
- ВидТО (СправочникСсылка. ВидыТО);
- ВидГСМ. . .
|
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала.
Ниже прикреплён. . .
|