|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||||||
Как ускорить код? Numba?08.06.2020, 00:19. Показов 2514. Ответов 28
Подскажите как можно ускорить код? TXT файлы весят 20MB, python долго считывает их.
Пытался через библиотеку ‘Numba’, но слишком много действий для jit'a и выполнение завершается.
0
|
||||||
| 08.06.2020, 00:19 | |
|
Ответы с готовыми решениями:
28
Как ускорить код?
Как ускорить код |
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||
| 10.06.2020, 00:18 [ТС] | ||
|
0
|
||
|
|
|
| 10.06.2020, 00:38 | |
|
Сколько у тебя файлов?
Что ты ищешь в каждом html? Не проще извлечь нужную часть html (как часть какого-то элемента страницы) с помощью XPATH или селекторов CSS (это называется html парсинг - lxml\bs4) и уже не тупо по строчкам этого html итерировать и проверять наличие этого нечто в файлах, а искать что-то конкретное в файлах? Искать тогда можно будет уже не линейным поиском, а регулярным выражением.
0
|
|
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||
| 10.06.2020, 11:43 [ТС] | ||
|
0
|
||
|
|
||
| 10.06.2020, 13:51 | ||
|
И что ты хочешь проверить? Вхождение первого попавшегося\любого артикула из файла в конкретный html и затем записать его url и этот первый попавшийся артикул? (так следует из твоего первого кода, только вместо return должен быть break). Почему тебя интересен любой артикул? В этом случае можно все артикулы засунуть в set и проверять set([артикулы_из_файла\файлов]) & set([артикулы_из_конкретного_html]) - ровно одна операция на каждый url. Если результат не пустой set(), значит есть пересечение. Или ты хочешь все-таки декартово произведение и сравнивать каждый с каждым? return в твоем коде завершает не цикл, а всю функцию run целиком. break делает выход из ближайшего цикла. Для досрочного выхода из вышележащих циклов уже не обойтись без условий с флагами, так как в Python нет меток циклов. try except неправильно делать на весь код. Он должен быть как выстрел снайпера - ровно на одну операцию, которая может вызвать исключение, которое ты не можешь проверить и исключить. В данном случае это запрос на сервер. И у каждого исключения есть имя, поэтому ловить нужно не любое исключение, а конкретное. Если базовых исключений на операцию может быть несколько, писать под каждое свой блок except. И только в самом последнем блоке except можно написать except Exception для отлова всех прочих исключений.
2
|
||
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
||||||||
| 10.06.2020, 21:55 [ТС] | ||||||||
0
|
||||||||
|
|
||||||
| 10.06.2020, 22:44 | ||||||
|
Хотя бы вот к такому варианту свой код приведите...
Не нужно делать в цикле то, что должно быть вне цикла.
1
|
||||||
|
║XLR8║
|
|
| 10.06.2020, 22:46 | |
|
1
|
|
|
0 / 0 / 0
Регистрация: 27.02.2014
Сообщений: 39
|
|
| 11.06.2020, 11:30 [ТС] | |
|
Garry Galler, outoftime, спасибо вам, все работает намного быстрей!
0
|
|
| 11.06.2020, 11:30 | |
|
Как ускорить код? Можно как-то ускорить код?
Как ускорить код для задачи про забор? Ускорить асинхронный код Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
|
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#.
Название изменил на ColorStep.
Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
|
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами:
- ВидТО (СправочникСсылка. ВидыТО);
- ВидГСМ. . .
|
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала.
Ниже прикреплён. . .
|
|
Программа опроса у.з. расходомера SLS-720F
Argus19 02.09.2026
Программа опроса у. з. расходомера SLS-720F
Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU.
Опрашиваются регистры. . .
|
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0.
Maks 31.08.2026
При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка:
Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
|
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм
anaschu 30.08.2026
Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо
Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .
|
Оттачиваю умение писать js программы.
russiannick 30.08.2026
Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман.
Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .
|