|
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75
|
|||||||||||
Парсинг слов и синонимов к ним22.07.2022, 23:56. Показов 1526. Ответов 2
На повестке дня, делаю парсинг базы данных синонимов, и вот в чем делема, происходит это очень долго, примерно 100 слов с синонимами в минуту, там около 20000 слов, и мне бы хотелось ускорить этот процесс, в этом деле новичок, надеюсь специалисты подскажут как можно ускорить это дело, свой код оставляю ниже
Конкретно меня интересует оптимизация этих строк кода:
0
|
|||||||||||
| 22.07.2022, 23:56 | |
|
Ответы с готовыми решениями:
2
Какой ресурс посоветуете для поиска синонимов слов? Из слов составить предложение и произвести с ним заданные действия Парсинг ключевых слов |
|
4523 / 1899 / 336
Регистрация: 18.01.2021
Сообщений: 3,489
|
||
| 23.07.2022, 01:11 | ||
Сообщение было отмечено Arsenicum как решение
Решение
Уберите вставку, апдейт и коммит из цикла.
Во-первых, непонятно, зачем вы вставляете в таблицу слово, потом апдейтите в этой строке синонимы. Вместо того, чтобы по-человечески вставить сразу строку целиком. Во-вторых, если уж у вас БД, то какой смысл тратить на слово всего одну строку таблицы, схлопывая все синонимы. Как потом с этим работать? Вставляйте каждый синоним в отдельной строке. В-третьих, причина медленной работы в построчном коммите. Считайте пакет слов с их синонимами, например, все слова на конкретную букву, а затем вставляйте их, используя executemany. И последнее по порядку, но не по важности Дилемма - проблема выбора из двух, как правило равнозначных, альтернатив.
5
|
||
|
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75
|
||
| 23.07.2022, 01:43 [ТС] | ||
|
Благодарю, и вправду работать стало быстрее!
0
|
||
| 23.07.2022, 01:43 | |
|
Помогаю со студенческими работами здесь
3
Парсинг нецензурных слов в файле Создать объект WordArray, содержащий массив слов и позволяющий проводить над ним операции
Docx + python парсинг xml, не обновляются данные страниц, слов и символов Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Вывод данных через динамический список в справочнике
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2.
Задача: вывести данные из ТЧ нетипового документа. . .
|
Функция заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению.
На форме документа создается. . .
|
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
|
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
|
|
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
|
10 пpимет, которые всегда сбываются
Maks 31.03.2026
1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию.
2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .
|
Перемещение выделенных строк ТЧ из одного документа в другой
Maks 31.03.2026
Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
|
Functional First Web Framework Suave
DevAlt 30.03.2026
Sauve. IO
Апнулись до NET10.
Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта
так и в интерактивном режиме. из сложностей - чисто функциональный подход.
Решил. . .
|