|
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75
|
|||||||||||
Парсинг слов и синонимов к ним22.07.2022, 23:56. Показов 1475. Ответов 2
На повестке дня, делаю парсинг базы данных синонимов, и вот в чем делема, происходит это очень долго, примерно 100 слов с синонимами в минуту, там около 20000 слов, и мне бы хотелось ускорить этот процесс, в этом деле новичок, надеюсь специалисты подскажут как можно ускорить это дело, свой код оставляю ниже
Конкретно меня интересует оптимизация этих строк кода:
0
|
|||||||||||
| 22.07.2022, 23:56 | |
|
Ответы с готовыми решениями:
2
Какой ресурс посоветуете для поиска синонимов слов? Из слов составить предложение и произвести с ним заданные действия Парсинг ключевых слов |
|
4523 / 1899 / 336
Регистрация: 18.01.2021
Сообщений: 3,489
|
||
| 23.07.2022, 01:11 | ||
Сообщение было отмечено Arsenicum как решение
Решение
Уберите вставку, апдейт и коммит из цикла.
Во-первых, непонятно, зачем вы вставляете в таблицу слово, потом апдейтите в этой строке синонимы. Вместо того, чтобы по-человечески вставить сразу строку целиком. Во-вторых, если уж у вас БД, то какой смысл тратить на слово всего одну строку таблицы, схлопывая все синонимы. Как потом с этим работать? Вставляйте каждый синоним в отдельной строке. В-третьих, причина медленной работы в построчном коммите. Считайте пакет слов с их синонимами, например, все слова на конкретную букву, а затем вставляйте их, используя executemany. И последнее по порядку, но не по важности Дилемма - проблема выбора из двух, как правило равнозначных, альтернатив.
5
|
||
|
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75
|
||
| 23.07.2022, 01:43 [ТС] | ||
|
Благодарю, и вправду работать стало быстрее!
0
|
||
| 23.07.2022, 01:43 | |
|
Помогаю со студенческими работами здесь
3
Парсинг нецензурных слов в файле Создать объект WordArray, содержащий массив слов и позволяющий проводить над ним операции
Docx + python парсинг xml, не обновляются данные страниц, слов и символов Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
|
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога
Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
|
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|