Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/6: Рейтинг темы: голосов - 6, средняя оценка - 5.00
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75

Парсинг слов и синонимов к ним

22.07.2022, 23:56. Показов 1475. Ответов 2

Студворк — интернет-сервис помощи студентам
На повестке дня, делаю парсинг базы данных синонимов, и вот в чем делема, происходит это очень долго, примерно 100 слов с синонимами в минуту, там около 20000 слов, и мне бы хотелось ускорить этот процесс, в этом деле новичок, надеюсь специалисты подскажут как можно ускорить это дело, свой код оставляю ниже
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
import requests
import sqlite3
from bs4 import BeautifulSoup as BS
 
 
db = sqlite3.connect('mySY.db')
c = db.cursor()
c.execute("""CREATE TABLE IF NOT EXISTS nana (
    word    STRING ,
    synonim STRING DEFAULT ('')
)""")
global number
alpha = 'АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЫЬЭЮЯ'
for i in alpha:
    url_ = f'https://synonymonline.ru/{i}'
    sosa_ = requests.get(url_)
    soup_ = BS(sosa_.content, 'lxml')
    words_ = soup_.find(
        'ul', {'class': 'list-unstyled list-columns'}).find_all('a')
    for word_ in words_:
        c.execute(
            "INSERT INTO 'nana' ('word') VALUES(?)", (word_.text,))
        db.commit()
        url_syn = url_+f'/{word_.text.lower()}'
        sisi_ = requests.get(url_syn)
        siup_ = BS(sisi_.content, 'lxml')
        w_ = siup_.find(
            'ol', {'class': 'list-words list-columns'}).find_all('li')
        main = []
        for m in w_:
            main.append(m.text)
        a = ','.join(main)
        c.execute(
            "UPDATE nana SET synonim=? WHERE word=?", (a, word_.text,))
        db.commit()
    number = soup_.find('ul', {'class': 'pagination'}).find_all('li')
    for numanuma in number:
        pass
    for num in range(2, int(numanuma.text), 1):
        url = f'https://synonymonline.ru/{i}?page={num}'
        sosa = requests.get(url)
        soup = BS(sosa.content, 'lxml')
        words = soup.find(
            'ul', {'class': 'list-unstyled list-columns'}).find_all('li')
        for word in words:
            c.execute("INSERT INTO 'nana' ('word') VALUES(?)", (word.text,))
            db.commit()
            urlsyn = url_+f'/{word.text.lower()}'
            sisi = requests.get(urlsyn)
            siup = BS(sisi.content, 'lxml')
            w = siup.find(
                'ol', {'class': 'list-words list-columns'}).find_all('li')
            main = []
            for m in w:
                main.append(m.text)
            b = ','.join(main)
            c.execute(
                "UPDATE nana SET synonim=? WHERE word=?", (b, word.text,))
            db.commit()
 
db.close()
Добавлено через 2 часа 9 минут
Конкретно меня интересует оптимизация этих строк кода:
Python
1
2
3
4
5
6
7
8
9
 w_ = siup_.find(
            'ol', {'class': 'list-words list-columns'}).find_all('li')
        main = []
        for m in w_:
            main.append(m.text)
        a = ','.join(main)
        c.execute(
            "UPDATE nana SET synonim=? WHERE word=?", (a, word_.text,))
        db.commit()
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
22.07.2022, 23:56
Ответы с готовыми решениями:

Какой ресурс посоветуете для поиска синонимов слов?
Какой ресурс посоветуете для поиска синонимов слов по английскому языку? Желательно, чтобы к синонимам еще бы и приводились примеры...

Из слов составить предложение и произвести с ним заданные действия
Составить программу, которая: вводит три слова в разные строковые переменные; объединяет введенные строки с учетом разделения слов...

Парсинг ключевых слов
как собирать ключевые слова для определенной темы? Парсер настроен под поисковик, но как правильно задавать слово или тему в поиске и...

2
Эксперт Python
 Аватар для Red white socks
4523 / 1899 / 336
Регистрация: 18.01.2021
Сообщений: 3,489
23.07.2022, 01:11
Лучший ответ Сообщение было отмечено Arsenicum как решение

Решение

Уберите вставку, апдейт и коммит из цикла.
Во-первых, непонятно, зачем вы вставляете в таблицу слово, потом апдейтите в этой строке синонимы. Вместо того, чтобы по-человечески вставить сразу строку целиком.
Во-вторых, если уж у вас БД, то какой смысл тратить на слово всего одну строку таблицы, схлопывая все синонимы. Как потом с этим работать? Вставляйте каждый синоним в отдельной строке.
В-третьих, причина медленной работы в построчном коммите. Считайте пакет слов с их синонимами, например, все слова на конкретную букву, а затем вставляйте их, используя executemany.
И последнее по порядку, но не по важности
Цитата Сообщение от Arsenicum Посмотреть сообщение
и вот в чем делема
Никогда! Никогда не употребляйте, тем более на письме, слов, смысла которых не понимаете. И правописания которых не знаете.
Дилемма - проблема выбора из двух, как правило равнозначных, альтернатив.
5
1 / 1 / 0
Регистрация: 09.03.2022
Сообщений: 75
23.07.2022, 01:43  [ТС]
Благодарю, и вправду работать стало быстрее!
Цитата Сообщение от Red white socks Посмотреть сообщение
Никогда! Никогда не употребляйте, тем более на письме, слов, смысла которых не понимаете.
Извиняюсь, до этого момента я думал что понимаю
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
23.07.2022, 01:43
Помогаю со студенческими работами здесь

Парсинг нецензурных слов в файле
Написать программу, которая заменит все "нецензурные слова" в файле на , пишем в тот же файл результат."нецензурные слова"...

Создать объект WordArray, содержащий массив слов и позволяющий проводить над ним операции
Вот такая вот лаба мне досталось, нужно в JavaScript создать сценарий с использованием объектов... "Создайте сценарий в...

Реализовать парсинг слов в строке в соответствии с условием
Дана строка, содержащая последовательность слов, разделенных пробелами. Приняв первое слово в последовательности за образец, выбрать из...

Парсинг строк: подсчитать и вывести количество слов в заданной строке
Прочитать из файла строку символов. Данная строка состоит из нулей, единиц и пробелов. Группы нулей и единиц, разделенные пробелами (одним...

Docx + python парсинг xml, не обновляются данные страниц, слов и символов
Добрый вечер, не могу решить следующую ситуацию. Создаю файл *.docx добавляю в него параграф в параграф пишу текст и сохраняю, если открыть...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru