Долго добавляет в базу

@Jhonat · Регистрация: 03.11.2019

Студворк — интернет-сервис помощи студентам

Добавляю из папки txt файлы в базу, всего один столбец.

При количестве записей в базе около 100млн строки начинают добавляться очень медленно. Параллельно никаких операций чтения/записи нет

Зависит ли скорость записи от количества строк в базе или причина в чем то другом?
База postgres, добавляю локально. Всего надо добавить 1.5 миллиарда строк

Добавляю так

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
folder = "folder"
    a = os.listdir(path=folder)
    l = len(a)
    d = 0
    for i in a:
        d+=1
        count = 0
        data = []
        with open(folder+'/'+i, encoding="utf-8", errors='ignore') as f:
            print('open')
            for line in f:
                count += 1
                data.append([line.replace('\n', ''), i])
                if count == 30000: # тут пробовал много вариантов от 30000 до миллиона
                    add(data)
                    data.clear()
                    count = 0
            if len (data) != 0:
                add(data)
                data.clear ()

Python
1
2
3
4
5
6
def add(data):
        conn = psycopg2.connect (config.CONN_STRING)
        cursor = conn.cursor()
        cursor.executemany('INSERT INTO test VALUES(%s,%s);', data)
        conn.commit()
        conn.close()

@DobroAlex · 22.03.2020, 12:41

Jhonat, покажите структуру базы. В целом, это неудивительно -- постргес прожорлив на ресурсы и если у Вас слабая машина, то будет тупить

@Jhonat · 22.03.2020, 13:18 **[ТС]**

DobroAlex,

Python
1
2
3
4
5
6
7
8
9
10
conn = psycopg2.connect(config)
    cursor = conn.cursor()
    cursor.execute("""
                CREATE TABLE data(
                    mails    TEXT,
                    source TEXT
                );
            """)
    conn.commit()
    print('create OK: ' )

После создания добавил индекс

SQL
1
CREATE INDEX index_name ON DATA(mails, SOURCE);

диск 2тб ссд, 8гб рам, в конфиге постгреса отдал ему 4гб

@Jhonat · 22.03.2020, 13:20 **[ТС]**

в момент заливки так

@Jhonat · 22.03.2020, 13:22 **[ТС]**

картина в пгадмин

Новые блоги и статьи Все статьи Все блоги /
Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .

@DobroAlex Заклинатель змей 705 / 560 / 219 Регистрация: 30.04.2016 Сообщений: 2,605
	22.03.2020, 12:41
	Jhonat, покажите структуру базы. В целом, это неудивительно -- постргес прожорлив на ресурсы и если у Вас слабая машина, то будет тупить 0

@Jhonat 0 / 0 / 0 Регистрация: 03.11.2019 Сообщений: 69
	22.03.2020, 13:20 [ТС]
	в момент заливки так Миниатюры 0

@Jhonat 0 / 0 / 0 Регистрация: 03.11.2019 Сообщений: 69
	22.03.2020, 13:22 [ТС]
	картина в пгадмин Миниатюры 0