Максимальная быстрая обработка текстовой базы данных

@Silly_coder · Регистрация: 21.12.2019

Студворк — интернет-сервис помощи студентам

Суть задачи такая, у меня есть, для примера, 1 миллион строк, нужно провести с ними некие операции, это база данных,

Не по теме:

login@domen.ru:password

, нужно распарсить ее на логин, домен, пароль, обработать, например : заменить на ; , так же перевести их в нижний регистр и тд., в моем случае скорость очень медленная ~1500 строк в секунду. Какими способами можно увеличить скорость обработки строк, файл имеет только английские и специальные символы соответственно в кодировке Ansi. Чтение 1 строки занимает порядка 1 миллисекунды.

Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
var
  i,q: Integer;
  pass: string;
  login: string;
  domen: string;
  delimetr: string;
  was_del: Boolean;
  fullStr: string;
  ch: Char;
....
        with Utils do
        begin
          for i := apos('@', fullStr) + 1 to length(fullStr) do
            if (fullStr[i] = ';') or (fullStr[i] = ':') then
            begin
 
              pass := Copy(fullStr, i + 1, Length(fullStr));
              login := Copy(fullStr, 1, apos('@', fullStr) - 1);
              domen := Copy(fullStr, apos('@', fullStr) + 1, (i - 1 - apos('@', fullStr)));
 
              if cb_SwitchDelimetr then // тут меняем ; на :
                delimetr := (new_delimetr)
              else
                delimetr := (fullStr[i]);
            end;
 
          if (length(login) < 5) and (length(domen) < 5) and (length(pass) < 5) then
          begin
            WriteUnknown(fullStr);
            begin
              fullStr := '';
              Continue;
            end;
          end;

так же там ее несколько функций, хотелось бы увидеть примеры очень быстро обработки строк. Так понимаю регулярка - это достаточно медленное решение, так вот хотелось бы узнать какие типы использовать для быстрой обработки ну и в целом как все можно ускорить

Verevkin · 08.08.2021, 17:57

Сообщение от Silly_coder

1) разделитель может быть : или ; или вообще левым каким-то
2) Почты могут быть [email]----------@mail.ru[/email]:pass1 (нужно удалить все левые символы)
3) Почты могут быть [email]qw-------@mail.ru[/email]:pass1 (нужно удалить все левые символы)
4) Почты нужно привести все к нижнему регистру
5) Почты могут быть [email]----ww---@mail.ru[/email]:pass1 (нужно удалить все левые символы)
6) Почты могут быть [email]User__Gamer@mail.ru[/email]:pass1 (но такого быть не может согласно правилам почт, поэтому нужно удалить __, но это может быть любой другой мусор)
7) Нужно удалить все дубли строк
8) Нужно исправит фигню по типу [email]userUser@mail.ru[/email]:pass1 (дублирующийся логин)
9) Нужно удалить фигню по типу [email]user@mail@google.com[/email];pass1 (разные домены)

@Silly_coder · 08.08.2021, 19:29 **[ТС]**

Сообщение от AzAtom

2 млн строк за 7 секунд

у меня 50 миллионов за 10 секунд получается распарсить, задачку я решил с максимальными возможностями пк. В начале я делю файл на части, по количеству ядер пк -2, чтобы 2 ядра всегда были под другие задачи, т.е. допустим у меня 4 ядра, я делю на 2 файла и каждый файл обрабатываю в своем потоке, у меня I5-7600k грузится в 30% 1 потоком, в 2 потока соответственно 60% и получается в 2 раза быстрее обрабатывать, я просто думал сильно ли зависит тип данных для скорости или не особо я выиграю. Если я выиграю минуту - фигня, а вот если хотя бы 5 минут при обработке 100 миллионов строк - уже весомый результат.

@AzAtom · 08.08.2021, 20:50

Сообщение от Silly_coder

у меня 50 миллионов за 10 секунд получается распарсить

То есть, 5 млн. за секунду. А то в теме было

Сообщение от Silly_coder

в моем случае скорость очень медленная ~1500 строк в секунду

потому и не понятно.

@Silly_coder · 08.08.2021, 23:09 **[ТС]**

Сообщение от AzAtom

потому и не понятно

это то ли баг, то ли еще что-то. В моем случае выходит примерно 50К строк в секунду, но думаю можно ускорить

@Silly_coder · 09.08.2021, 19:31 **[ТС]**

ошибся в моем случае за секунду примерно 2500 строк

Новые блоги и статьи Все статьи Все блоги /
Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .	У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35". kumehtar 04.08.2026 С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .	Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники). Hrethgir 04.08.2026 Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .	Термопринтер QR701 Argus19 03.08.2026 Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .
Создание формы заимствованного документа Maks 03.08.2026 Задача: Необходимо создать собственную форму заимствованного документа. На форме должен быть реквизит "Покупатель", а также табличная часть со следующими реквизитами: - Расчетный счет покупателя. . .	Задача предоставления скидок покупателям Maks 03.08.2026 Задача: В документе "Продажи" необходимо реализовать функционал предоставления скидок покупателям. Скидка должна автоматически рассчитываться и подставляться в соответствующее поле при выборе. . .	Почему SEO не начинается с ключевых слов: что проверить до написания текстов Neotwalker 01.08.2026 Когда владельцу сайта предлагают заняться SEO, первым шагом часто становится сбор запросов и написание текстов. Логика кажется понятной: 1. Находим ключевые слова. 2. Добавляем их на. . .	Знание — сила: Доктрина интенциональности знаний, углубление в формулу Hrethgir 01.08.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11957&stc=1&d=1785567302 Знаменитый афоризм Фрэнсиса Бэкона «Знание — сила» (Scientia potentia est) в массовой культуре принято понимать. . .

@Silly_coder 15 / 13 / 2 Регистрация: 21.12.2019 Сообщений: 246
	09.08.2021, 19:31 [ТС]
	ошибся в моем случае за секунду примерно 2500 строк 0