Ускорить алгоритм обработки текста

@Gdasar · Регистрация: 18.02.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Есть программа для обработки ссылок на сайты - нахождение и сохранение доменов.
Её работа заключается в следующем:
есть строка

Code
1
https://www.cyberforum.ru/newthread.php?do=postthread&f=20

из которой должно получиться следующее

Code
1
https://www.cyberforum.ru/

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
    TRegExpr *clearURL = new TRegExpr();
    TStringList *Output = new TStringList();
    Output->WriteBOM = false;
    Output->Sorted = true;
    Output->Duplicates = System::Classes::TDuplicates::dupIgnore;
    clearURL->ModifierM = true;
    clearURL->Expression = _T("^http(s)?://.*?/");
    if(clearURL->Exec(URL->Text))
    {
        do
        {
            Output->Add(clearURL->Match[0]);
        }
        while (clearURL->ExecNext());
    }
 
    Label4->Caption = Output->Count;
    Output->SaveToFile(ExtractFileDir(Application->ExeName) + "\\URL" + Name + "_clear.txt", TEncoding::UTF8);
 
    delete clearURL;
    Output->Clear();
    delete Output;

URL - исходный СтрингЛист с данными.
Так вот, этот код работает, но на больших объемах(500 000 строк и более) жутко тормозит(я так и не дождался его выполнения).
Помогите ускорить алгоритм обработки. Спасибо.

@volvo · 13.03.2016, 13:21

Файл с данными прикрепи, хочется поэкспериментировать, есть кое-какая идея...

@Gdasar · 13.03.2016, 13:24 **[ТС]**

Файл в аттаче.

@volvo · 13.03.2016, 14:08

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
class TFastURL : public Classes::TStringList
{
private:
    TRegExpr *re;
public:
    virtual int __fastcall Add(const UnicodeString S)
    {
        int Result = -1;
        if(re->Exec(S))
        {
        String s = re->Match[0];
        Result = Classes::TStringList::Add(s);
        }
        return Result;
    }
 
    __fastcall TFastURL(void) : TStringList()
    {
        Sorted = true;
        Duplicates = dupIgnore;
        WriteBOM = false;
        re = new TRegExpr();
        re->Expression = _T("^http(s)?://.*?/");
    }
    __fastcall virtual ~TFastURL()
    {
        delete re;
    }
};
 
 
void __fastcall TForm1::Button62Click(TObject *Sender)
{
    // ...
    std::auto_ptr<TStringList> URL(new TStringList);
    URL->LoadFromFile("D:\\test\\URL_01.03.20161.txt");
 
    std::auto_ptr<TFastURL> Output(new TFastURL);
    for(int i = 0; i < URL->Count; i++) Output->Add(URL->Strings[i]);
    Output->SaveToFile(ExtractFileDir(Application->ExeName) + "\\URL" + Name + "_clear.txt", TEncoding::UTF8);
}

меньше 2-х секунд на твоем файле. Достаточная скорость?

@Gdasar · 13.03.2016, 16:06 **[ТС]**

Сообщение от volvo

меньше 2-х секунд

Я вчера более часа ждал(так и не дождался), а тут 2 секунды.

Добавлено через 1 час 28 минут
Переписал свой код:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
    TRegExpr *clearURL = new TRegExpr();
    int a = DateTimeToUnix(Now());
    TStringList *Output = new TStringList();
    Output->WriteBOM = false;
    Output->Sorted = true;
    Output->Duplicates = System::Classes::TDuplicates::dupIgnore;
    clearURL->Expression = _T("^http(s)?://.*?/");
    clearURL->Compile();
    for(int i = 0; i < URL->Count; i++)
    {
        if(clearURL->Exec(URL->Strings[i]))
        {
            Output->Add(clearURL->Match[0]);
        }
    }
 
    Label4->Caption = Output->Count;
    Output->SaveToFile(ExtractFileDir(Application->ExeName) + "\\URL" + Name + "_clear.txt", TEncoding::UTF8);
    int b = DateTimeToUnix(Now());
    delete clearURL;
    Output->Clear();
    delete Output;
    Label6->Caption = b - a;

Отрабатывает за 3 секунды.
Далее я решил устроить нагрузочное тестирование для своего алгоритма и для Вашего.
Загрузил более 2 миллионов строчек и бац - Our of memory...
Файл для тестирования.

@volvo · 13.03.2016, 16:49

Естественно, с файлом размером больше 170МБ... Перепиши вот так:

C++
1
2
3
4
5
6
7
8
9
    std::auto_ptr<TFastURL>Output(new TFastURL);
    TStreamReader* reader =
        new TStreamReader(new TFileStream(fn, fmOpenRead), TEncoding::UTF8); // ну, или другую кодировку
    while (!reader->EndOfStream)
    {
        Output->Add(reader->ReadLine());
    }
    delete reader->BaseStream;
    delete reader;

Это будет чуть медленнее работать на предыдущем тесте (вместо 2-х секунд - около 5-ти), но зато на крайнем - вместо вылета за 25 секунд обрабатывается файл.

Новые блоги и статьи Все статьи Все блоги /
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Нашел на реддите интересную статью под названием «Кто-нибудь знает, где получить бесплатный компьютер или. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .

Ускорить алгоритм обработки текста

Решение

Решение

@volvo Супер-модератор 33195 / 21491 / 8233 Регистрация: 22.10.2011 Сообщений: 36,879 Записей в блоге: 12
	13.03.2016, 13:21
	Файл с данными прикрепи, хочется поэкспериментировать, есть кое-какая идея... 0

@Gdasar 191 / 52 / 19 Регистрация: 18.02.2013 Сообщений: 508 Записей в блоге: 9
	13.03.2016, 13:24 [ТС]
	Файл в аттаче. 0