С Новым годом! Форум программистов, компьютерный форум, киберфорум
C++ Builder
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.69/26: Рейтинг темы: голосов - 26, средняя оценка - 4.69
 Аватар для Gremlin
519 / 307 / 58
Регистрация: 30.07.2008
Сообщений: 607

Удаление одинаковых строк

02.07.2010, 23:46. Показов 4875. Ответов 13
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброе время суток, подскажите, правильно ли я делаю удаление одинаковых строк?
сам код рабочий, но вот незадача... очень долго выполняется

у меня файл с 3.5кк строк
если использовать мой код, то получается что он будет перебирать строки
3.5кк * 3.5кк = 12.25 триллиона
(3,500,000 * 3,500,000 = 12,250,000,000,000)

я попробовал подсчитать, что если 1 строка будет обрабатываться 1/1000 сек (одну тысячную сек), то на это уйдет 380+ лет!!!

Помогите, пожалуйста... как можно решить данную проблему?

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    TStringList *list = new TStringList;
    list->Text = Memo7->Text;
    AnsiString temp;
 
    // удаление одинаковых строк
    for(int i = 0; i < list->Count; i++)
    {
        temp = list->Strings[i]; // берем строку
        for(int w = 0; w < list->Count; w++)
        {
            // сравниваем с каждой строкой
            if(list->Strings[w] == temp)
            {
                // если совпало, то удаляем
                list->Delete(w--);
            }
        }
        // т.к. все такие строки удалили, то записываем ее обратно
        list->Add(temp);
    }
 
    Memo7->Text = list->Text;
    list->Text = "";
    delete list;
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
02.07.2010, 23:46
Ответы с готовыми решениями:

Удаление одинаковых строк в StringGrid1
Как в StringGrid удалить абсолютно одинаковые строчки? Пробовал переделать найденный код для делфи на билдер, но не вышло..

Удаление одинаковых строк Листбокс
Делаю игру алхимия и там добавляются одинаковые строки в лисбокс, а как сделать чтоб они одинаковые недобавлялись? или если добавились то...

Удаление одинаковых строк двумерного массива
Доброе время суток дамы и господа. сижу в С++ Builder'e 6, имеется массив чисел otvetibuff 110000...000 110000...000 ...

13
Эксперт С++
 Аватар для Хохол
476 / 444 / 34
Регистрация: 20.11.2009
Сообщений: 1,293
02.07.2010, 23:49
Стандартная задача. Сортируем строки за O(nlog(n)), и одинаковые ищутся за O(n).
1
 Аватар для Gremlin
519 / 307 / 58
Регистрация: 30.07.2008
Сообщений: 607
03.07.2010, 00:01  [ТС]
Цитата Сообщение от Хохол Посмотреть сообщение
Стандартная задача. Сортируем строки за O(nlog(n)), и одинаковые ищутся за O(n).
Ты имеешь ввиду, выполнить, перед "отбрасыванием" сортировку...? а потом удалять последующие одинаковые строки пока они одинаковые (хм... тафтология)... ХОРОШАЯ ИДЕЯ!!!
0
Эксперт С++
 Аватар для Хохол
476 / 444 / 34
Регистрация: 20.11.2009
Сообщений: 1,293
03.07.2010, 00:03
Ну да, хорошая, широко известная в узких кругах идея .
0
332 / 247 / 32
Регистрация: 13.12.2009
Сообщений: 589
03.07.2010, 14:50
C++
1
2
3
4
5
    std::auto_ptr<TStringList> list(new TStringList());
    list->Duplicates = dupIgnore;
    list->Sorted = true;
    list->AddStrings(Memo_1->Lines);
    Memo_1->Lines->Assign(list.get());
0
Почемучка)
 Аватар для Ddv122
1244 / 304 / 30
Регистрация: 23.12.2010
Сообщений: 2,001
Записей в блоге: 1
23.02.2016, 15:42
Доброго времени суток .
Прошу совета .
Есть код
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    TStringList *list = new TStringList;
    list->Text = Memo4->Text;
    list->Duplicates=dupIgnore;
    list->Sorted=True;
    AnsiString del;
    for(int i = 0; i < list->Count; i++)
    {
        del = list->Strings[i].Trim();
        for(int y = 0; y < list->Count; y++)
        {
            if(list->Strings[y].Trim() == del.Trim())
            {
                list->Delete(y--);
            }
           // Application->ProcessMessages();
        }
        list->Add(del);
    }
    Memo6->Clear();
    Memo6->Text = list->Text;
    delete list;
Все прекрасно работает - с 12819 строк - 507 индивидуумов формирует за 2 сек.
Но формирует не совсем правильно - ( остаются дубл строки ( 3 шт на первый взгляд) ) но при выполнение повторного поиска с этих 507 шт - уже находит 504 шт как и положено .
Интересно почему? из за большого количества строк ? или у меня ошибка допущена?
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33371 / 21497 / 8234
Регистрация: 22.10.2011
Сообщений: 36,893
Записей в блоге: 12
23.02.2016, 16:02
Код нормально работает на 125-150 тысячах моих строк, дубликатов не остается. Нужно смотреть, с какими ты строками работаешь. Может, там что-то прояснится.
1
 Аватар для Sasha
4956 / 2420 / 531
Регистрация: 05.06.2008
Сообщений: 7,518
Записей в блоге: 3
23.02.2016, 16:06
Цитата Сообщение от Ddv122 Посмотреть сообщение
del = list->Strings[i].Trim();
Цитата Сообщение от Ddv122 Посмотреть сообщение
if(list->Strings[y].Trim() == del.Trim())
Маленькакая поправка не вижу смыла 2 раза вызывать Trim(), если тебе и так первый раз прировнялось с помощью Trim().
1
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33371 / 21497 / 8234
Регистрация: 22.10.2011
Сообщений: 36,893
Записей в блоге: 12
23.02.2016, 17:44
Ddv122,
C++
1
2
3
4
5
6
7
8
9
10
11
12
    TStringList *list = new TStringList;
    list->Text = Memo4->Text;
 
    std::auto_ptr<TStringList> t(new TStringList);
    t->Sorted = true;
    t->Duplicates = dupIgnore;
    for(int i = 0; i < list->Count; i++)
        t->Add(list->Strings[i].Trim());
 
    Memo6->Clear();
    Memo6->Text = t->Text;
    delete list;
отработает на порядок (а может, и даже не на один) быстрее, чем твой вариант.
1
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 08:46
Цитата Сообщение от volvo Посмотреть сообщение
* * TStringList *list = new TStringList;
* * list->Text = Memo4->Text;
std::auto_ptr<TStringList> t(new TStringList);
* * t->Sorted = true;
* * t->Duplicates = dupIgnore;
* * for(int i = 0; i < list->Count; i++)
* * * * t->Add(list->Strings[i].Trim());
Memo6->Clear();
* * Memo6->Text = t->Text;
* * delete list;
Я пробую удалить повторы в тексте где есть строки с кириллицей и с латинскими в итоге латинские не дочищает
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33371 / 21497 / 8234
Регистрация: 22.10.2011
Сообщений: 36,893
Записей в блоге: 12
27.03.2019, 11:09
Небольшой пример текста, на котором остаются дубликаты, можно привести?
0
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 12:53
Цитата Сообщение от volvo Посмотреть сообщение
Небольшой пример текста, на котором остаются дубликаты, можно привести?
во вложении весь текст.
отрывок выглядит примерно так:
Серпантин
Серпантин
Серпантин
Серпантин
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Aura
Aura
Aura
Aura
Aura
Aura
Aura
Aura
Вложения
Тип файла: txt primer.txt (7.2 Кб, 1 просмотров)
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33371 / 21497 / 8234
Регистрация: 22.10.2011
Сообщений: 36,893
Записей в блоге: 12
27.03.2019, 13:04
У меня после выполнения моего кода остается:
Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
Amadeus
Amadeus combi
Aquarelle
Aura
Batik
Bellini
Bellini combi
Benelux ajur
Benelux poli
Benelux sol
Claster I
Claster II
Crush
Ecomania
Felicita
Felicita strada
Flagman
Francheska
Francheska classic
Francheska combi
Francheska stripe
Gatsby
Generation
Liverpool star
Liverpool suit
Liverpool tweed
Lumiere
Lumiere combi
Malibu
Matisse
Mineral
Philosophy colorful
Philosophy jute
Philosophy linen
Philosophy strow
Rezidencia Capri
Rezidencia Milan
Simmetrika
Simmetrika I
Simmetrika II
Sky velvet
Soft touch
Spirit
Story
Story Cord
Sunday
Supernova
Swiss Velvet
Venzo Soft
Zephir
Гравитация
Импровизация
Романтика
Серпантин
Сфера
Фантазия
, нет никаких дубликатов, как видишь.
1
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 21:21
Цитата Сообщение от volvo Посмотреть сообщение
нет никаких дубликатов, как видишь.
Спасибо! У меня была ошибка выгрузке результата.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.03.2019, 21:21
Помогаю со студенческими работами здесь

Удаление одинаковых символов
Доброго времени суток. Прошу помочь. Выдается ошибка &quot;Range check Error!&quot; void __fastcall TForm10::Button1Click(TObject *Sender) { int...

Удаление всех одинаковых символов в словах
здравствуйте! у меня такая проблема-сам код работает правильно! но только он удаляет В ДАННЫХ ТРЁХ СЛОВАХ по одному одинаковому символу...

Поиск одинаковых строк в файлах
Доброго дня.Подскажите как реализовать поиск дубликатов строк, в выбранных файлах. К примеру в Memo искомый текст и есть 10 txt...

Удаление строк
Доброго времени суток! Я сам не программист, но вышло так, что нужно написать небольшую программулину для работы. Вроде все хорошо и...

Удаление строк из ListBox
подскажи те плиз как удалить все строки из ListBox1 void __fastcall TForm1::remaccClick(TObject *Sender) { TStringList *s =...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
14
Ответ Создать тему
Новые блоги и статьи
сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru