Форум программистов, компьютерный форум, киберфорум
Офисные программы
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
0 / 0 / 0
Регистрация: 09.08.2016
Сообщений: 21
1

Удалить дубликаты в большом списке данных (около 8млн. строк)

03.10.2019, 08:33. Просмотров 578. Ответов 1

Добрый день, проблема вот в чём. Имеется большой список данных (около 8млн. строк) в форматах txt, doc и xls (одинаковые файлы, переконвертировал в них в ходе собственного поиска решения). Необходимо их объединить и удалить дубликаты. Компьютер рабочий, так что какой-либо софт установить не получится скорее всего.
Может у кого-нибудь будет идея как это сделать? Заранее спасибо большое!
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
03.10.2019, 08:33
Ответы с готовыми решениями:

Удалить дубликаты строк в мемо
Как можно удалить дубликаты строк в мемо?

Удалить дубликаты из массива строк
Есть массив arr = {"один","озеро","два","восемь","озеро","восемь","семь"} Нужно получить...

Удалить дубликаты строк из файла
Есть текстовый документ который состоит из строчек: Номер, Ф.И.О, Адрес, и дата Пример: 1,...

Как удалить дубликаты строк
Есть текстовый файл в нем есть дубликаты строк.

1
2691 / 1225 / 211
Регистрация: 10.12.2013
Сообщений: 4,139
06.10.2019, 01:11 2
найти все уникальные строки в различных файлах ?

Добавлено через 10 минут
при положительном ответе:

строки из всех файлов экспортируются в БД SQLite,
затем одним запросом получаем из базы все уникальные строки.

Инструментом экспорта может быть как сами скриптовые возможности sqlite, так и любой
скриптовый язык.
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
06.10.2019, 01:11

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь.

Как регулярками удалить дубликаты строк?
Всем привет, немогу никак сообразить как удалить дубли строки, или полностью всю строку, от 1...

Как из Таблице Paradox удалить дубликаты строк
Здравствуйте. Есть таблица Paradox в которой есть поле Num 1 1 2 3 3 Пожалуйста напишите...

Удалить дубликаты строк и символ из каждой строки
Добрый день. Помогите пожалуйста, есть текстовый файл состоящий из строк:...

Как из текстового файла удалить дубликаты строк и пробелы между строками?
Добрый день есть текстовый файл со строками ваниль ваниль яблоко яблоко виноград виноград...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2020, vBulletin Solutions, Inc.