Как быстро обрабатывать текст из файлов больших объёмов

@hiphone · Регистрация: 28.01.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте, искал как быстро читать текст из файлов больших объёмов, наткнулся на функцию:

C++
1
long fd = open(sFilePath.c_str(), O_RDONLY | O_BINARY);

описывается, что она находится в: #include <fcntl.h>, файл заинклюдил, но билдер функцию не находит

@volvo · 16.07.2014, 16:27

C++
1
#include <io.h>

вообще-то еще нужен.

Насколько большой объем файла?

@hiphone · 16.07.2014, 17:22 **[ТС]**

780 мб

Добавлено через 52 минуты
С этим я справился) Как 24 миллиона строк можно избавить от дубликатов

@Zerorc · 17.07.2014, 09:12

Брать в основу любой понравившийся метод сортировки и сравнивать строки, а найдя совпадения, удалять одну.

@SatanaXIII · 17.07.2014, 10:26

Не по теме:

Сообщение от hiphone

Как 24 миллиона строк можно избавить от дубликатов

Завуалированная форма "Как два байта переслать"?

@hiphone · 17.07.2014, 13:12 **[ТС]**

Единственный вариант, который я придумал: взять весь файл в память, потом построчно читать его же и уже фильтровать с теми строками, что в памяти, но мне кажется это очень долго будет

Будет ли быстрее работать с THashedStringList?

@BRcr · 17.07.2014, 17:29

Сообщение от hiphone

но мне кажется это очень долго будет

А проверить что мешает? Там уже и думать дальше будешь.

THashedStringList конечно пошустрее будет, но опять же, в какой мере - зависит от конкретных операций, что ты собираешься над ним совершать.

@Avazart · 17.07.2014, 17:53

Сообщение от BRcr

THashedStringList

навряд ли в нем поместится.

@uglyPinokkio · 17.07.2014, 17:57

Сообщение от hiphone

Как 24 миллиона строк можно избавить от дубликатов

складывать в std::map в качестве ключа, если память не лопнет.

@Avazart · 17.07.2014, 18:09

Не по теме:

Сообщение от uglyPinokkio

складывать в std::map в качестве ключа, если память не лопнет.

Думаю лопнет ...

Пройтись первый раз по файлу посчитать хеш каждой строки возможно запомнить положение строк, найти совпадения среди хешей, убедиться что это не коллизия, выбрать по результатам уникальные строки.

Проблема лишь в выбори хеш ф-ции и можно ли будет "сохранить" положение срок, ибо я так и не понял какого типа файл - текстовый или бинарный.

@hiphone · 18.07.2014, 02:48 **[ТС]**

файл текстовый

Добавлено через 5 часов 0 минут
Всё получилось, использовал вектор. Файл 500мб читался и чистился от дублей 10 минут

C++
1
#include <vector>

@BRcr · 18.07.2014, 07:39

А что ты делал с вектором? Удалял из него элементы-дубли?

@hiphone · 18.07.2014, 12:44 **[ТС]**

Да, удалял дубли строк

@BRcr · 19.07.2014, 09:13

Тогда лучше возьми std::list - должно куда быстрее отработать...

@Avazart · 19.07.2014, 11:49

Сообщение от BRcr

Тогда лучше возьми std::list - должно куда быстрее отработать...

А может std::set<> тогда уже, только есть сомнения что не будет быстрее, а вот память с экономит, если много повторений встречается.

@hiphone · 19.07.2014, 14:08 **[ТС]**

Сообщение от Avazart

А может std::set<> тогда уже, только есть сомнения что не будет быстрее, а вот память с экономит, если много повторений встречается.

не будет быстрее чем list или vector?

@Avazart · 19.07.2014, 14:45

Ну достоинство вектора быстрая вставка в конец и дальнейший быстрый доступ при переборе с записью в файл, но тут проигрыш в сортировке.

В std::set<> сортировка не нужна и вставка сразу будет в "нужно место" с игнорированием совпадений (потенциальная экономия на этом памяти если совпадений много), но тем не менее вставка идет дольше (из-за поиска места вставки) и потеря при переборе при записи в файл ибо перебор через итераторы по set<> дольше перебора в std::vector<>

@BRcr · 19.07.2014, 18:20

Да просто проверь и set, и list - что быстрее или экономичней окажется, то и используй.

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@hiphone 13 / 13 / 7 Регистрация: 28.01.2012 Сообщений: 549
	16.07.2014, 17:22 [ТС]
	780 мб Добавлено через 52 минуты С этим я справился) Как 24 миллиона строк можно избавить от дубликатов 0

@Zerorc 1 / 1 / 1 Регистрация: 14.03.2014 Сообщений: 46
	17.07.2014, 09:12
	Брать в основу любой понравившийся метод сортировки и сравнивать строки, а найдя совпадения, удалять одну. 0

@hiphone 13 / 13 / 7 Регистрация: 28.01.2012 Сообщений: 549
	17.07.2014, 13:12 [ТС]
	Единственный вариант, который я придумал: взять весь файл в память, потом построчно читать его же и уже фильтровать с теми строками, что в памяти, но мне кажется это очень долго будет Будет ли быстрее работать с THashedStringList? 0

@BRcr 4043 / 2333 / 292 Регистрация: 03.02.2011 Сообщений: 5,066 Записей в блоге: 10
	18.07.2014, 07:39
	А что ты делал с вектором? Удалял из него элементы-дубли? 0

@hiphone 13 / 13 / 7 Регистрация: 28.01.2012 Сообщений: 549
	18.07.2014, 12:44 [ТС]
	Да, удалял дубли строк 0

@BRcr 4043 / 2333 / 292 Регистрация: 03.02.2011 Сообщений: 5,066 Записей в блоге: 10
	19.07.2014, 09:13
	Тогда лучше возьми std::list - должно куда быстрее отработать... 1

@Avazart 8484 / 6151 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	19.07.2014, 14:45
	Ну достоинство вектора быстрая вставка в конец и дальнейший быстрый доступ при переборе с записью в файл, но тут проигрыш в сортировке. В std::set<> сортировка не нужна и вставка сразу будет в "нужно место" с игнорированием совпадений (потенциальная экономия на этом памяти если совпадений много), но тем не менее вставка идет дольше (из-за поиска места вставки) и потеря при переборе при записи в файл ибо перебор через итераторы по set<> дольше перебора в std::vector<> 1

@BRcr 4043 / 2333 / 292 Регистрация: 03.02.2011 Сообщений: 5,066 Записей в блоге: 10
	19.07.2014, 18:20
	Да просто проверь и set, и list - что быстрее или экономичней окажется, то и используй. 1