|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
Разбивка txt файла на части построчно07.02.2025, 19:30. Показов 4671. Ответов 53
Помогите записать код. Нужно разбить большой txt файл, размером около 600 гб, в котором записан текст посрочно, на файла размером по 10 Гб.
0
|
|
| 07.02.2025, 19:30 | |
|
Ответы с готовыми решениями:
53
Запись в файл построчно Разбить файл на n частей записать в n файлов |
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 08.02.2025, 22:43 [ТС] | |
|
0
|
|
|
Администратор
|
|
| 08.02.2025, 22:46 | |
|
Orlov1, txt это расширение. Я спрашиваю про формат. То есть про внутреннюю структуру файла.
0
|
|
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 08.02.2025, 23:04 [ТС] | |
|
OwenGlendower, каждая строка содержит
login:name:surname Не исключаю ошибки: пропуски строк, длинные строки, нарушение формата строки и тд
0
|
|
|
Администратор
|
||
| 08.02.2025, 23:09 | ||
|
0
|
||
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 09.02.2025, 00:15 [ТС] | |
|
OwenGlendower, да, я понимаю, что нужно сначала найти ошибки, исключить их, а потом делить. Подойдет и построчная обработка. Я хотел сначала разделить на части, а потом разбираться с ошибками по частям.
Добавлено через 50 минут OwenGlendower, попробовал открыть файл в EmEditor и программа выдала сообщение, что в файле содержаться очень длинные строки. Похоже вы были правы. Как обойти наличие длинных строк ?
0
|
|
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 09.02.2025, 00:38 [ТС] | |
|
Rius, может просто игнорировать строки с большой длинной ? Писать в результирующий файл строки длинной до 200 символов например.
0
|
|
|
|
||||||
| 09.02.2025, 03:18 | ||||||
|
Orlov1,
Нет, нужно именно что найти эту длинную строку и понять что там происходит. Пройтись и вычитать её -- 5 минут дела для человека который знает любой язык программирования. На шарпе будет что-то в духе
- другой тип переносов, например web - другая кодировка - просто мусор и нужно игнорировать. Разделение на файлы вам не шибко поможет, т.к. листать 10ГБ текста -- не проще. А разбивать на 6000 тыс. файлов -- бессмысленно. Нужно именно отдельными запросами понять что не так, как это править, а потом (в идеале) написать финальную программу которая перегонит из оригинального файла в новый с исправлениями. Возможно не за одну итерацию. Конечный результат всё же лучше собрать в какую-нибудь БД.
0
|
||||||
|
|
||
| 09.02.2025, 08:36 | ||
|
Прикольно, что этот файл, который никакая не база данных, он генерит сам : Считывание файлов по каталогам и запись в текстовый файл
Надо читать поблочно и вылавливать строки вручную. А лучше алгоритм формирования переделать, да писать сразу в БД.
0
|
||
|
Администратор
|
||
| 09.02.2025, 11:06 | ||
|
0
|
||
| 09.02.2025, 11:56 | |
|
0
|
|
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 09.02.2025, 11:57 [ТС] | |
|
OwenGlendower, это не так. Тот код вообще никакого отношения к этому файлу не имеет.
0
|
|
|
|
|||||||
| 09.02.2025, 12:03 | |||||||
|
Orlov1, Сформируйте кусок вашего файла таким образом и закиньте сюда, хоть глянем что там твориться (если конечно там не секретная инфа).
0
|
|||||||
|
Администратор
|
||
| 09.02.2025, 12:14 | ||
login:name:surname склеенных в одну длинную строку? Если мусор, то нужно будет сделать код который выкинет мусор из файла, если это полезные данные, то их нужно сохранить и разбить на отдельные строки.
0
|
||
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|||
| 09.02.2025, 13:23 [ТС] | |||
|
Wolfdp, Wolfdp,
Добавлено через 1 минуту OwenGlendower,
0
|
|||
|
Любознательный
7407 / 2260 / 361
Регистрация: 10.03.2016
Сообщений: 5,216
|
|||||||
| 09.02.2025, 13:29 | |||||||
0
|
|||||||
|
|
|
| 09.02.2025, 14:12 | |
|
Orlov1,
пароли в открытом виде входят в категорию "секретная инфа", старайтесь не кидать их на публичных форумах. Насколько вижу переносы обычные "\r\n", 100% должно проходить. А значит у вас где-то проблема в середине файла. Строка может быть максимум 2ГБ, а учитывая что у вас текста на 600ГБ -- разброс сильно большой, чтобы ткнуть наугад. Я думаю вам лучше почитать возможности StreamReader, ссылки кидал выше YuS_2. Далее вы уже поймете как вычитать блоками, найти проблемное место и разобраться что с ним делать. По сути найти такое место несложно: - считываем блок - смотрим есть ли в нем \n - если "да" -- скидываем счетчик - если нет -- плюсуем в счетчик - как только счетчик перевалил за 2ккк -- выводим на каком Position это произошло - далее пишем по новой чтобы дочитало до Position - 2ккк и выводим допустим 1к символов куда нибудь - смотрим что там происходит и думаем что с этим делать.
0
|
|
|
100 / 42 / 7
Регистрация: 03.02.2019
Сообщений: 657
|
|
| 09.02.2025, 14:24 [ТС] | |
|
YuS_2, Начиная с output5.txt файлы в notepad ++ не открываются. В диспетчере вижу, что notepad ++ грузить ОЗУ до 97% далее notepad ++ "Приложение не отвечает".
Разбивка еще не завершена.
0
|
|
| 09.02.2025, 14:24 | |
|
Запись в текстовый файл построчно.
Построчная обработка файла или RichTextBox
Разбивка битмапа на пиксели, сохранение в текстовый файл. Проблемы с обратной операцией Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ"
Adler 06.10.2026
Всем привет!
За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .
|
ИИ не может найти нужный язык в списке
Supersumestria 05.10.2026
Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык.
Возвращает он вот это:
https:/ / i. **********/ vqBWLe2. png
Нужную строчку в 3й колонке просто выдумал. .
Это. . .
|
Новая последняя моя музыка в SUNO
zorxor 05.10.2026
Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor.
Это. . .
|
Программный домашний кинотеатр
russiannick 27.09.2026
Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js.
В помощники взял Яндекс-Алису.
Было создано три зала на разные интересы.
исторические и ретро
сериал Хичкок. . .
|
|
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
|
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#.
Название изменил на ColorStep.
Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
|
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами:
- ВидТО (СправочникСсылка. ВидыТО);
- ВидГСМ. . .
|
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала.
Ниже прикреплён. . .
|