Разделить файл на части

@alilxxey · Регистрация: 09.12.2020

Студворк — интернет-сервис помощи студентам

есть файл .txt (строка длиной n >> 1000000)
Нужно написать программу, которая будет делить этот файл на n//200000 файлов. поскольку я далеко в этом деле не профессионал, написал только для известного числа n, не умею работать с созданием переменных в режиме "реального времени". В принципе, код будет применен в практических целях, так что не сильно уступает "ручному" варианту, но очень интересно будет посмотреть на его полностью автоматизированный вариант

Заранее спасибо

@Semen-Semenich · 15.03.2021, 20:43

Сообщение от alilxxey

для известного числа n

откуда оно вам известно? строка длиной n >> 1000000 где n может быть 1000001 и 5000000. честно вообще не понятна суть задачи и сам вопрос.

@alilxxey · 15.03.2021, 20:47 **[ТС]**

Semen-Semenich,

Сообщение от Semen-Semenich

откуда оно вам известно? строка длиной n >> 1000000 где n может быть 1000001 и 5000000. честно вообще не понятна суть задачи и сам вопрос.

я имею ввиду, что писал программу под конкретный .txt и заранее знал всю инфу о нем, а хочу написать программу, которая будет так скажем неизвестный файл обрабатывать

@Arsegg · 15.03.2021, 20:55

Не по теме:

alilxxey, ах ты сатанист))

По теме: а зачем ты вообще делишь файл? Не считывай все содержимое файла в память: читай по 8 * n символов и клади в очередь. Смотришь все вхождения, удаляешь элементы из начала очереди, пока не останется 8 символов, начинаешь новую итерацию.

@alilxxey · 15.03.2021, 21:10 **[ТС]**

Не по теме:

Arsegg,

Сообщение от Arsegg

alilxxey, ах ты сатанист))

ага))
на самом деле делаю уже это не столько для решения задачи, сколько просто чисто ради интереса и развития, не думаю, что мое решение можно как-то сильно усовершенствовать засчет этого

на вопрос ответил, надеюсь

Добавлено через 34 секунды
меня больше привлекает навыки работы с такого типа задачами, а не само деления миллиарда знаков пи на файлики)

@Arsegg · 15.03.2021, 21:15

Не по теме:

Сообщение от alilxxey

меня больше привлекает навыки работы с такого типа задачами, а не само деления миллиарда знаков пи на файлики)

Ну я ж и говорю: будущий дата сатанист))
P. S. Если сможешь реализовать алгоритм, который я выше написал - не стесняйся выкладывать свое решение на конкурс.

@alilxxey · 15.03.2021, 21:18 **[ТС]**

Не по теме:

Сообщение от Arsegg

Ну я ж и говорю: будущий дата сатанист))
P. S. Если сможешь реализовать алгоритм, который я выше написал - не стесняйся выкладывать свое решение на конкурс.

ок, спасибо:)

Добавлено через 1 минуту
Arsegg, кстати, вопрос по теме. Когда мы открываем файл (f = open(...)) мы не загоняем его в память полностью - мы загружаем в память только символы из f.read(..)?

@Arsegg · 15.03.2021, 21:21

Сообщение от alilxxey

Когда мы открываем файл (f = open(...)) мы не загоняем его в память полностью

Нет, конечно, ты открываешь файловый дескриптор только. В память ты загоняешь, когда вызываешь метод read(). Кароч, кури документацию: найдешь метод (одноименный), как считывать только несколько символов.

@alilxxey · 15.03.2021, 22:29 **[ТС]**

Arsegg, большое спасибо за ответ

Добавлено через 1 час 6 минут
Arsegg, столкнулся с проблемой - как очистить первые n элементов файла, не переводя этот файл в строку? Грубо говоря работаем только в файле, никуда его не перетаскивая

@Arsegg · 16.03.2021, 00:03

Сообщение от alilxxey

как очистить первые n элементов файла, не переводя этот файл в строку?

Пропускай их при чтении из файла.

@alilxxey · 16.03.2021, 00:06 **[ТС]**

Сообщение от Arsegg

Пропускай их при чтении из файла.

а как именно? f.read(1000) читает первые 1000, на сколько я знаю, нельзя сделать так чтобы он пропускал несколько. Другая функция?

@Arsegg · 16.03.2021, 00:10

Сообщение от alilxxey

Другая функция?

Та же. Прочитай несколько символов и выкинь))

@alilxxey · 16.03.2021, 00:12 **[ТС]**

Сообщение от Arsegg

Та же. Прочитай несколько символов и выкинь))

тогда память забивается, зачем это надо если можно с тем же успехом прочитать все и просто выкидывать по мере парсинга из строки просмотренные символы

Добавлено через 1 минуту
это добавляет эффективности в случаях когда искомое число находится не в самом конце, безусловно, но что если оно находится на i = 10^6 ?

@Garry Galler · 16.03.2021, 00:53

alilxxey,
open в бинарном режиме позволяет управлять курсором позиции считывания через метод seek. НО в бинарном режиме нет никаких строк, только байты.

Если же нужно считывать строки - нет никаких способов пропустить n строк так или иначе не считывая их.
Но это не страшно, если считывание построчное - в памяти будет ровно одна строка. Но это будет медленно.

@alilxxey · 16.03.2021, 00:55 **[ТС]**

Garry Galler, понял. но весь файл - число пи (оочень много знаков) - и все это одна строка

@Garry Galler · 16.03.2021, 00:59

Сообщение от alilxxey

но весь файл - число пи (оочень много знаков)

Ты можешь читать это число в бинарном режиме. Порциями по n байт.

Python
1
2
3
with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            что-то делаем с прочитанным чанком в 4 kb

@u235 · 16.03.2021, 08:19

alilxxey, такая программа уже есть.

Code
1
man split

@Arsegg · 16.03.2021, 09:43

Не по теме:

Сообщение от Garry Galler

Ты можешь читать это число в бинарном режиме.

Хм, а если файлик в UTF-8? По идее в бинарном режиме получится каша.

@Garry Galler · 16.03.2021, 10:30

Сообщение от Arsegg

По идее в бинарном режиме получится каша.

Файл в utf-8. Число ПИ до 1086 знака из википедии:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
>>>  with open("c:/nums.txt", "rb") as f:
    for chunk in iter(lambda: f.read(10), b""):
        print(chunk)
 
        
b'3,14159265'
b'3589793238'
b'4626433832'
b'7950288419'
b'7169399375'
b'1058209749'
b'4459230781'
b'6406286208'
b'9986280348'
b'2534211706'
b'7982148086'
b'5132823066'
b'4709384460'
b'9550582231'
b'7253594081'
b'2848111745'
b'0284102701'
b'9385211055'
b'5964462294'
b'8954930381'
b'9644288109'
b'7566593344'
b'6128475648'
b'2337867831'
b'6527120190'
b'9145648566'
b'9234603486'
b'1045432664'
b'8213393607'
b'2602491412'
b'7372458700'
b'6606315588'
b'1748815209'
b'2096282925'
b'4091715364'
b'3678925903'
b'6001133053'
b'0548820466'
b'5213841469'
b'5194151160'
b'9433057270'
b'3657595919'
b'5309218611'
b'7381932611'
b'7931051185'
b'4807446237'
b'9962749567'
b'3518857527'
b'2489122793'
b'8183011949'
b'1298336733'
b'6244065664'
b'3086021394'
b'9463952247'
b'3719070217'
b'9860943702'
b'7705392171'
b'7629317675'
b'2384674818'
b'4676694051'
b'3200056812'
b'7145263560'
b'8277857713'
b'4275778960'
b'9173637178'
b'7214684409'
b'0122495343'
b'0146549585'
b'3710507922'
b'7968925892'
b'3542019956'
b'1121290219'
b'6086403441'
b'8159813629'
b'7747713099'
b'6051870721'
b'1349999998'
b'3729780499'
b'5105973173'
b'2816096318'
b'5950244594'
b'5534690830'
b'2642522308'
b'2533446850'
b'3526193118'
b'8171010003'
b'1378387528'
b'8658753320'
b'8381420617'
b'1776691473'
b'0359825349'
b'0428755468'
b'7311595628'
b'6388235378'
b'7593751957'
b'7818577805'
b'3217122680'
b'6613001927'
b'8766111959'
b'0921642019'
b'89'
>>>

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

Разделить файл на части

Решение

Решение

@alilxxey 712 / 351 / 120 Регистрация: 09.12.2020 Сообщений: 918

	Разделить файл на части 15.03.2021, 19:18. Показов 5154. Ответов 18 Метки нет (Все метки) есть файл .txt (строка длиной n >> 1000000) Нужно написать программу, которая будет делить этот файл на n//200000 файлов. поскольку я далеко в этом деле не профессионал, написал только для известного числа n, не умею работать с созданием переменных в режиме "реального времени". В принципе, код будет применен в практических целях, так что не сильно уступает "ручному" варианту, но очень интересно будет посмотреть на его полностью автоматизированный вариант Заранее спасибо 0

@Arsegg 3582 / 2182 / 571 Регистрация: 02.09.2015 Сообщений: 5,510
	15.03.2021, 20:55
	Сообщение было отмечено alilxxey как решение Решение Не по теме: alilxxey, ах ты сатанист)) По теме: а зачем ты вообще делишь файл? Не считывай все содержимое файла в память: читай по 8 * n символов и клади в очередь. Смотришь все вхождения, удаляешь элементы из начала очереди, пока не останется 8 символов, начинаешь новую итерацию. 1

@alilxxey 712 / 351 / 120 Регистрация: 09.12.2020 Сообщений: 918
	15.03.2021, 22:29 [ТС]
	Arsegg, большое спасибо за ответ Добавлено через 1 час 6 минут Arsegg, столкнулся с проблемой - как очистить первые n элементов файла, не переводя этот файл в строку? Грубо говоря работаем только в файле, никуда его не перетаскивая 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	16.03.2021, 00:53
	alilxxey, open в бинарном режиме позволяет управлять курсором позиции считывания через метод seek. НО в бинарном режиме нет никаких строк, только байты. Если же нужно считывать строки - нет никаких способов пропустить n строк так или иначе не считывая их. Но это не страшно, если считывание построчное - в памяти будет ровно одна строка. Но это будет медленно. 1

@alilxxey 712 / 351 / 120 Регистрация: 09.12.2020 Сообщений: 918
	16.03.2021, 00:55 [ТС]
	Garry Galler, понял. но весь файл - число пи (оочень много знаков) - и все это одна строка 0