Предел памяти строки

@Paracelsus · Регистрация: 04.12.2018

Студворк — интернет-сервис помощи студентам

Есть текстовый файл с более 2млн символов. Открыл его и считал. После считывания, начал обрабатывать строку и обнаружил, что она меньше намного файла. 266628 элементов. Почему и как это пофиксить? Программу дальше уже написал под одну строку.

Добавлено через 4 минуты

Python
1
2
file = open('warn_1-10_TEST.dat', 'r')
DATA = file.read()

@Paracelsus · 22.09.2020, 19:34 **[ТС]**

Дайте комментарий к коду
этот ридер встроен в питон?

@Garry Galler · 22.09.2020, 19:41

Сообщение от Paracelsus

этот ридер встроен в питон?

А проверить самому?

@Paracelsus · 22.09.2020, 20:42 **[ТС]**

ну ладно
и на том спасибо

Добавлено через 7 минут
а можно ли через этот ридер считывать числа и заносить их в переменную ?

@Garry Galler · 22.09.2020, 21:58

Сообщение от Paracelsus

а можно ли через этот ридер считывать числа и заносить их в переменную ?

Можно. Только не через ридер (ридер только читает и делит на столбцы), а с помощью прямых рук.

Добавлено через 13 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
>>> from collections import defaultdict
>>> result = defaultdict(list)
>>> for val in rows:
    if 'Nsats' in val[0]:
        key = val[0]
        continue
    else:
        result[key].append(val)
 
        
>>> keys = list(result.keys())
>>> keys[0]
'1:0:0.000000___Nsats:7'
>>> keys[1]
'1:0:30.000000___Nsats:6'
>>> keys[2]
'1:1:0.000000___Nsats:6'
>>> result[keys[0]]
[['   14', '23855078.613251', '23932531.918702', '23932529.007881', '23932533.472584', '23932534.278427', '  2.784221', '  2.784221', '  2.292754', '  0.118473', ' -0.026917', '7621.318233', '85069.547256', '  2.074970', ' -0.055909', ' 20.899652', '-1049390.626183', '-15935142.989231', '21498787.040367', '23932536.418038', '23932535.649478', '23855080.853414', ''], ['   15', '23055257.181959', '23224005.977214', '23224005.366189', '23224007.821993', '23224008.589886', '  2.061287', '  2.061287', '  2.292754', '  0.118473', ' -0.026917', '-83675.003653', '85069.547256', '  0.613572', '  0.020235', ' 28.917798', '26460509.568637', '2907433.205753', '2479686.722565', '23224006.921693', '23224007.276761', '23055255.122278', ''], ['   17', '22369452.729139', '22512162.673295', '22512161.019166', '22512169.600959', '22512171.500394', '  1.584143', '  1.584143', '  2.292754', '  0.118473', ' -0.026917', '-57639.095062', '85069.547256', ' -0.730776', '  0.039422', ' 39.072398', '1711651.474786', '15765485.980935', '21645457.757422', '22512165.230128', '22512164.418927', '22369455.042840', ''], ['   18', '24938840.191542', '24889864.912335', '24889864.059191', '24889866.444862', '24889865.963087', '  7.661126', '  7.661126', '  2.292754', '  0.118473', ' -0.026917', '134061.240142', '85069.547256', ' -3.309983', ' -0.036573', '  7.051635', '14769039.223159', '-21532190.434708', '4458487.037238', '24889866.231065', '24889863.553141', '24938852.507603', ''], ['   22', '24465044.157241', '24428695.948535', '24428692.275900', '24428699.814735', '24428700.477652', '  4.352171', '  4.352171', '  2.292754', '  0.118473', ' -0.026917', '121424.355771', '85069.547256', '  3.985390', ' -0.050004', ' 13.038648', '3920912.763958', '-21541001.634032', '15150032.543345', '24428701.625430', '24428703.816855', '24465050.228485', ''], ['   24', '20220593.847495', '20307771.142561', '20307772.062500', '20307774.292166', '20307775.400353', '  1.006630', '  1.006630', '  2.292754', '  0.118473', ' -0.026917', '-2103.704551', '85069.547256', ' -0.852406', ' -0.011940', ' 83.413965', '16141521.242912', '1185375.347945', '21050479.512224', '20307769.720586', '20307768.728889', '20220592.969204', ''], ['   25', '24289027.340966', '24391730.328483', '24391731.413742', '24391729.858787', '24391730.045356', '  4.397815', '  4.397815', '  2.292754', '  0.118473', ' -0.026917', '-17618.844293', '85069.547256', '  1.856271', '  0.022168', ' 12.895533', '19582863.345993', '-17468339.118308', '3354640.482805', '24391728.650969', '24391728.180009', '24289030.541500', '']]
>>> result[keys[1]]
[['   14', '23837993.444779', '23916331.056756', '23916329.444950', '23916333.520373', '23916334.331974', '  2.762069', '  2.762069', '  2.292754', '  0.118473', ' -0.026104', '7621.296003', '85954.780734', '  2.069501', ' -0.055938', ' 21.077977', '-972661.438256', '-15912326.963168', '21519085.485258', '23916333.548169', '23916335.688366', '23837995.709745', ''], ['   15', '23074728.045011', '23244361.980999', '23244361.534931', '23244363.946372', '23244364.708500', '  2.075724', '  2.075724', '  2.292754', '  0.118473', ' -0.026104', '-83675.023049', '85954.780734', '  0.600196', '  0.020152', ' 28.695997', '26468145.838156', '2919166.390382', '2387591.227926', '23244362.670499', '23244363.410051', '23074726.004691', ''], ['   17', '22377766.918946', '22521362.255318', '22521360.511159', '22521369.054541', '22521370.955028', '  1.588098', '  1.588098', '  2.292754', '  0.118473', ' -0.026104', '-57639.104659', '85954.780734', ' -0.735969', '  0.039410', ' 38.956069', '1634252.355445', '15744829.416221', '21666148.435584', '22521364.951314', '22521363.870885', '22377769.263092', ''], ['   22', '24472392.101246', '24436930.156463', '24436926.194833', '24436933.012756', '24436933.675222', '  4.377964', '  4.377964', '  2.292754', '  0.118473', ' -0.026104', '121424.391163', '85954.780734', '  3.978929', ' -0.049966', ' 12.957405', '3965263.193881', '-21577672.930687', '15084613.668224', '24436936.280065', '24436937.015574', '24472398.179736', ''], ['   24', '20219490.628897', '20307553.197254', '20307554.049157', '20307556.299800', '20307557.406984', '  1.006319', '  1.006319', '  2.292754', '  0.118473', ' -0.026104', '-2103.700845', '85954.780734', ' -0.861133', ' -0.012043', ' 83.569141', '16164357.296959', '1262487.092557', '21028989.783023', '20307551.880445', '20307550.738074', '20219489.749689', ''], ['   25', '24268559.843826', '24372148.139420', '24372149.273669', '24372147.503027', '24372147.690599', '  4.335003', '  4.335003', '  2.292754', '  0.118473', ' -0.026104', '-17618.894334', '85954.780734', '  1.846763', '  0.022032', ' 13.093263', '19578886.160449', '-17453721.285078', '3450257.301722', '24372146.386179', '24372145.822699', '24268563.033098', '']]
>>> keys[-1]   # последний ключ
'10:0:0.000000___Nsats:10'
>>> result[keys[-1]]
[['    4', '22909582.126361', '22971153.325255', '22971156.084208', '22971158.780949', '22971160.253881', '  2.305990', '  2.305990', '  2.292754', '  0.118473', ' -0.044372', '-11509.728151', '50052.394515', '  1.941160', ' -0.044216', ' 25.580314', '17143486.983396', '-16942314.873180', '10511932.820940', '22971149.060666', '22971151.584341', '22909589.088242', ''], ['    8', '21192495.545742', '21245652.748655', '21245655.417354', '21245655.404192', '21245655.445715', '  1.236663', '  1.236663', '  2.292754', '  0.118473', ' -0.044372', '-3097.128850', '50052.394515', '  2.070679', ' -0.047667', ' 53.920360', '12167437.227633', '-9219017.657469', '21780819.968782', '21245648.623571', '21245649.992338', '21192497.255911', ''], ['   11', '24226914.570347', '24460697.394966', '24460700.777373', '24460700.239012', '24460700.444984', '  4.651166', '  4.651166', '  2.292754', '  0.118473', ' -0.044372', '-183717.836128', '50052.394515', '  1.651873', '  0.007367', ' 12.152515', '10831241.013051', '-21882737.569694', '9805920.210950', '24460692.166685', '24460697.460707', '24226924.855859', ''], ['   15', '24257404.061235', '24391164.488970', '24391166.693431', '24391174.777832', '24391178.754770', '  4.218165', '  4.218165', '  2.292754', '  0.118473', ' -0.044372', '-83694.059956', '50052.394515', ' -4.180467', '  0.004364', ' 13.476870', '-11350262.378751', '11131644.315911', '21150556.288854', '24391161.081474', '24391156.330930', '24257400.170975', ''], ['   16', '23458226.023610', '23529900.605197', '23529903.104636', '23529891.826749', '23529887.872822', '  2.385002', '  2.385002', '  2.292754', '  0.118473', ' -0.044372', '-21612.875712', '50052.394515', '  3.664476', ' -0.091491', ' 24.665217', '26742564.965155', '170541.339864', '1018637.717762', '23529896.741745', '23529900.505325', '23458225.490890', ''], ['   18', '22009911.881048', '21925870.707652', '21925870.601134', '21925881.873915', '21925885.188506', '  1.375092', '  1.375092', '  2.292754', '  0.118473', ' -0.044372', '134097.060255', '50052.394515', ' -3.266161', '  0.000951', ' 46.600056', '5618439.221842', '15677780.090883', '21234681.261947', '21925870.872299', '21925867.231610', '22009915.285578', ''], ['   21', '23663429.537563', '23860302.769175', '23860303.347451', '23860297.125515', '23860295.256533', '  2.508934', '  2.508934', '  2.292754', '  0.118473', ' -0.044372', '-146810.330865', '50052.394515', '  0.542797', ' -0.001572', ' 23.356975', '1369423.870184', '22128773.723668', '15104686.749107', '23860301.875318', '23860298.731012', '23663444.806243', ''], ['   22', '21002785.419362', '20931377.731982', '20931375.907670', '20931392.612170', '20931397.359817', '  1.140305', '  1.140305', '  2.292754', '  0.118473', ' -0.044372', '121460.958045', '50052.394515', ' -0.249007', '  0.002439', ' 61.246202', '19142827.759743', '10542551.563771', '15450359.310359', '20931380.551871', '20931379.284211', '21002784.766080', ''], ['   27', '20272464.140988', '20313177.902147', '20313179.724830', '20313178.441436', '20313178.204023', '  1.013742', '  1.013742', '  2.292754', '  0.118473', ' -0.044372', '9344.403440', '50052.394515', '  5.737193', ' -0.048741', ' 80.545734', '17827239.522809', '3205370.728004', '19443567.600648', '20313175.084775', '20313180.198804', '20272463.865974', ''], ['   30', '24735844.180022', '24771472.397869', '24771477.010167', '24771471.308801', '24771470.787391', '  5.768814', '  5.768814', '  2.292754', '  0.118473', ' -0.044372', '14445.068342', '50052.394515', ' -1.437712', ' -0.050720', '  9.651454', '-5327172.823122', '-17362413.528226', '19353688.142206', '24771465.268512', '24771463.665442', '24735846.830303', '']]
>>> 
>>> len(keys)  # общее число подзаголовков вида XX:X:X.000000___Nsats:XX:
1081
>>> 
>>> from pprint import pp
>>> pp(result[keys[-1]])
[['    4',
  '22909582.126361',
  '22971153.325255',
  '22971156.084208',
  '22971158.780949',
  '22971160.253881',
  '  2.305990',
  '  2.305990',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-11509.728151',
  '50052.394515',
  '  1.941160',
  ' -0.044216',
  ' 25.580314',
  '17143486.983396',
  '-16942314.873180',
  '10511932.820940',
  '22971149.060666',
  '22971151.584341',
  '22909589.088242',
  ''],
 ['    8',
  '21192495.545742',
  '21245652.748655',
  '21245655.417354',
  '21245655.404192',
  '21245655.445715',
  '  1.236663',
  '  1.236663',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-3097.128850',
  '50052.394515',
  '  2.070679',
  ' -0.047667',
  ' 53.920360',
  '12167437.227633',
  '-9219017.657469',
  '21780819.968782',
  '21245648.623571',
  '21245649.992338',
  '21192497.255911',
  ''],
 ['   11',
  '24226914.570347',
  '24460697.394966',
  '24460700.777373',
  '24460700.239012',
  '24460700.444984',
  '  4.651166',
  '  4.651166',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-183717.836128',
  '50052.394515',
  '  1.651873',
  '  0.007367',
  ' 12.152515',
  '10831241.013051',
  '-21882737.569694',
  '9805920.210950',
  '24460692.166685',
  '24460697.460707',
  '24226924.855859',
  ''],
 ['   15',
  '24257404.061235',
  '24391164.488970',
  '24391166.693431',
  '24391174.777832',
  '24391178.754770',
  '  4.218165',
  '  4.218165',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-83694.059956',
  '50052.394515',
  ' -4.180467',
  '  0.004364',
  ' 13.476870',
  '-11350262.378751',
  '11131644.315911',
  '21150556.288854',
  '24391161.081474',
  '24391156.330930',
  '24257400.170975',
  ''],
 ['   16',
  '23458226.023610',
  '23529900.605197',
  '23529903.104636',
  '23529891.826749',
  '23529887.872822',
  '  2.385002',
  '  2.385002',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-21612.875712',
  '50052.394515',
  '  3.664476',
  ' -0.091491',
  ' 24.665217',
  '26742564.965155',
  '170541.339864',
  '1018637.717762',
  '23529896.741745',
  '23529900.505325',
  '23458225.490890',
  ''],
 ['   18',
  '22009911.881048',
  '21925870.707652',
  '21925870.601134',
  '21925881.873915',
  '21925885.188506',
  '  1.375092',
  '  1.375092',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '134097.060255',
  '50052.394515',
  ' -3.266161',
  '  0.000951',
  ' 46.600056',
  '5618439.221842',
  '15677780.090883',
  '21234681.261947',
  '21925870.872299',
  '21925867.231610',
  '22009915.285578',
  ''],
 ['   21',
  '23663429.537563',
  '23860302.769175',
  '23860303.347451',
  '23860297.125515',
  '23860295.256533',
  '  2.508934',
  '  2.508934',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-146810.330865',
  '50052.394515',
  '  0.542797',
  ' -0.001572',
  ' 23.356975',
  '1369423.870184',
  '22128773.723668',
  '15104686.749107',
  '23860301.875318',
  '23860298.731012',
  '23663444.806243',
  ''],
 ['   22',
  '21002785.419362',
  '20931377.731982',
  '20931375.907670',
  '20931392.612170',
  '20931397.359817',
  '  1.140305',
  '  1.140305',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '121460.958045',
  '50052.394515',
  ' -0.249007',
  '  0.002439',
  ' 61.246202',
  '19142827.759743',
  '10542551.563771',
  '15450359.310359',
  '20931380.551871',
  '20931379.284211',
  '21002784.766080',
  ''],
 ['   27',
  '20272464.140988',
  '20313177.902147',
  '20313179.724830',
  '20313178.441436',
  '20313178.204023',
  '  1.013742',
  '  1.013742',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '9344.403440',
  '50052.394515',
  '  5.737193',
  ' -0.048741',
  ' 80.545734',
  '17827239.522809',
  '3205370.728004',
  '19443567.600648',
  '20313175.084775',
  '20313180.198804',
  '20272463.865974',
  ''],
 ['   30',
  '24735844.180022',
  '24771472.397869',
  '24771477.010167',
  '24771471.308801',
  '24771470.787391',
  '  5.768814',
  '  5.768814',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '14445.068342',
  '50052.394515',
  ' -1.437712',
  ' -0.050720',
  '  9.651454',
  '-5327172.823122',
  '-17362413.528226',
  '19353688.142206',
  '24771465.268512',
  '24771463.665442',
  '24735846.830303',
  '']]
>>>

Добавлено через 14 минут
Разумеется, два вышеприведенных кода можно объединить в один (дабы сделать все за один проход разбора файла csv ридером) и, поскольку, конечный результат - словарь, то проитерироваться по нему можно так:

Python
1
2
3
 for k, v in result.items():
    print(k)  # подзаголовок XX:X:X.000000___Nsats:XX
    print(v) # список списков значений в этом абзаце

@Paracelsus · 22.09.2020, 22:08 **[ТС]**

Код возможно простой, но мой уровень знаний пока скуден для его понимания
Я бы сделал так:
Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал
Это я хотя бы понимаю, как написать)

Меня так же беспокоит то, что скорей всего у Вас тип переменных - строка
Мне же эти числа нужно использовать в вычислениях, что со строками невозможно

@Garry Galler · 22.09.2020, 22:14

Сообщение от Paracelsus

Мне же эти числа нужно использовать в вычислениях, что со строками невозможно

Ну дак каждую циферку можно замапаить в int (так всегда и делают).

Сообщение от Paracelsus

Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал

Ну дак ридер так и поступает. Он читает построчно и самостоятельно разбивает на колонки.
Все преобразования можно делать прямо по ходу чтения файла ридером.

А если еще вспомнить что в Python для научных данных существует куча мегабиблиотек типа numpy, pandas и т.д., то можно все еще больше упростить.

@Paracelsus · 22.09.2020, 22:23 **[ТС]**

В python пишу 2ю программу
Так что ничего почти не знаю и не помню
Знаю только, что python мне большое нравится, чем Cи
Так что, если есть какие то советы или крутые сайты(книги) буду только рад!

Добавлено через 2 минуты

Сообщение от Garry Galler

замапаить

что это?
Перевод в другой тип данных?
Только в int ?
а в другие ?
там координаты даны
они далеко не интовые)

@Garry Galler · 22.09.2020, 22:30

Сообщение от Paracelsus

они далеко не интовые)

Я в курсе. Просто нет тот тип назвал :-)

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import csv
from collections import defaultdict
 
path = r"F:\INSTALL\Python38\warn_1-10.dat"
result = defaultdict(list)
with open(path, 'r') as f:
    reader = csv.reader(f, delimiter='\t')
    for row in reader:
        if 'Nsats' in row[0]:
            key = row[0]
            continue
        else:
            result[key].append([float(val) for val in map(str.strip,row) if val !=""])
            
            
for k, v in result.items():
    print(k)
    print(v)

Новые блоги и статьи Все статьи Все блоги /
Nekobox - outbounds[0].transport: unknown transport type: raw damix 01.10.2026 Фикс ошибки Правым кликом по серверу -> отладочная информация -> edit Заменить "net": "raw", на "net": "tcp", Нажать кнопку reload.	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 19:34 [ТС]
	Дайте комментарий к коду этот ридер встроен в питон? 0

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 20:42 [ТС]
	ну ладно и на том спасибо Добавлено через 7 минут а можно ли через этот ридер считывать числа и заносить их в переменную ? 0

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 22:08 [ТС]
	Код возможно простой, но мой уровень знаний пока скуден для его понимания Я бы сделал так: Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал Это я хотя бы понимаю, как написать) Меня так же беспокоит то, что скорей всего у Вас тип переменных - строка Мне же эти числа нужно использовать в вычислениях, что со строками невозможно 0

Опции темы