Предел памяти строки

@Paracelsus · Регистрация: 04.12.2018

Студворк — интернет-сервис помощи студентам

Есть текстовый файл с более 2млн символов. Открыл его и считал. После считывания, начал обрабатывать строку и обнаружил, что она меньше намного файла. 266628 элементов. Почему и как это пофиксить? Программу дальше уже написал под одну строку.

Добавлено через 4 минуты

Python
1
2
file = open('warn_1-10_TEST.dat', 'r')
DATA = file.read()

@Paracelsus · 22.09.2020, 19:34 **[ТС]**

Дайте комментарий к коду
этот ридер встроен в питон?

@Garry Galler · 22.09.2020, 19:41

Сообщение от Paracelsus

этот ридер встроен в питон?

А проверить самому?

@Paracelsus · 22.09.2020, 20:42 **[ТС]**

ну ладно
и на том спасибо

Добавлено через 7 минут
а можно ли через этот ридер считывать числа и заносить их в переменную ?

@Garry Galler · 22.09.2020, 21:58

Сообщение от Paracelsus

а можно ли через этот ридер считывать числа и заносить их в переменную ?

Можно. Только не через ридер (ридер только читает и делит на столбцы), а с помощью прямых рук.

Добавлено через 13 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
>>> from collections import defaultdict
>>> result = defaultdict(list)
>>> for val in rows:
    if 'Nsats' in val[0]:
        key = val[0]
        continue
    else:
        result[key].append(val)
 
        
>>> keys = list(result.keys())
>>> keys[0]
'1:0:0.000000___Nsats:7'
>>> keys[1]
'1:0:30.000000___Nsats:6'
>>> keys[2]
'1:1:0.000000___Nsats:6'
>>> result[keys[0]]
[['   14', '23855078.613251', '23932531.918702', '23932529.007881', '23932533.472584', '23932534.278427', '  2.784221', '  2.784221', '  2.292754', '  0.118473', ' -0.026917', '7621.318233', '85069.547256', '  2.074970', ' -0.055909', ' 20.899652', '-1049390.626183', '-15935142.989231', '21498787.040367', '23932536.418038', '23932535.649478', '23855080.853414', ''], ['   15', '23055257.181959', '23224005.977214', '23224005.366189', '23224007.821993', '23224008.589886', '  2.061287', '  2.061287', '  2.292754', '  0.118473', ' -0.026917', '-83675.003653', '85069.547256', '  0.613572', '  0.020235', ' 28.917798', '26460509.568637', '2907433.205753', '2479686.722565', '23224006.921693', '23224007.276761', '23055255.122278', ''], ['   17', '22369452.729139', '22512162.673295', '22512161.019166', '22512169.600959', '22512171.500394', '  1.584143', '  1.584143', '  2.292754', '  0.118473', ' -0.026917', '-57639.095062', '85069.547256', ' -0.730776', '  0.039422', ' 39.072398', '1711651.474786', '15765485.980935', '21645457.757422', '22512165.230128', '22512164.418927', '22369455.042840', ''], ['   18', '24938840.191542', '24889864.912335', '24889864.059191', '24889866.444862', '24889865.963087', '  7.661126', '  7.661126', '  2.292754', '  0.118473', ' -0.026917', '134061.240142', '85069.547256', ' -3.309983', ' -0.036573', '  7.051635', '14769039.223159', '-21532190.434708', '4458487.037238', '24889866.231065', '24889863.553141', '24938852.507603', ''], ['   22', '24465044.157241', '24428695.948535', '24428692.275900', '24428699.814735', '24428700.477652', '  4.352171', '  4.352171', '  2.292754', '  0.118473', ' -0.026917', '121424.355771', '85069.547256', '  3.985390', ' -0.050004', ' 13.038648', '3920912.763958', '-21541001.634032', '15150032.543345', '24428701.625430', '24428703.816855', '24465050.228485', ''], ['   24', '20220593.847495', '20307771.142561', '20307772.062500', '20307774.292166', '20307775.400353', '  1.006630', '  1.006630', '  2.292754', '  0.118473', ' -0.026917', '-2103.704551', '85069.547256', ' -0.852406', ' -0.011940', ' 83.413965', '16141521.242912', '1185375.347945', '21050479.512224', '20307769.720586', '20307768.728889', '20220592.969204', ''], ['   25', '24289027.340966', '24391730.328483', '24391731.413742', '24391729.858787', '24391730.045356', '  4.397815', '  4.397815', '  2.292754', '  0.118473', ' -0.026917', '-17618.844293', '85069.547256', '  1.856271', '  0.022168', ' 12.895533', '19582863.345993', '-17468339.118308', '3354640.482805', '24391728.650969', '24391728.180009', '24289030.541500', '']]
>>> result[keys[1]]
[['   14', '23837993.444779', '23916331.056756', '23916329.444950', '23916333.520373', '23916334.331974', '  2.762069', '  2.762069', '  2.292754', '  0.118473', ' -0.026104', '7621.296003', '85954.780734', '  2.069501', ' -0.055938', ' 21.077977', '-972661.438256', '-15912326.963168', '21519085.485258', '23916333.548169', '23916335.688366', '23837995.709745', ''], ['   15', '23074728.045011', '23244361.980999', '23244361.534931', '23244363.946372', '23244364.708500', '  2.075724', '  2.075724', '  2.292754', '  0.118473', ' -0.026104', '-83675.023049', '85954.780734', '  0.600196', '  0.020152', ' 28.695997', '26468145.838156', '2919166.390382', '2387591.227926', '23244362.670499', '23244363.410051', '23074726.004691', ''], ['   17', '22377766.918946', '22521362.255318', '22521360.511159', '22521369.054541', '22521370.955028', '  1.588098', '  1.588098', '  2.292754', '  0.118473', ' -0.026104', '-57639.104659', '85954.780734', ' -0.735969', '  0.039410', ' 38.956069', '1634252.355445', '15744829.416221', '21666148.435584', '22521364.951314', '22521363.870885', '22377769.263092', ''], ['   22', '24472392.101246', '24436930.156463', '24436926.194833', '24436933.012756', '24436933.675222', '  4.377964', '  4.377964', '  2.292754', '  0.118473', ' -0.026104', '121424.391163', '85954.780734', '  3.978929', ' -0.049966', ' 12.957405', '3965263.193881', '-21577672.930687', '15084613.668224', '24436936.280065', '24436937.015574', '24472398.179736', ''], ['   24', '20219490.628897', '20307553.197254', '20307554.049157', '20307556.299800', '20307557.406984', '  1.006319', '  1.006319', '  2.292754', '  0.118473', ' -0.026104', '-2103.700845', '85954.780734', ' -0.861133', ' -0.012043', ' 83.569141', '16164357.296959', '1262487.092557', '21028989.783023', '20307551.880445', '20307550.738074', '20219489.749689', ''], ['   25', '24268559.843826', '24372148.139420', '24372149.273669', '24372147.503027', '24372147.690599', '  4.335003', '  4.335003', '  2.292754', '  0.118473', ' -0.026104', '-17618.894334', '85954.780734', '  1.846763', '  0.022032', ' 13.093263', '19578886.160449', '-17453721.285078', '3450257.301722', '24372146.386179', '24372145.822699', '24268563.033098', '']]
>>> keys[-1]   # последний ключ
'10:0:0.000000___Nsats:10'
>>> result[keys[-1]]
[['    4', '22909582.126361', '22971153.325255', '22971156.084208', '22971158.780949', '22971160.253881', '  2.305990', '  2.305990', '  2.292754', '  0.118473', ' -0.044372', '-11509.728151', '50052.394515', '  1.941160', ' -0.044216', ' 25.580314', '17143486.983396', '-16942314.873180', '10511932.820940', '22971149.060666', '22971151.584341', '22909589.088242', ''], ['    8', '21192495.545742', '21245652.748655', '21245655.417354', '21245655.404192', '21245655.445715', '  1.236663', '  1.236663', '  2.292754', '  0.118473', ' -0.044372', '-3097.128850', '50052.394515', '  2.070679', ' -0.047667', ' 53.920360', '12167437.227633', '-9219017.657469', '21780819.968782', '21245648.623571', '21245649.992338', '21192497.255911', ''], ['   11', '24226914.570347', '24460697.394966', '24460700.777373', '24460700.239012', '24460700.444984', '  4.651166', '  4.651166', '  2.292754', '  0.118473', ' -0.044372', '-183717.836128', '50052.394515', '  1.651873', '  0.007367', ' 12.152515', '10831241.013051', '-21882737.569694', '9805920.210950', '24460692.166685', '24460697.460707', '24226924.855859', ''], ['   15', '24257404.061235', '24391164.488970', '24391166.693431', '24391174.777832', '24391178.754770', '  4.218165', '  4.218165', '  2.292754', '  0.118473', ' -0.044372', '-83694.059956', '50052.394515', ' -4.180467', '  0.004364', ' 13.476870', '-11350262.378751', '11131644.315911', '21150556.288854', '24391161.081474', '24391156.330930', '24257400.170975', ''], ['   16', '23458226.023610', '23529900.605197', '23529903.104636', '23529891.826749', '23529887.872822', '  2.385002', '  2.385002', '  2.292754', '  0.118473', ' -0.044372', '-21612.875712', '50052.394515', '  3.664476', ' -0.091491', ' 24.665217', '26742564.965155', '170541.339864', '1018637.717762', '23529896.741745', '23529900.505325', '23458225.490890', ''], ['   18', '22009911.881048', '21925870.707652', '21925870.601134', '21925881.873915', '21925885.188506', '  1.375092', '  1.375092', '  2.292754', '  0.118473', ' -0.044372', '134097.060255', '50052.394515', ' -3.266161', '  0.000951', ' 46.600056', '5618439.221842', '15677780.090883', '21234681.261947', '21925870.872299', '21925867.231610', '22009915.285578', ''], ['   21', '23663429.537563', '23860302.769175', '23860303.347451', '23860297.125515', '23860295.256533', '  2.508934', '  2.508934', '  2.292754', '  0.118473', ' -0.044372', '-146810.330865', '50052.394515', '  0.542797', ' -0.001572', ' 23.356975', '1369423.870184', '22128773.723668', '15104686.749107', '23860301.875318', '23860298.731012', '23663444.806243', ''], ['   22', '21002785.419362', '20931377.731982', '20931375.907670', '20931392.612170', '20931397.359817', '  1.140305', '  1.140305', '  2.292754', '  0.118473', ' -0.044372', '121460.958045', '50052.394515', ' -0.249007', '  0.002439', ' 61.246202', '19142827.759743', '10542551.563771', '15450359.310359', '20931380.551871', '20931379.284211', '21002784.766080', ''], ['   27', '20272464.140988', '20313177.902147', '20313179.724830', '20313178.441436', '20313178.204023', '  1.013742', '  1.013742', '  2.292754', '  0.118473', ' -0.044372', '9344.403440', '50052.394515', '  5.737193', ' -0.048741', ' 80.545734', '17827239.522809', '3205370.728004', '19443567.600648', '20313175.084775', '20313180.198804', '20272463.865974', ''], ['   30', '24735844.180022', '24771472.397869', '24771477.010167', '24771471.308801', '24771470.787391', '  5.768814', '  5.768814', '  2.292754', '  0.118473', ' -0.044372', '14445.068342', '50052.394515', ' -1.437712', ' -0.050720', '  9.651454', '-5327172.823122', '-17362413.528226', '19353688.142206', '24771465.268512', '24771463.665442', '24735846.830303', '']]
>>> 
>>> len(keys)  # общее число подзаголовков вида XX:X:X.000000___Nsats:XX:
1081
>>> 
>>> from pprint import pp
>>> pp(result[keys[-1]])
[['    4',
  '22909582.126361',
  '22971153.325255',
  '22971156.084208',
  '22971158.780949',
  '22971160.253881',
  '  2.305990',
  '  2.305990',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-11509.728151',
  '50052.394515',
  '  1.941160',
  ' -0.044216',
  ' 25.580314',
  '17143486.983396',
  '-16942314.873180',
  '10511932.820940',
  '22971149.060666',
  '22971151.584341',
  '22909589.088242',
  ''],
 ['    8',
  '21192495.545742',
  '21245652.748655',
  '21245655.417354',
  '21245655.404192',
  '21245655.445715',
  '  1.236663',
  '  1.236663',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-3097.128850',
  '50052.394515',
  '  2.070679',
  ' -0.047667',
  ' 53.920360',
  '12167437.227633',
  '-9219017.657469',
  '21780819.968782',
  '21245648.623571',
  '21245649.992338',
  '21192497.255911',
  ''],
 ['   11',
  '24226914.570347',
  '24460697.394966',
  '24460700.777373',
  '24460700.239012',
  '24460700.444984',
  '  4.651166',
  '  4.651166',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-183717.836128',
  '50052.394515',
  '  1.651873',
  '  0.007367',
  ' 12.152515',
  '10831241.013051',
  '-21882737.569694',
  '9805920.210950',
  '24460692.166685',
  '24460697.460707',
  '24226924.855859',
  ''],
 ['   15',
  '24257404.061235',
  '24391164.488970',
  '24391166.693431',
  '24391174.777832',
  '24391178.754770',
  '  4.218165',
  '  4.218165',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-83694.059956',
  '50052.394515',
  ' -4.180467',
  '  0.004364',
  ' 13.476870',
  '-11350262.378751',
  '11131644.315911',
  '21150556.288854',
  '24391161.081474',
  '24391156.330930',
  '24257400.170975',
  ''],
 ['   16',
  '23458226.023610',
  '23529900.605197',
  '23529903.104636',
  '23529891.826749',
  '23529887.872822',
  '  2.385002',
  '  2.385002',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-21612.875712',
  '50052.394515',
  '  3.664476',
  ' -0.091491',
  ' 24.665217',
  '26742564.965155',
  '170541.339864',
  '1018637.717762',
  '23529896.741745',
  '23529900.505325',
  '23458225.490890',
  ''],
 ['   18',
  '22009911.881048',
  '21925870.707652',
  '21925870.601134',
  '21925881.873915',
  '21925885.188506',
  '  1.375092',
  '  1.375092',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '134097.060255',
  '50052.394515',
  ' -3.266161',
  '  0.000951',
  ' 46.600056',
  '5618439.221842',
  '15677780.090883',
  '21234681.261947',
  '21925870.872299',
  '21925867.231610',
  '22009915.285578',
  ''],
 ['   21',
  '23663429.537563',
  '23860302.769175',
  '23860303.347451',
  '23860297.125515',
  '23860295.256533',
  '  2.508934',
  '  2.508934',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '-146810.330865',
  '50052.394515',
  '  0.542797',
  ' -0.001572',
  ' 23.356975',
  '1369423.870184',
  '22128773.723668',
  '15104686.749107',
  '23860301.875318',
  '23860298.731012',
  '23663444.806243',
  ''],
 ['   22',
  '21002785.419362',
  '20931377.731982',
  '20931375.907670',
  '20931392.612170',
  '20931397.359817',
  '  1.140305',
  '  1.140305',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '121460.958045',
  '50052.394515',
  ' -0.249007',
  '  0.002439',
  ' 61.246202',
  '19142827.759743',
  '10542551.563771',
  '15450359.310359',
  '20931380.551871',
  '20931379.284211',
  '21002784.766080',
  ''],
 ['   27',
  '20272464.140988',
  '20313177.902147',
  '20313179.724830',
  '20313178.441436',
  '20313178.204023',
  '  1.013742',
  '  1.013742',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '9344.403440',
  '50052.394515',
  '  5.737193',
  ' -0.048741',
  ' 80.545734',
  '17827239.522809',
  '3205370.728004',
  '19443567.600648',
  '20313175.084775',
  '20313180.198804',
  '20272463.865974',
  ''],
 ['   30',
  '24735844.180022',
  '24771472.397869',
  '24771477.010167',
  '24771471.308801',
  '24771470.787391',
  '  5.768814',
  '  5.768814',
  '  2.292754',
  '  0.118473',
  ' -0.044372',
  '14445.068342',
  '50052.394515',
  ' -1.437712',
  ' -0.050720',
  '  9.651454',
  '-5327172.823122',
  '-17362413.528226',
  '19353688.142206',
  '24771465.268512',
  '24771463.665442',
  '24735846.830303',
  '']]
>>>

Добавлено через 14 минут
Разумеется, два вышеприведенных кода можно объединить в один (дабы сделать все за один проход разбора файла csv ридером) и, поскольку, конечный результат - словарь, то проитерироваться по нему можно так:

Python
1
2
3
 for k, v in result.items():
    print(k)  # подзаголовок XX:X:X.000000___Nsats:XX
    print(v) # список списков значений в этом абзаце

@Paracelsus · 22.09.2020, 22:08 **[ТС]**

Код возможно простой, но мой уровень знаний пока скуден для его понимания
Я бы сделал так:
Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал
Это я хотя бы понимаю, как написать)

Меня так же беспокоит то, что скорей всего у Вас тип переменных - строка
Мне же эти числа нужно использовать в вычислениях, что со строками невозможно

@Garry Galler · 22.09.2020, 22:14

Сообщение от Paracelsus

Мне же эти числа нужно использовать в вычислениях, что со строками невозможно

Ну дак каждую циферку можно замапаить в int (так всегда и делают).

Сообщение от Paracelsus

Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал

Ну дак ридер так и поступает. Он читает построчно и самостоятельно разбивает на колонки.
Все преобразования можно делать прямо по ходу чтения файла ридером.

А если еще вспомнить что в Python для научных данных существует куча мегабиблиотек типа numpy, pandas и т.д., то можно все еще больше упростить.

@Paracelsus · 22.09.2020, 22:23 **[ТС]**

В python пишу 2ю программу
Так что ничего почти не знаю и не помню
Знаю только, что python мне большое нравится, чем Cи
Так что, если есть какие то советы или крутые сайты(книги) буду только рад!

Добавлено через 2 минуты

Сообщение от Garry Galler

замапаить

что это?
Перевод в другой тип данных?
Только в int ?
а в другие ?
там координаты даны
они далеко не интовые)

@Garry Galler · 22.09.2020, 22:30

Сообщение от Paracelsus

они далеко не интовые)

Я в курсе. Просто нет тот тип назвал :-)

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import csv
from collections import defaultdict
 
path = r"F:\INSTALL\Python38\warn_1-10.dat"
result = defaultdict(list)
with open(path, 'r') as f:
    reader = csv.reader(f, delimiter='\t')
    for row in reader:
        if 'Nsats' in row[0]:
            key = row[0]
            continue
        else:
            result[key].append([float(val) for val in map(str.strip,row) if val !=""])
            
            
for k, v in result.items():
    print(k)
    print(v)

Новые блоги и статьи Все статьи Все блоги /
сукцессия 14. Обновленная схема модели anaschu 28.06.2026 ГЛОБАЛЬНАЯ ОПИСАТЕЛЬНАЯ СПЕЦИФИКАЦИЯ ЭКОСИСТЕМНОЙ МОДЕЛИ «SOIL CHEMISTRY & MYCORRHIZA 2. 0» https:/ / ibb. co/ NnkGpfMd Представленная интегрированная схема описывает непрерывную нелинейную. . .	сукцессия 13. Питон модель трехзонного мицелия, пока что в основном арбускулярного anaschu 28.06.2026 ## Разработка агентной модели микоризной сукцессии: от выявления артефактов к созданию комплексной системы ### Аннотация Представлено исследование по разработке агентной модели микоризной. . .	сукцессия 12. краткий список проверок модели перед запуском. anaschu 27.06.2026 Скрытые отказы в моделях систем динамики (SD-models) экологических систем: два случая из практики Контекст Разбирался прототип модели систем динамики (SD-модели) микоризной сукцессии: пять. . .	Сукцессия 11. Проверка орудий перед войной: разработка через тестирование anaschu 27.06.2026 Как не дать модели соврать самой себе: проверки для симуляции микоризной сукцессии Введение Когда вы строите математическую модель живой системы — грибов, растений, почвы — главная опасность. . .
10 сукцессия. Питон код войны грибов и растений anaschu 27.06.2026 import numpy as np class PlantAgent: def __init__(self, name, strategy, initial_biomass): self. name = name self. strategy = strategy # "greedy" (широколиственные) или. . .	сукцессия 9. Математика подлости: как растения предали грибных друзей anaschu 27.06.2026 Статья 2. Глобальная фосфорная война: эволюционно-экономические механизмы распределения биомов Земли Введение: Экологический рынок как игра с нулевой суммой Традиционная экология долгое время. . .	сукцессия 8. Как я спорил с ИИ, которые - агенты растений и ненавистники грибов! anaschu 27.06.2026 Статья 1. Хроники грибного восстания: как Сократов диалог разрушил академические догмы ИИ Введение: Синдром «цифрового учебника» Современные большие языковые модели (LLM) обладают колоссальным. . .	Главный вопрос моделирования сукцессии anaschu 27.06.2026 главный вопрос. Если эктомикориза лучше добывает недоступный фосфор. И ее масса максимальна из всех. А широколиственный лес тоже имеет самую крутую биомассу. То почему не возникло их симбиоза? Это. . .

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 19:34 [ТС]
	Дайте комментарий к коду этот ридер встроен в питон? 0

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 20:42 [ТС]
	ну ладно и на том спасибо Добавлено через 7 минут а можно ли через этот ридер считывать числа и заносить их в переменную ? 0

@Paracelsus 0 / 0 / 0 Регистрация: 04.12.2018 Сообщений: 32
	22.09.2020, 22:08 [ТС]
	Код возможно простой, но мой уровень знаний пока скуден для его понимания Я бы сделал так: Разбил большую строку с файлом на маленькие куски и в цикле бы их обрабатывал Это я хотя бы понимаю, как написать) Меня так же беспокоит то, что скорей всего у Вас тип переменных - строка Мне же эти числа нужно использовать в вычислениях, что со строками невозможно 0