|
3 / 3 / 2
Регистрация: 10.03.2010
Сообщений: 51
|
|||||||||||
.NET 4.x Чтение запись файлов *.csv больших размеров24.01.2012, 11:59. Показов 5548. Ответов 4
Метки нет (Все метки)
Доброго времени суток, форумчане!
Нужно сделать: • прочитать данные таймсерий из файла (прилагается test.csv) • подсчитаете SMA(20) таймсерий и сохраните его в другой выходной файл. Примечание: исходный файл содержит данные о ценах в нескольких компаниях. Идентификатор компании хранится(находится) в первом столбце файла. Программа должна вычислить SMA таймсерии индивидуально для каждой компании. Исходный файл может быть большим (несколько гигабайт, и может не поместиться в оперативной памяти). Исходный файл выглядит так: symbol,date/time,Price IBM,08/30/2010 06:50:00.0,124.7300 MSFT,08/30/2010 07:07:00.0,23.9300 CAT,08/30/2010 08:01:00.0,66.1200 MSFT,08/30/2010 08:21:00.0,23.9400 IBM,08/30/2010 08:49:00.0,124.8300 ... (размер м. б. такой, что не поместится в ОЗУ) Вот код, работает, но не предусматривает проверку и работу с большими файлами:
Во-вторых, можно ли сделать, чтобы на уровне приложения double тип был с плавующей точкой (.), а не запятой, имел формат с 4 цифрами после точки, как в исходном файле? Жду Ваших предложений и советов, извиняюсь за свой страшный код
0
|
|||||||||||
| 24.01.2012, 11:59 | |
|
Ответы с готовыми решениями:
4
Чтение и обработка больших файлов Многопоточное чтение больших файлов Чтение больших файлов (несколько гигабайт) |
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
|||
| 24.01.2012, 14:48 | |||
|
Что такое SMA(20)? Подозреваю, что что-то из финансов, но искать самому не хочется. Если не сложно, в двух словах. P.S. Так вот зачем вам ParseExact нужен был...
0
|
|||
|
3 / 3 / 2
Регистрация: 10.03.2010
Сообщений: 51
|
||
| 24.01.2012, 18:42 [ТС] | ||
Да и ещё, неужели, считыванием построчно можно добиться работы с большими файлами, ведь все данные из файла актуальны на все протяжении вычисления SMA(20)? SMA (20) - простое скользящее среднее, используется на Forex и не только, а 20 - период
0
|
||
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
||||||||
| 24.01.2012, 19:06 | ||||||||
Вот вы считали весь файл в память, потом разбили его на строки - это еще столько же памяти. Потом каждую строку разбиваете на фрагменты, которые уже используются в объектах - это еще столько же памяти занялось. То есть в вашем алгоритме для обработки файла требуется в три раза больше памяти, чем занимает сам файл. А так - строчку прочитали, разбили, создали объект. Прочитали, разбили, создали... Если количество символов такое, что в памяти не помещается, то придется либо кэшировать на диске (долго), либо хранить где-нибудь в базе.
0
|
||||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
|
| 24.01.2012, 20:20 | |
|
0
|
|
| 24.01.2012, 20:20 | |
|
Помогаю со студенческими работами здесь
5
Чтение в richtextbox больших файлов сопровождается большим потреблением памяти приложением Чтение/запись файлов в сборке Получение из БД MSSQL файлов больших размеров Чтение файлов больших размеров >1Гб Копирование файлов больших размеров Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
|
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут.
https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc
Первый документ красиво выглядит, но без схемы.
Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
|
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере".
Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
|
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти".
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
В качестве источника данных. . .
|
|
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер
Написал заготовку:
dotnet new console --aot -o UrlHandler
var items = args. Split(":");
var tag = items;
var id = items;
var executable = args;. . .
|
Отправка уведомления на почту при создании или изменении элементов справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3.
Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .
|
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений.
9TO2GP2bpX4
a42b81fb172ffc12ca589c7898261ccb/
https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/
Слева синяя линия -. . .
|
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. .
Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
|