В каком формате удобнее хранить данные?

@AndreA SN · Регистрация: 26.08.2011

Студворк — интернет-сервис помощи студентам

Есть необходимость хранить данные.
Нет возможности организовывать базу данных.

Какие есть альтернативы. Скорость обработки имеет значение
Количество записей - в год добавляется до 10-12 тысяч.
тип хранимых данных: в одной записи 15 полей, текст

В чем лучше хранить? txt? excel? Css?

@Usaga · 30.01.2018, 09:39

Сообщение от AndreA SN

Количество записей - в год добавляется до 10-12 тысяч.

Вы точно уверены, что "нет возможности организовать базу данных"? Объём данных базу и просит.

Кстати, база не обязательно должна быть представлена отдельным сервером (да ещё и покупным). Есть варианты встраиваемых СУБД, прямо в приложение в виде пары-тройки библиотек.

Если бы речь шла о паре сотен записей, то можно было бы хранить в чём угодно, но большими данными намного удобнее и эффективнее ворочать в специально организованном для этого хранилище.

@AndreA SN · 30.01.2018, 09:40 **[ТС]**

И еще важно шифрование данных. Я не собираюсь прятать данные от себя и ядреных прогеров. Мне нужно сделать данные непросекаемыми от сотрудников, которые с ними работают, чтобы препятствовать:
1. изменению электронной подписи,
2. ручному добавлению, уничтожению, изменению данных в записях
3. другим неподконтрольным программе действиям со стороны пользователей.

Суть: программа протоколирует действия пользователя. Вне программы файл с данными представляет собой месиво. Пусть открывают в FAR, Commander, пусть смотрят в редакторах - но на абракадабру.

@Aumi · 30.01.2018, 09:41

Эксель долго. Притом есть ограничение по количеству строк. Лучше csv. Шустрее будет. Про другие форматы не могу сказать

@Usaga · 30.01.2018, 09:43

Сообщение от AndreA SN

И еще важно шифрование данных.

А это уже централизованная СУБД. Без вариантов.

От совсем ламеров спасёт и встраиваемая СУБД, ибо формат данных бинарный и блокнотами его не разобрать.

@AndreA SN · 30.01.2018, 09:43 **[ТС]**

на машинке, на которой всё это добро будет работать стоит Win7 64 офис 16
Машинка, скажем так, не новая)))

@aquaMakc · 30.01.2018, 09:46

Сообщение от AndreA SN

препятствовать:
1. изменению электронной подписи,
2. ручному добавлению, уничтожению, изменению данных в записях
3. другим неподконтрольным программе действиям со стороны пользователей.

В БД всему этому препятствовать всяко проще, чем любому другому типу хранилищ. А особенно

Сообщение от AndreA SN

txt? excel? Css?

Добавлено через 3 минуты
AndreA SN, можно, конечно, сериализовать в бинарник, да ещё и шифровать как-нибудь, а потом в файл. Но 10-15 тысяч записей по 15 полей в виде файла - это грустно.

@Usaga · 30.01.2018, 09:48

Сообщение от aquaMakc

можно, конечно, сериализовать в бинарник, да ещё и шифровать как-нибудь, а потом в файл. Но 10-15 тысяч записей по 15 полей в виде файла - это грустно.

Можно разделить записи на отдельные транзакции и вести их журнал. Только это будет тупо шаг в сторону СУБД самопальной))

@aquaMakc · 30.01.2018, 09:49

А ведь с этим ещё надо как-то работать. Если из БД мы можем забрать только те данные которые нам нужны (за нужную дату или по определённому человеку), то с файлом (а особенно зашифрованным) так не получится - придётся грузить его весь, расшифровывать, десериализовывать и держать весь этот оверхед в памяти.

@Usaga · 30.01.2018, 09:52

AndreA SN, короче, вам корячится как минимум SQLite с хранением самой базы в какой-нибудь потаённой папочке.

@aquaMakc · 30.01.2018, 09:55

Не изобретайте велосипед. Берите стандартную БД и записывайте ваши данные туда. На доступ к БД - логин и пароль (не по умолчанию) и будет счастье. Даже скачав какой-нибудь тулбокс под эту СУБД не зная логина и пароля открыть её не смогут.
Тут мы, конечно, говорим о простых пользователях, а не о кулхацкерах, которые ежедневно перед обедом пентагон ломают.

Добавлено через 1 минуту

Сообщение от Usaga

с хранением самой базы в какой-нибудь потаённой папочке.

Зачем лишние телодвижения? Пусть лежит где угодно, если она закрыта.

@Usaga · 30.01.2018, 09:57

aquaMakc, это будет дополнительной защитой от не в меру умных пользователей.

@aquaMakc · 30.01.2018, 10:04

Usaga, от не в меру умных - это не защита. А вот поиметь проблемы из-за этого вполне можно. Могут отсутствовать права на чтение/запись этого самого "потаённого места", можно забыть удалять этот файл при деинсталляции (привет утечкам дискового пространства), какой-нить ретивый сисадмин может грохнуть "непонятный" файл, найдя его в неожиданном месте. И т.д.
Система должна быть максимально прозрачна.

Добавлено через 3 минуты
Вот программа. Вот файл с которым она работает. Доступ к этому файлу закрыт паролем. Если файл удалить - программа не будет работать, но будет выдавать вооот такое уведомление, что пользователь сделал ай-яй-яй.

@Usaga · 30.01.2018, 10:09

aquaMakc, хранение данных в профиле пользователя - самое то. Если не будет прав на профиль - то это уже капут. А вот не иметь прав на папку, где лежит сам исполняемый файл можно только в путь. При установке в Program Files директории имеют права только на чтение.

Но это уже всё детали. Основной посыл - нужна база, файловая или централизованная, но база, а не CSV-шки всякие.

@aquaMakc · 30.01.2018, 10:11

AndreA SN,

Сообщение от Usaga

нужна база, файловая или централизованная, но база, а не CSV-шки всякие

поддерживаю

@AndreA SN · 30.01.2018, 10:13 **[ТС]**

убедили...
тогда другой вопрос - какая СУБД есть на халяву? И есть ли такая?

@Usaga · 30.01.2018, 10:14

AndreA SN, я ссылку выше сам себе привёл?

@AndreA SN · 30.01.2018, 10:16 **[ТС]**

a оно free?

@aquaMakc · 30.01.2018, 10:16

Сообщение от AndreA SN

тогда другой вопрос - какая СУБД есть на халяву? И есть ли такая?

как я вам писал в другой теме:
есть встраиваемые, которые не надо централизованно устанавливать, или Embedded - SQLite и Firebird Embedded.
есть "большие" с централизованным сервером, PostgreSQL или тот-же Firebird (без приставки Embedded).
Это всё бесплатные.

@Usaga · 30.01.2018, 10:17

Сообщение от AndreA SN

a оно free?

А вы, блин, по ссылке сходите, да сами посмотрите, что оно из NuGet ставится.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .

@AndreA SN 1021 / 125 / 2 Регистрация: 26.08.2011 Сообщений: 1,219 Записей в блоге: 2

	В каком формате удобнее хранить данные? 30.01.2018, 09:34. Показов 8645. Ответов 127 Метки нет (Все метки) Есть необходимость хранить данные. Нет возможности организовывать базу данных. Какие есть альтернативы. Скорость обработки имеет значение Количество записей - в год добавляется до 10-12 тысяч. тип хранимых данных: в одной записи 15 полей, текст В чем лучше хранить? txt? excel? Css? 1

@AndreA SN 1021 / 125 / 2 Регистрация: 26.08.2011 Сообщений: 1,219 Записей в блоге: 2
	30.01.2018, 09:40 [ТС]
	И еще важно шифрование данных. Я не собираюсь прятать данные от себя и ядреных прогеров. Мне нужно сделать данные непросекаемыми от сотрудников, которые с ними работают, чтобы препятствовать: 1. изменению электронной подписи, 2. ручному добавлению, уничтожению, изменению данных в записях 3. другим неподконтрольным программе действиям со стороны пользователей. Суть: программа протоколирует действия пользователя. Вне программы файл с данными представляет собой месиво. Пусть открывают в FAR, Commander, пусть смотрят в редакторах - но на абракадабру. 1

@Aumi 20 / 36 / 14 Регистрация: 08.10.2015 Сообщений: 406
	30.01.2018, 09:41
	Эксель долго. Притом есть ограничение по количеству строк. Лучше csv. Шустрее будет. Про другие форматы не могу сказать 1

@AndreA SN 1021 / 125 / 2 Регистрация: 26.08.2011 Сообщений: 1,219 Записей в блоге: 2
	30.01.2018, 09:43 [ТС]
	на машинке, на которой всё это добро будет работать стоит Win7 64 офис 16 Машинка, скажем так, не новая))) 1

@aquaMakc 484 / 397 / 68 Регистрация: 14.02.2014 Сообщений: 1,930
	30.01.2018, 09:49
	А ведь с этим ещё надо как-то работать. Если из БД мы можем забрать только те данные которые нам нужны (за нужную дату или по определённому человеку), то с файлом (а особенно зашифрованным) так не получится - придётся грузить его весь, расшифровывать, десериализовывать и держать весь этот оверхед в памяти. 1

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	30.01.2018, 09:52
	AndreA SN, короче, вам корячится как минимум SQLite с хранением самой базы в какой-нибудь потаённой папочке. 1

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	30.01.2018, 09:57
	aquaMakc, это будет дополнительной защитой от не в меру умных пользователей. 1

@aquaMakc 484 / 397 / 68 Регистрация: 14.02.2014 Сообщений: 1,930
	30.01.2018, 10:04
	Usaga, от не в меру умных - это не защита. А вот поиметь проблемы из-за этого вполне можно. Могут отсутствовать права на чтение/запись этого самого "потаённого места", можно забыть удалять этот файл при деинсталляции (привет утечкам дискового пространства), какой-нить ретивый сисадмин может грохнуть "непонятный" файл, найдя его в неожиданном месте. И т.д. Система должна быть максимально прозрачна. Добавлено через 3 минуты Вот программа. Вот файл с которым она работает. Доступ к этому файлу закрыт паролем. Если файл удалить - программа не будет работать, но будет выдавать вооот такое уведомление, что пользователь сделал ай-яй-яй. 1

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	30.01.2018, 10:09
	aquaMakc, хранение данных в профиле пользователя - самое то. Если не будет прав на профиль - то это уже капут. А вот не иметь прав на папку, где лежит сам исполняемый файл можно только в путь. При установке в Program Files директории имеют права только на чтение. Но это уже всё детали. Основной посыл - нужна база, файловая или централизованная, но база, а не CSV-шки всякие. 1

@AndreA SN 1021 / 125 / 2 Регистрация: 26.08.2011 Сообщений: 1,219 Записей в блоге: 2
	30.01.2018, 10:13 [ТС]
	убедили... тогда другой вопрос - какая СУБД есть на халяву? И есть ли такая? 0

@Usaga 14138 / 9367 / 1350 Регистрация: 21.01.2016 Сообщений: 35,243
	30.01.2018, 10:14
	AndreA SN, я ссылку выше сам себе привёл? 0

@AndreA SN 1021 / 125 / 2 Регистрация: 26.08.2011 Сообщений: 1,219 Записей в блоге: 2
	30.01.2018, 10:16 [ТС]
	a оно free? 0