0 / 0 / 0
Регистрация: 11.09.2012
Сообщений: 18
1

Выбор базы данных, поддерживающей большие объемы данных

21.11.2012, 09:39. Показов 2225. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток.

Прошу совета в подборе клиента баз данных.
Необходимо выполнять следующие задачи:
- Импортирование/экспортирование данных в таблицы из/в .xls .csv .xml (не обязательно как стандартная функция, главное чтобы была возможность дописать это скриптом/макросом).
- Ведение локальной базы данных из импортированных данных
- Встроенная система запросов (наличие и конструктора запросов и редактирования сконструированного запроса с использованием SQL и иже с ним приветствуется).
- Работа с большими объемами информации (чтобы не было привязано к ресурсу оперативной памяти как в Access - во многом из-за этого и хочу подобрать другую базу).

Заранее спасибо.
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
21.11.2012, 09:39
Ответы с готовыми решениями:

DataSet и большие объемы данных
Доброе время суток. Имеем Borland C++ Builder (по части работы с данными и соотв. библиотек одно...

Как оптимально обрабатывать большие объемы данных в DataGridView
Добрый день. Загрузил данные из access в datagridview, в 4 разные таблицы, в одной из таблиц до...

Выбор модели данных базы данных учета личного состава
Доброго времени суток, уважаемые форумчане! Я работаю Вооруженных Сил РФ. Учет личного состава...

Modx revo xpdo - Выбор данных из пользовательской базы данных
Доброго времени суток, уважаемые форумчане. Создаю сайт на cms Modx Revo и столкнулся с первой...

11
Модератор
4204 / 3044 / 581
Регистрация: 21.01.2011
Сообщений: 13,179
21.11.2012, 11:33 2
Я не понял. В одной фразе ты выбираешь БД (или СУБД), в другой - клиента. Это таки разные вещи.
0
0 / 0 / 0
Регистрация: 11.09.2012
Сообщений: 18
21.11.2012, 11:40  [ТС] 3
Grossmeister,
Сорри, я ищу именно СУБД.
0
912 / 877 / 62
Регистрация: 06.01.2010
Сообщений: 2,367
Записей в блоге: 6
22.11.2012, 08:40 4
tibhar940,
под имортом .xls .csv .xml вы понимаете хранение этих файлов, или полноценный разбор и хранение содержимого ячеек/узлов этих документов?

ну и конструктор запросов - это несерьездное требование, ИМХО. Как только получите мало-мальский опыт, будете SQL писать незадумываясь, тем более, что конструкторы расчитаны на простые запросы, котрые и так легко собираются в голове, а какую-то сложную комбинацию соединений и выборок им не осилить, и вам все равно головой работать придется.
0
0 / 0 / 0
Регистрация: 11.09.2012
Сообщений: 18
22.11.2012, 09:31  [ТС] 5
Цитата Сообщение от arni Посмотреть сообщение
tibhar940,
под имортом .xls .csv .xml вы понимаете хранение этих файлов, или полноценный разбор и хранение содержимого ячеек/узлов этих документов?

ну и конструктор запросов - это несерьездное требование, ИМХО. Как только получите мало-мальский опыт, будете SQL писать незадумываясь, тем более, что конструкторы расчитаны на простые запросы, котрые и так легко собираются в голове, а какую-то сложную комбинацию соединений и выборок им не осилить, и вам все равно головой работать придется.
Подразумеваю импорт из этих файлов в таблицы базы данных. И затем возможность экспорта таблиц баз данных в такие же файлы.

Ну с сиквелом особых проблем нет (знаю правда, что в разных СУБД -разные его версии, но думаю особых проблем возникнуть не должно).
0
912 / 877 / 62
Регистрация: 06.01.2010
Сообщений: 2,367
Записей в блоге: 6
22.11.2012, 10:09 6
tibhar940, вы ожидаете найти СУБД со встроенной возможностью парсинга этих форматов, или этим будет заниматься сторонняя утилита (либо ваша программа)?
Если первое, то я в сомнении, что такие СУБД есть, но могу ошибаться.
Если второе, то какая разница, что за СУБД - любая примет ваши данные.
0
0 / 0 / 0
Регистрация: 11.09.2012
Сообщений: 18
22.11.2012, 11:02  [ТС] 7
Цитата Сообщение от arni Посмотреть сообщение
tibhar940, вы ожидаете найти СУБД со встроенной возможностью парсинга этих форматов, или этим будет заниматься сторонняя утилита (либо ваша программа)?
Если первое, то я в сомнении, что такие СУБД есть, но могу ошибаться.
Если второе, то какая разница, что за СУБД - любая примет ваши данные.
Ну вот в Аксессе есть стандартные средства импорта экспорта, но в моём случае я использовал макрос, потому как пакетным импортом не занимается. Соответственно от другой СУБД хочу того же.
В первую очередь она должна быть удобной и обрабатывать большие объемы данных нежели аксесс (не зависеть от объема оперативки).
0
Модератор
4204 / 3044 / 581
Регистрация: 21.01.2011
Сообщений: 13,179
22.11.2012, 12:10 8
Скажу на примере Oracle, как наиболее мне знакомой СУБД.
Для загрузки данных, имеющих регулярный формат (типа csv) имеется утилита командной строки SQL*Loader. Если имеется нечто, с чем можно связаться по ODBC (типа dbf, xls), то можно настроить такое соединение (Heterogenius Services). Полагаю, что во многих современных СУБД должны быть аналогичные средства.
С выгрузкой дела обстоят сложнее. Для выгрузки в csv придется писать код на PL/SQL. Для получения xls-файла можно либо опять же написать код, либо воспользоваться возможностями MS Query.
Это если не брать сторонние средства работы типа PL/SQL Developer, в которых есть возможность выгрузки результата запроса в тот же xls, csv, html, xml.
Насчет больших объемов - тут нужна конкретика, иначе оценивать трудно. Если речь идет о таблицах с миллионом строк, то такие объемы поддерживают практически все клиент-серверные СУБД.
Насчет памяти - тоже неконкретно. Полной независимости от памяти быть не может, а потребности зависят от объема данных и интенсивности их использования. Скажем, минимум памяти для Oracle зависит от версии, для 10-й версии 500M. Кроме того, как известно, объем используемой памяти и быстродействие взаимосвязаны. Чем меньше потребляется памяти, тем ниже быстродействие, поскольку чаще приходится обращаться к диску.
0
0 / 0 / 0
Регистрация: 11.09.2012
Сообщений: 18
22.11.2012, 12:15  [ТС] 9
Цитата Сообщение от Grossmeister Посмотреть сообщение
Скажу на примере Oracle, как наиболее мне знакомой СУБД.
Для загрузки данных, имеющих регулярный формат (типа csv) имеется утилита командной строки SQL*Loader. Если имеется нечто, с чем можно связаться по ODBC (типа dbf, xls), то можно настроить такое соединение (Heterogenius Services). Полагаю, что во многих современных СУБД должны быть аналогичные средства.
С выгрузкой дела обстоят сложнее. Для выгрузки в csv придется писать код на PL/SQL. Для получения xls-файла можно либо опять же написать код, либо воспользоваться возможностями MS Query.
Насчет больших объемов - тут нужна конкретика, иначе оценивать трудно. Если речь идет о таблицах с миллионом строк, то такие объемы поддерживают практически все клиент-серверные СУБД.
Насчет памяти - тоже неконкретно. Полной независимости от памяти быть не может, а потребности зависят от объема данных и интенсивности их использования. Скажем, минимум памяти для Oracle зависит от версии, для 10-й версии 500M. Кроме того, как известно, объем используемой памяти и быстродействие взаимосвязаны. Чем меньше потребляется памяти, тем ниже быстродействие, поскольку чаще приходится обращаться к диску.
Спасибо за наводку.
Речь идёт о Oracle developer? Как раз смотрел в её сторну.
Конкретика - миллион строк можно обрабатывать и в Аксессе, но изменение форматов ячеек, и ряд других операций сжирают оперативку и соответственно делают невозможным сложное оперирование базой.
0
Эксперт Java
4088 / 3822 / 745
Регистрация: 18.05.2010
Сообщений: 9,331
Записей в блоге: 11
22.11.2012, 15:03 10
Цитата Сообщение от tibhar940 Посмотреть сообщение
Речь идёт о Oracle developer?
Oracle developer - это не СУБД.
0
483 / 413 / 21
Регистрация: 06.02.2012
Сообщений: 1,693
22.11.2012, 15:16 11
Используйте тогда клиент-серверные решения:
Caché • CouchDB • IMS • DB2 • Firebird • Informix • Ingres • InterBase • MS SQL Server • MongoDB • MySQL • mSQL • Oracle Database • Pervasive SQL • PostgreSQL • Sybase ASE • Sybase ASA • Sybase IQ • Teradata Database • ЛИНТЕР
0
1556 / 988 / 376
Регистрация: 31.05.2012
Сообщений: 3,487
22.11.2012, 19:48 12
Импортирование/экспортирование данных неплохо в MS SQL реализовано - есть средства, позволяющие через провайдеры достаточно лего читать-писать данные других СУБД
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
22.11.2012, 19:48
Помогаю со студенческими работами здесь

Выбор и отображение данных из базы данных
добрый день. Мне нужна помощь в выборе и отображение данных из базы данных в PHP&MySql. Я зделал...

Использование псевдопеременных: bd (3,5) = s, где bd - база данных, s - элемент базы данных, тогда с 3 по 5 элементы базы данных заменить на элемент s.
всем доброго времени суток! есть у меня класс bd, массив элементов этого класса table, а вот сам...

Выбор данных из базы
Всем привет. $result = mysqli_query($db,"SELECT id FROM users WHERE accessToken =...

Выбор Базы Данных
Помогите! Есть желание написать не большое приложение в контакте(для себя) сам AS and vk.api не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2023, CyberForum.ru