Форум программистов, компьютерный форум, киберфорум
Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/6: Рейтинг темы: голосов - 6, средняя оценка - 4.67
0 / 0 / 0
Регистрация: 20.01.2017
Сообщений: 25

Выбор БД для больших объёмов данных

25.01.2019, 15:06. Показов 1237. Ответов 1

Студворк — интернет-сервис помощи студентам
Собственно, планируется запись порядка 100-200к строк новостных лент (включая текст новостей) в сутки. Далее выборка по первичному ключу, по категории, иногда по дате, (скорей всего ещё как-то).

Так же будет таблица, содержащая реакцию пользователей на материал (лайк/дизлайк). Нужно будет выбирать эти данные для дальнейшего анализа. Сама таблица видимо будет небольшой (id строки, id пользователя, id новости, 1/0, датавремя), но с очень большим кол-вом строк - порядка 1млн в сутки.

Никогда не работал с такими огромными объёмами, подскажите какую бд выбрать для этого? Пока по результам чтения интернетов остановился на postgres vs mongo, честно говоря не представляю как каждая из них справится.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
25.01.2019, 15:06
Ответы с готовыми решениями:

Обработка больших объемов данных
Всем привет. Мне нужно обработать много много строк таблицы, фильтруя их по столбцам. Начну пожалуй сразу с примера. Пример...

Обновление больших объёмов данных(150к полей)
Доброго всем времени суток. Встала задача обновления больших объёмов данных - парсинг большого xls-файла и записи данных в MySQL....

Сортировка больших объемов данных
Доброго времени суток! Есть такая программа поточной сортировки массива. Когда вводится размер ~1кк, программа работает нереально долго....

1
5966 / 4542 / 1094
Регистрация: 29.08.2013
Сообщений: 28,154
Записей в блоге: 3
25.01.2019, 23:05
Цитата Сообщение от azzzz Посмотреть сообщение
но с очень большим кол-вом строк - порядка 1млн в сутки.
а сколько это придется хранить?
посчитайте объем
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
25.01.2019, 23:05
Помогаю со студенческими работами здесь

Шифрование больших объемов данных
Здравствуйте. Имеются данные (файлы различных форматов) суммарным весом около 20 гигабайт. Задача зашифровать их максимально быстро, и...

Хранение больших объемов данных
Всем доброго времени суток и всех с Праздником Победы!)) Сразу к делу) Есть программа (точнее сайт на ASP.NET), есть таблица с данными...

Добавление в бд больших объемов данных
В бд есть 1 таблица, 31 столбец. С помощь php в запросе добавляются данные. Данные берутся не откуда то, а именно в коде рукой пишется, что...

Обработка больших объёмов данных
Есть выделенная виртуальная память ReadCount=6 000 000 000 Buffer = (U16 *)VirtualAlloc(NULL, ReadCount*4, MEM_COMMIT,...

Добавление больших объемов данных
Доброго времени суток. Разрабатываю веб-приложение, в качестве бд использую MS SQL для доступа к данным Entity. Мне нужно загрузить 93к...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru