Форум программистов, компьютерный форум, киберфорум
MySQL
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.61/49: Рейтинг темы: голосов - 49, средняя оценка - 4.61
0 / 0 / 1
Регистрация: 14.02.2009
Сообщений: 470
1

10 миллионов записей в базе mysql это нормально?

06.05.2011, 10:08. Просмотров 9232. Ответов 5
Метки нет (Все метки)


База - есть текстовое поле содержащее примерно 1кб текста, по которому потом надо делать выборку с помощью LIKE %%
Таких записей 10 млн и соответственно размер файла базы порядка 10ГБ.
Я понимаю, что ОРАКЛ лучше - будет мускл реально работать или получится только гемор?
Выборки разовые, то есть время поиска в пределах 1-2 сек - нормально.
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
06.05.2011, 10:08
Ответы с готовыми решениями:

Создание БД mysql на 20 миллионов записей, индексы и хостинг - как?
Никогда раньше не создавал индексов и огромных баз данных, но сейчас требуется создать базу mysql с...

Не выполняются составные запрос MySQL. Это нормально?
Добрый день. Я тут прочитал про SQL-инъекции и решил на простеньком примере их воспроизвести их....

Подскажите 50 000 записей для Access это нормально или лучше юзать MS SQL Server ?
сабж

Быстро создать 16 миллионов записей от 1 до 256^3
Необходимо быстро заполнить таблицу уникальными номерами, от 1 до 256^3 (16 777 216). Если это...

5
1 / 1 / 3
Регистрация: 03.08.2008
Сообщений: 391
18.05.2011, 14:14 2
Это жизнь...а не театр..
Поствь и проверь..потесть...в чём проблема ???
0
TSergey
18.05.2011, 17:23 3
>то есть время поиска в пределах 1-2 сек - нормально
Что то мне говорит, что слишком оптимистично. При таком запросе (LIKE %%)каждый раз будет лопатиться вся таблица.
0 / 0 / 2
Регистрация: 11.12.2008
Сообщений: 219
18.05.2011, 23:49 4
При таком раскладе будет по времени на порядок дольше искать.
Еще на время выборки будет влиять сколько % от общего кол-ва будет выбираться и где будут находиться найденные результаты, в начале-середине-конце.
И еще можно сделать полнотекстный индекс тогда пошустрее будет, но он займет 30-50% от размера данных.
0
0 / 0 / 1
Регистрация: 14.02.2009
Сообщений: 470
19.05.2011, 08:41  [ТС] 5
Да сделал я в итоге тестовый пример, правда на 2 миллиона записей из трех полей int 11, varchar 100 и text 600 байт. Точнее текст не ограничивал а записал туда ровно по 600 байт в каждое поле. Заняло это на диске ровно 2000000*(11+100+600)байт. На поле varchar поставил индекс - ищет моментально по полному тексту. Оператором типа Like %...% если делать выборку по всей базе - ищет со скоростью чтения с диска. Обработка успевает, пока данные читаются. Правда 100% загрузка процессора плюс к этому. В моем случае это 15 сек на этой базе.

Вопрос такой - у меня вот эти поля text в среднем 600 байт размером - в общем там хранятся некие текстовые аннотации - мне нужно организовать эффективную выборку из них по любому слову. Как оптимально поступить?
0
0 / 0 / 2
Регистрация: 11.12.2008
Сообщений: 219
19.05.2011, 13:55 6
Оптимальней искать по LIKE '...%'
Сделай полнотекстный индекс на твое поле text 600 байт.

Ну и самое главное в настройках мускуля поставь кэша поболее, в идеале что б было больше чем индексы в базе, тогда в первый раз индексы закешируеться, и потом будет уже из кэша браться (в идеале кэш в памяти )

ну и винт пошустрее, или рейд нужно ...
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
19.05.2011, 13:55

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь или здесь.

Проигрывание звука при увеличении кол-ва записей в базе данных mysql
Добрый день, может кто помочь не могу сообразить, вот есть у меня код, который через каждые 3...

100 миллионов записей в БД - выборка, размер, нагрузка?
Поставили интересную задачу - хранить в БД порядка ста миллионов записей, конкретно - номера от 1...

В txt больше 2 миллионов записей как вывести в StringGrid?
Ситуация такова, что если цикл увеличиваешь до 2 млн.,то вылезает ошибка Access violation at adress...

какую СУБД взять за основу при необходимости работать локально и объем базы десятки миллионов записей
Подскажите какую СУБД взять за основу при необходимости работать локально и объем базы десятки...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.