Форум программистов, компьютерный форум, киберфорум
Наши страницы
MySQL
Войти
Регистрация
Восстановить пароль
 
mlader
0 / 0 / 0
Регистрация: 24.07.2016
Сообщений: 2
1

Скорость импорта CSV

24.07.2016, 19:27. Просмотров 359. Ответов 2
Метки нет (Все метки)

Здравствуйте.

Прислали мне CSV-шник размером 10 гигов, чтобы сделать пару запросов. Поставил я себе MySQL Workbench, подготовил таблицу и начал импорт файла (всё происходит на моем домашнем компе). Прогресс-бар даже не начал зеленеть, я тормознул импорт, чтобы посмотреть, сколько записей загрузилось. Оказалось, где-то в районе 5000 за 1 час. При повторных попытках скорость импорта только падала.
Питоновский скрипт сейчас считает количество строк в файле: на данный момент это 3 000 000, и конца не видно. Даже исходя из этого количества записей, импорт таблицы закончится только через месяц.

Теоретически возможен импорт 10 гигов из CSV в таблицу в обозримые сроки? Каков способ? Какова вообще должна быть нормальная скорость импорта?
Или на домашнем компе это делать бесполезно?

Плохо еще, что воркбенч не показывает, сколько записей обработал.

Комп - винда х64, 8 гб ОЗУ...
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
24.07.2016, 19:27
Ответы с готовыми решениями:

Есть ли способ импорта из ms word 2003 в mysql
Есть табличные данные в ms word 2003 в mysql? Спасибо!

Некорректный вывод после импорта базы данных MySQL
Здравствуйте! В общем, импортирую базы данных MySql с локальной машины на...

Как настроить MySQL сервер для импорта базы
Всем привет! У меня такая проблема. Сайт написан в кодировке 1251...

Обновление цен в интернет-магазине с использованием импорта таблиц Exel в PhpMyAdmin
Доброго времени суток! очень нужна помощь! Есть работающий интернет-магазин на...

CSV и EXCEL
Здравствуйте, уважаемые знатоки. Извините, если пишу не там. Столкнулся с...

2
Anvano
212 / 188 / 91
Регистрация: 12.05.2016
Сообщений: 552
24.07.2016, 20:56 2
На таблице, куда грузите есть ключи/индексы ?
Таблица на каком движке MyISAM или InnoDB ?

Через интерфейс грузить забудте - используйте LOAD DATA INFILE

У меня получалось около 150 млн записей в час запихивать.
1
mlader
0 / 0 / 0
Регистрация: 24.07.2016
Сообщений: 2
24.07.2016, 22:27  [ТС] 3
Вроде InnoDB. Ключей, индексов нет, пустая, только заголовок.

Спасибо за наводку. Вроде получилось, чтобы mysql не ругался на синтаксис. Сижу, смотрю, ничего не происходит, ни ошибок, только курсор моргает. Эта картина говорит о том, что импорт выполняется?:-)

Добавлено через 7 минут
Курсор моргает в командной строке в смысле. И кстати, пространство на диске утекает гигабайтами. Вроде есть надежда:-) Спасибо, Anvano.
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
24.07.2016, 22:27

Импорт из csv
Нужно импортировать данные из csv в таблицу mysql через PHP. Пробовал с помощью...

CSV в SQL
Требуется перекинуть содрежимое CSV файлов (25-ть) в MySQL. Вроде это можно...

Импорт и экспорт, CSV
Как выполнить импорт и экспорт из(в) CSV файл? LOAD DATA INFILE...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru