Форум программистов, компьютерный форум, киберфорум
Shell, Bash
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.57/7: Рейтинг темы: голосов - 7, средняя оценка - 4.57
7 / 7 / 1
Регистрация: 22.07.2015
Сообщений: 713
1

Импорт файла в базу данных через sqlite3

14.12.2018, 19:54. Показов 1449. Ответов 1
Метки нет (Все метки)

Всем привет. Нужно загрузить текстовый файл в базу данных кол-во строк 4млн, вес файла 58 мб.
Написал вот такой код
Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
db_file="./user_dict.db"
dict_lang="ru"
dict_file="./russian2.txt"
tmp_file="./tmp.csv"
temp_txt="./tmp.txt"
#экспорт из словаря в файл вместе со столбцами
#sqlite3 -header -csv $db_file "select * from words;" > /sdcard/out.csv
#экспорт из словаря в файл только слов
echo "Получаем данные из словаря..."
sqlite3 -csv $db_file "select [word] from words;" > $tmp_file
#удаляем кавычки 
sed -i "s/\"//g" $tmp_file
#очищаем таблицу
sqlite3 $db_file "delete from words;"
#соединяем файлы в один
echo "Объединяем словари..."
cat $dict_file >> $tmp_file
#сортируем и удаляем дубли
cat $tmp_file | sort -u > $temp_txt
rm -rf $tmp_file
#записываем в базу
echo "Заполняем таблицу базы данных, ожидайте..."
i=1
cat $temp_txt | while read a
do
    sqlite3 $db_file "INSERT INTO words (_id,word,frequency,locale,appid,shortcut) VALUES ('$i','$a','1','$dict_lang','0','');"
    let "i=i+1"
done
rm -rf $temp_txt
echo "Готово!"
За 7 часов работы этого скрипта было импортировано. 1,205 млн записей.
Как ускорить это мероприятие?
__________________
Помощь в написании контрольных, курсовых и дипломных работ здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
14.12.2018, 19:54
Ответы с готовыми решениями:

Импорт таблицы csv в базу SQLite3
Добрые люди!.... Использую Python 3.7.3 PyCharm 2018.3.6 (Community Edition) Возникла...

Импорт текстового файла в базу Access через VBA
Есть примерно 1500 однотипных csv файлов в одной директории. Нужно их импортировать в базу(а...

Импорт данных в базу из файла .csv
Добрый день, уважаемые форумчане мне нужна помощь. Мне нужен запрос который импортирует данные из...

Импорт данных из excel файла в базу данных PostgreSQL
Приветствую, форумчане! Есть задание написать программу на delphi,которая импортирует данные из...

1
display "I'LL BE BACK"
1212 / 831 / 258
Регистрация: 02.04.2009
Сообщений: 3,109
15.12.2018, 14:51 2
blackeangel, такие вещи не делаются через SQL INSERT. У каждой СУБД есть вспомогательные механизмы, "Load" / "Unload".
Я SQLite фактически не знаю, но попробуйте import

https://www.sqlite.org/cli.html#csv_import
https://stackoverflow.com/ques... 3-db-table
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
15.12.2018, 14:51

Импорт значений из тхт файла в базу данных (pdo)
Добрый день! Столкнулся с такой проблемой: есть тхт файл такого вида: Title: Blazing Saddles ...

Как автоматизировать импорт данных в базу mysql из xlsx файла?
Есть обновляемый файл xlsx на ftp сервере.Необходимо по расписанию импортировать его в базу mysql....

Python SQLite3 Ввод пользователем в базу данных
Укажите пожалуйста на ошибки. Я хочу сделать что бы введенные пользователем данные отображались в...

Сохранение формы через ajax с записью файла в базу данных
Здравствуйте! У меня есть форма, расположенная в модальном окне. Форма предназначена для...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru