Импорт данных из Excel

@Simply me · Регистрация: 05.05.2012

Author24 — интернет-сервис помощи студентам

Добрый день! Скажите, пожалуйста. Можно в PostgreSQL как-нибудь автоматически заполнить таблицу данными из Excel?

@grgdvo · 26.10.2015, 14:25

напрямую в excel не уверен, что такое есть... но есть запись данных в CSV-файл. см. COPY

@Simply me · 27.10.2015, 07:04 **[ТС]**

У меня прав нет:
ОШИБКА: для использования COPY с файлами нужно быть суперпользователем
HINT: Не имея административных прав, можно использовать COPY с stdout и stdin (а также команду psql \copy).

Я еще пробовала через интерфейс pgAdmin III сделать. Выбираю таблицу, в меню выбираю Импорт. Открывается окно: 'Import data from file into tablename' Нужно выбрать формат и кодировку. Формат выбираю csv, кодировку - по умолчанию UTF8. Жму Импорт. Выдает ошибку: Неверная последовательность байт для кодировки UTF8.

@grgdvo · 27.10.2015, 07:43

Да, забыл про права суперпользователя...

Для psql тоже достаточно легко делается

Bash

1	psql -c "\copy mytable from mydata.csv (format csv)" mydb -U myuser

Сообщение от Simply me

Жму Импорт. Выдает ошибку: Неверная последовательность байт для кодировки UTF8.

А выбранный файл точно имеет кодировку UTF8??? Я вот у себя решил проверить, все импортиться прекрасно.

@Simply me · 27.10.2015, 08:14 **[ТС]**

Сообщение от grgdvo

А выбранный файл точно имеет кодировку UTF8???

Не точно. Я что-то не помню, как проверить кодировку. Файл экселевский.

@grgdvo · 27.10.2015, 08:21

Вы на windows или linux?
Если windows, то с большой долей вероятности excel создаст csv-файл в кодировке win1251.
В linux

Bash

1	enca filename.csv

@Simply me · 27.10.2015, 08:25 **[ТС]**

Windows. Выбрала кодировку win1251. Все равно ошибка.
Неверная последовательность байт для кодировки "WIN1251"

@grgdvo · 27.10.2015, 08:44

Может тогда cp866

)
В windows уже не работаю, раньше помню FarManager умел кодировки показывать.

Добавлено через 6 минут
Проверил у себя в виртуалке... У меня 2007 эксель стоит... сохраняет как CSV (MSDOS) - это кодировка cp866

@Simply me · 27.10.2015, 09:44 **[ТС]**

У меня нет такого варианта. Есть вариант WIN866

Вообщем перемерила все предлагаемые кодировки. Везде одна и та же ошибка: Неверная последовательность байт для кодировки...
А при проверке кодировки MULE_INTERNAL ошибка: Неверное значение для целого числа "..." И там какие-то косячные символы.

@grgdvo · 27.10.2015, 09:55

Полагаю стоит заново начать с экспорта в экселе, заново сделать CSV-файл, открыть его тем же notepad'ом и посмотреть, что там внутри. Я сейчас не могу проверить WIN866, но позже просто ради интереса попробую.

@Simply me · 27.10.2015, 10:43 **[ТС]**

Я не очень поняла) Это не экспортированный файл. Просто экселевский файл. Сама создавала. Сейчас сохранила как csv. Открыла notepad'ом. Там все нормально отображается, только вместо границ ячеек ';' Зашла в Notepad на вкладку Кодировки. Там отмечена Кодировка в UTF-8 (без BOM).

@grgdvo · 27.10.2015, 12:59

Ну теперь импорт полученного csv-файла делайте в postgresql. что получится?

@Simply me · 27.10.2015, 13:12 **[ТС]**

grgdvo, спасибо! С кодировкой понятно

Теперь с типами проблемы. У меня в этом файле 1 запись. Первый столбец - idшник, остальные - null. При импорте пишет ошибку: неверное значение для целого числа: "139;;;;;;;;;;;;" Почему-то он не понимает, что точка с запятой к следующим столбцам относится.

Добавлено через 2 минуты
Я просто раньше не работала с БД

@grgdvo · 27.10.2015, 13:33

Сообщение от Simply me

точка с запятой к следующим столбцам относится.

Нужно указать, что разделителем полей будет "точка с запятой", по умолчанию "запятая" используется (от CSV = Comma-Separated Values). Но Excel почему-то решил, что надо непременно ";" использовать.
Вот снимок экрана моего pgadmin. При импорте поменяйте разделитель. Еще возможно с NULL-значениями придется поработать, если у вас в файле есть такие пустоты со значениями. Также нужно по структуре таблицы пройтись. У вас количество полей соответствует количество колонок в excel?? возможно придется указать порядок колонок.

@Simply me · 27.10.2015, 13:48 **[ТС]**

Спасибо,grgdvo, получилось импортировать!)) Последний вопрос. У меня десятичный разделитель был запятая, перед импортом я заменила ее на точку. Потом я буду импортировать файл, где 6000 записей, и тоже везде десятичный разделитель запятая. Лучше в Excel везде поменять на точку или можно где-нибудь при импорте указать, что десятичный разделитель запятая?

@grgdvo · 27.10.2015, 14:07

Будет проще и быстрее поменять в экселе запятую на точку, чем городить с локализацией и восприятием формата вещественного числа.

@Simply me · 27.10.2015, 14:09 **[ТС]**

Ясно, спасибо!

@Simply me · 29.10.2015, 07:24 **[ТС]**

grgdvo, а Вы пробовали импортировать столбцы, в которых есть кириллица? У таких столбцов все-таки проблема с кодировкой

@grgdvo · 29.10.2015, 13:27

У меня CSV-файл был в кодировке UTF-8 и база данных создана в UTF-8. Все импортировалось успешно!

@Simply me · 29.10.2015, 13:29 **[ТС]**

А где проверить кодировки CSV-файла и базы данных?

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 10:43 [ТС]	11
	Я не очень поняла) Это не экспортированный файл. Просто экселевский файл. Сама создавала. Сейчас сохранила как csv. Открыла notepad'ом. Там все нормально отображается, только вместо границ ячеек ';' Зашла в Notepad на вкладку Кодировки. Там отмечена Кодировка в UTF-8 (без BOM). 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	27.10.2015, 14:07	16
	Будет проще и быстрее поменять в экселе запятую на точку, чем городить с локализацией и восприятием формата вещественного числа. 1

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 14:09 [ТС]	17
	Ясно, спасибо! 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	29.10.2015, 07:24 [ТС]	18
	grgdvo, а Вы пробовали импортировать столбцы, в которых есть кириллица? У таких столбцов все-таки проблема с кодировкой 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	29.10.2015, 13:27	19
	У меня CSV-файл был в кодировке UTF-8 и база данных создана в UTF-8. Все импортировалось успешно! 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
		1
	Импорт данных из Excel 26.10.2015, 14:03. Показов 26979. Ответов 23 Метки нет (Все метки) Добрый день! Скажите, пожалуйста. Можно в PostgreSQL как-нибудь автоматически заполнить таблицу данными из Excel? 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	26.10.2015, 14:25	2
	напрямую в excel не уверен, что такое есть... но есть запись данных в CSV-файл. см. COPY 1

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 07:04 [ТС]	3
	У меня прав нет: ОШИБКА: для использования COPY с файлами нужно быть суперпользователем HINT: Не имея административных прав, можно использовать COPY с stdout и stdin (а также команду psql \copy). Я еще пробовала через интерфейс pgAdmin III сделать. Выбираю таблицу, в меню выбираю Импорт. Открывается окно: 'Import data from file into tablename' Нужно выбрать формат и кодировку. Формат выбираю csv, кодировку - по умолчанию UTF8. Жму Импорт. Выдает ошибку: Неверная последовательность байт для кодировки UTF8. 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 08:14 [ТС]	5
	Сообщение от grgdvo А выбранный файл точно имеет кодировку UTF8??? Не точно. Я что-то не помню, как проверить кодировку. Файл экселевский. 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 08:25 [ТС]	7
	Windows. Выбрала кодировку win1251. Все равно ошибка. Неверная последовательность байт для кодировки "WIN1251" 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	27.10.2015, 08:44	8
	Может тогда cp866 ) В windows уже не работаю, раньше помню FarManager умел кодировки показывать. Добавлено через 6 минут Проверил у себя в виртуалке... У меня 2007 эксель стоит... сохраняет как CSV (MSDOS) - это кодировка cp866 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 09:44 [ТС]	9
	У меня нет такого варианта. Есть вариант WIN866 Вообщем перемерила все предлагаемые кодировки. Везде одна и та же ошибка: Неверная последовательность байт для кодировки... А при проверке кодировки MULE_INTERNAL ошибка: Неверное значение для целого числа "..." И там какие-то косячные символы. 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	27.10.2015, 09:55	10
	Полагаю стоит заново начать с экспорта в экселе, заново сделать CSV-файл, открыть его тем же notepad'ом и посмотреть, что там внутри. Я сейчас не могу проверить WIN866, но позже просто ради интереса попробую. 0

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	27.10.2015, 12:59	12
	Ну теперь импорт полученного csv-файла делайте в postgresql. что получится? 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 13:12 [ТС]	13
	grgdvo, спасибо! С кодировкой понятно Теперь с типами проблемы. У меня в этом файле 1 запись. Первый столбец - idшник, остальные - null. При импорте пишет ошибку: неверное значение для целого числа: "139;;;;;;;;;;;;" Почему-то он не понимает, что точка с запятой к следующим столбцам относится. Добавлено через 2 минуты Я просто раньше не работала с БД 0

	29.10.2015, 13:29

@grgdvo 1241 / 960 / 379 Регистрация: 02.09.2012 Сообщений: 2,936
	27.10.2015, 13:33	14
	Сообщение от Simply me точка с запятой к следующим столбцам относится. Нужно указать, что разделителем полей будет "точка с запятой", по умолчанию "запятая" используется (от CSV = Comma-Separated Values). Но Excel почему-то решил, что надо непременно ";" использовать. Вот снимок экрана моего pgadmin. При импорте поменяйте разделитель. Еще возможно с NULL-значениями придется поработать, если у вас в файле есть такие пустоты со значениями. Также нужно по структуре таблицы пройтись. У вас количество полей соответствует количество колонок в excel?? возможно придется указать порядок колонок. 1

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	27.10.2015, 13:48 [ТС]	15
	Спасибо,grgdvo, получилось импортировать!)) Последний вопрос. У меня десятичный разделитель был запятая, перед импортом я заменила ее на точку. Потом я буду импортировать файл, где 6000 записей, и тоже везде десятичный разделитель запятая. Лучше в Excel везде поменять на точку или можно где-нибудь при импорте указать, что десятичный разделитель запятая? 0

@Simply me 242 / 35 / 8 Регистрация: 05.05.2012 Сообщений: 521
	29.10.2015, 13:29 [ТС]	20
	А где проверить кодировки CSV-файла и базы данных? 0