Проблемы с кодировкой данных

@barabaha789 · Регистрация: 04.05.2015

Студворк — интернет-сервис помощи студентам

Python
1
2
3
4
5
6
f = open('test.csv','r')
line = f.readline()
 
while line:
    print(line)
    line = f.readline()

При считывании информации с файла данные отображаются некорректно. Если открыть файл и сохранить его, то все считывается нормально.Подскажите как считать данные в нормальном виде без манипуляций с открытиями.

@Welemir1 · 14.08.2020, 12:42

Сообщение от barabaha789

Подскажите как считать данные в нормальном виде без манипуляций с открытиями.

Кэп говорит -указать верную кодировку

@barabaha789 · 14.08.2020, 12:54 **[ТС]**

Welemir1, подскажите как разобраться. Я уже все кодировки перепробовал, не открывает.

Python
1
2
3
4
5
6
7
8
data = []
 
f = open('test.csv','r',encoding="utf-8")
line = f.readline()
 
while line:
    print(line)
    line = f.readline()

@Welemir1 · 14.08.2020, 12:58

barabaha789, сам код упрости и надо знать кодировку то) может винда1251?

Python
1
2
3
 with open('test.csv', encoding='utf-8') as file:
...     for line in file:
...         print(line)

@Garry Galler · 14.08.2020, 12:58

Сообщение от barabaha789

Я уже все кодировки перепробовал

Все это вряд ли.
А вот "windows-1251" скорей всего твоя.

@Welemir1 · 14.08.2020, 13:03

и почему цсв читаешь просто как файл а не библиотекой CSV?

@barabaha789 · 14.08.2020, 13:09 **[ТС]**

Garry Galler, пробовал,все равно каракули.

Добавлено через 4 минуты
Welemir1, я уже много всего перепробовал и ничего не выходит. поэтому сюда и пришел. Все равно естьв ариант который я не пробовал, надеюсь поможете.

@Garry Galler · 14.08.2020, 13:22

Сообщение от barabaha789

пробовал,все равно каракули.

~~csv файл прикрепи сюда.~~
Увидел архив.

Ну, естественно, у тебе будут каракули.
Потому что это не текcтовый csv, а бинарный MS CSV (Excel).

@barabaha789 · 14.08.2020, 13:40 **[ТС]**

Garry Galler, подскажите где искать решение?

Добавлено через 12 минут
Garry Galler, изначально он был в расширении .dbf, выгруженный из сетевой БД. Я его переименовал в .csv. Подскажите пожалуйста в какую сторону хотя бы копать? Я уже весь мозг сломал как его считать.

@Garry Galler · 14.08.2020, 13:41

Сообщение от barabaha789

подскажите где искать решение?

Блин, ну пересохрани файл как нормальный csv через тот же excel, которым ты его сохранял.
Только выбирай не CVS MS-DOS или CVS-Macintosh, а CSV (разделители запятые).
Как разбирать бинарный csv (или тот же dbf) я понятия не имею. Тот же python модуль csv его не берет (или, я не знаю какие там опции нужно добавить).
Поэтому просто переконвертируй его в текстовый csv и читай через csv модуль.

@barabaha789 · 14.08.2020, 13:44 **[ТС]**

Garry Galler, Этот вариант я уже понял, так я его и вскрывал. Только есть проблема, таких файлов очень большой архив. Данные из них надо загрузить в БД, открывать так сотни файлов не вариант.

@Garry Galler · 14.08.2020, 13:47

Сообщение от barabaha789

Только есть проблема, таких файлов очень большой архив

Тогда иди читай спецификацию формата dbf и ищи его читалки.
Я тебе тут ничего подсказать не могу.

Добавлено через 1 минуту
pip install dbf

Добавлено через 32 секунды
https://pypi.org/project/dbf/#description
Документации нет.

@barabaha789 · 14.08.2020, 13:48 **[ТС]**

Garry Galler, спасибо!

@Garry Galler · 14.08.2020, 13:49

Все что есть на pypi по dbf:
https://pypi.org/search/?q=dbf

Добавлено через 1 минуту

Сообщение от Garry Galler

Документации нет.

Хотя, нет. Вот нашлась: https://github.com/ethanfurman/dbf/tree/master/dbf

@barabaha789 · 14.08.2020, 13:50 **[ТС]**

Garry Galler, как понял дело не в формате. Я его в разные форматы переименовывал, толку мало. Не ясно как к нему подобраться. Буду использовать подсказку что он бинарный.

@Garry Galler · 14.08.2020, 14:04

Сообщение от barabaha789

Я его в разные форматы переименовывал,

Смена расширения ничего не дает. Формат меняется только переконвертированием.
Но для dbf есть указанные мной Python библиотеки. Просто попробуй читать файл через них.

Добавлено через 41 секунду

Добавлено через 39 секунд
https://en.stackoverflow.com/questions/553058/Есть-ли-в-python-3-5-хоть-какая-то-возможность-читать-dbf-файлы
en заменить на ru

@barabaha789 · 14.08.2020, 14:38 **[ТС]**

Garry Galler, уже перепробовал кучу вариантов. В голову приходит только вариант автоматизировать процесс открытия файлов и сохранения в .csv для удобного считывания.

@Welemir1 · 14.08.2020, 14:47

barabaha789, ну как и сказали выше -изменение расширения не поможет, надо разбираться в дбф, открывать его и писать в нужный формат.

@Garry Galler · 14.08.2020, 14:48

Это пробовал?:

Python
1
2
3
4
5
import dbf
table = dbf.Table('test.dbf')
table.open()
for item in table:
    print(item)

@barabaha789 · 14.08.2020, 15:31 **[ТС]**

Garry Galler, да

Добавлено через 29 секунд
Garry Galler, да, тоде мимо.

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,695 Записей в блоге: 29
	14.08.2020, 13:03
	и почему цсв читаешь просто как файл а не библиотекой CSV? 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:09 [ТС]
	Garry Galler, пробовал,все равно каракули. Добавлено через 4 минуты Welemir1, я уже много всего перепробовал и ничего не выходит. поэтому сюда и пришел. Все равно естьв ариант который я не пробовал, надеюсь поможете. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:40 [ТС]
	Garry Galler, подскажите где искать решение? Добавлено через 12 минут Garry Galler, изначально он был в расширении .dbf, выгруженный из сетевой БД. Я его переименовал в .csv. Подскажите пожалуйста в какую сторону хотя бы копать? Я уже весь мозг сломал как его считать. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:44 [ТС]
	Garry Galler, Этот вариант я уже понял, так я его и вскрывал. Только есть проблема, таких файлов очень большой архив. Данные из них надо загрузить в БД, открывать так сотни файлов не вариант. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:48 [ТС]
	Garry Galler, спасибо! 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:50 [ТС]
	Garry Galler, как понял дело не в формате. Я его в разные форматы переименовывал, толку мало. Не ясно как к нему подобраться. Буду использовать подсказку что он бинарный. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 14:38 [ТС]
	Garry Galler, уже перепробовал кучу вариантов. В голову приходит только вариант автоматизировать процесс открытия файлов и сохранения в .csv для удобного считывания. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,695 Записей в блоге: 29
	14.08.2020, 14:47
	barabaha789, ну как и сказали выше -изменение расширения не поможет, надо разбираться в дбф, открывать его и писать в нужный формат. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 15:31 [ТС]
	Garry Galler, да Добавлено через 29 секунд Garry Galler, да, тоде мимо. 0