Проблемы с кодировкой данных

@barabaha789 · Регистрация: 04.05.2015

Студворк — интернет-сервис помощи студентам

Python
1
2
3
4
5
6
f = open('test.csv','r')
line = f.readline()
 
while line:
    print(line)
    line = f.readline()

При считывании информации с файла данные отображаются некорректно. Если открыть файл и сохранить его, то все считывается нормально.Подскажите как считать данные в нормальном виде без манипуляций с открытиями.

@Welemir1 · 14.08.2020, 12:42

Сообщение от barabaha789

Подскажите как считать данные в нормальном виде без манипуляций с открытиями.

Кэп говорит -указать верную кодировку

@barabaha789 · 14.08.2020, 12:54 **[ТС]**

Welemir1, подскажите как разобраться. Я уже все кодировки перепробовал, не открывает.

Python
1
2
3
4
5
6
7
8
data = []
 
f = open('test.csv','r',encoding="utf-8")
line = f.readline()
 
while line:
    print(line)
    line = f.readline()

@Welemir1 · 14.08.2020, 12:58

barabaha789, сам код упрости и надо знать кодировку то) может винда1251?

Python
1
2
3
 with open('test.csv', encoding='utf-8') as file:
...     for line in file:
...         print(line)

@Garry Galler · 14.08.2020, 12:58

Сообщение от barabaha789

Я уже все кодировки перепробовал

Все это вряд ли.
А вот "windows-1251" скорей всего твоя.

@Welemir1 · 14.08.2020, 13:03

и почему цсв читаешь просто как файл а не библиотекой CSV?

@barabaha789 · 14.08.2020, 13:09 **[ТС]**

Garry Galler, пробовал,все равно каракули.

Добавлено через 4 минуты
Welemir1, я уже много всего перепробовал и ничего не выходит. поэтому сюда и пришел. Все равно естьв ариант который я не пробовал, надеюсь поможете.

@Garry Galler · 14.08.2020, 13:22

Сообщение от barabaha789

пробовал,все равно каракули.

~~csv файл прикрепи сюда.~~
Увидел архив.

Ну, естественно, у тебе будут каракули.
Потому что это не текcтовый csv, а бинарный MS CSV (Excel).

@barabaha789 · 14.08.2020, 13:40 **[ТС]**

Garry Galler, подскажите где искать решение?

Добавлено через 12 минут
Garry Galler, изначально он был в расширении .dbf, выгруженный из сетевой БД. Я его переименовал в .csv. Подскажите пожалуйста в какую сторону хотя бы копать? Я уже весь мозг сломал как его считать.

@Garry Galler · 14.08.2020, 13:41

Сообщение от barabaha789

подскажите где искать решение?

Блин, ну пересохрани файл как нормальный csv через тот же excel, которым ты его сохранял.
Только выбирай не CVS MS-DOS или CVS-Macintosh, а CSV (разделители запятые).
Как разбирать бинарный csv (или тот же dbf) я понятия не имею. Тот же python модуль csv его не берет (или, я не знаю какие там опции нужно добавить).
Поэтому просто переконвертируй его в текстовый csv и читай через csv модуль.

@barabaha789 · 14.08.2020, 13:44 **[ТС]**

Garry Galler, Этот вариант я уже понял, так я его и вскрывал. Только есть проблема, таких файлов очень большой архив. Данные из них надо загрузить в БД, открывать так сотни файлов не вариант.

@Garry Galler · 14.08.2020, 13:47

Сообщение от barabaha789

Только есть проблема, таких файлов очень большой архив

Тогда иди читай спецификацию формата dbf и ищи его читалки.
Я тебе тут ничего подсказать не могу.

Добавлено через 1 минуту
pip install dbf

Добавлено через 32 секунды
https://pypi.org/project/dbf/#description
Документации нет.

@barabaha789 · 14.08.2020, 13:48 **[ТС]**

Garry Galler, спасибо!

@Garry Galler · 14.08.2020, 13:49

Все что есть на pypi по dbf:
https://pypi.org/search/?q=dbf

Добавлено через 1 минуту

Сообщение от Garry Galler

Документации нет.

Хотя, нет. Вот нашлась: https://github.com/ethanfurman/dbf/tree/master/dbf

@barabaha789 · 14.08.2020, 13:50 **[ТС]**

Garry Galler, как понял дело не в формате. Я его в разные форматы переименовывал, толку мало. Не ясно как к нему подобраться. Буду использовать подсказку что он бинарный.

@Garry Galler · 14.08.2020, 14:04

Сообщение от barabaha789

Я его в разные форматы переименовывал,

Смена расширения ничего не дает. Формат меняется только переконвертированием.
Но для dbf есть указанные мной Python библиотеки. Просто попробуй читать файл через них.

Добавлено через 41 секунду

Добавлено через 39 секунд
https://en.stackoverflow.com/questions/553058/Есть-ли-в-python-3-5-хоть-какая-то-возможность-читать-dbf-файлы
en заменить на ru

@barabaha789 · 14.08.2020, 14:38 **[ТС]**

Garry Galler, уже перепробовал кучу вариантов. В голову приходит только вариант автоматизировать процесс открытия файлов и сохранения в .csv для удобного считывания.

@Welemir1 · 14.08.2020, 14:47

barabaha789, ну как и сказали выше -изменение расширения не поможет, надо разбираться в дбф, открывать его и писать в нужный формат.

@Garry Galler · 14.08.2020, 14:48

Это пробовал?:

Python
1
2
3
4
5
import dbf
table = dbf.Table('test.dbf')
table.open()
for item in table:
    print(item)

@barabaha789 · 14.08.2020, 15:31 **[ТС]**

Garry Galler, да

Добавлено через 29 секунд
Garry Galler, да, тоде мимо.

Новые блоги и статьи Все статьи Все блоги /
BOINC: 22 года — и всё ещё работает Programma_Boinc 12.03.2026 BOINC: 22 года — и всё ещё работает Дэвид Андерсон написал ретроспективу. Кратко: в 2001 году он ушёл из United Devices, где был CTO, и за несколько месяцев написал ядро BOINC — клиент, сервер,. . .	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	14.08.2020, 13:03
	и почему цсв читаешь просто как файл а не библиотекой CSV? 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:09 [ТС]
	Garry Galler, пробовал,все равно каракули. Добавлено через 4 минуты Welemir1, я уже много всего перепробовал и ничего не выходит. поэтому сюда и пришел. Все равно естьв ариант который я не пробовал, надеюсь поможете. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:40 [ТС]
	Garry Galler, подскажите где искать решение? Добавлено через 12 минут Garry Galler, изначально он был в расширении .dbf, выгруженный из сетевой БД. Я его переименовал в .csv. Подскажите пожалуйста в какую сторону хотя бы копать? Я уже весь мозг сломал как его считать. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:44 [ТС]
	Garry Galler, Этот вариант я уже понял, так я его и вскрывал. Только есть проблема, таких файлов очень большой архив. Данные из них надо загрузить в БД, открывать так сотни файлов не вариант. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:48 [ТС]
	Garry Galler, спасибо! 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 13:50 [ТС]
	Garry Galler, как понял дело не в формате. Я его в разные форматы переименовывал, толку мало. Не ясно как к нему подобраться. Буду использовать подсказку что он бинарный. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 14:38 [ТС]
	Garry Galler, уже перепробовал кучу вариантов. В голову приходит только вариант автоматизировать процесс открытия файлов и сохранения в .csv для удобного считывания. 0

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	14.08.2020, 14:47
	barabaha789, ну как и сказали выше -изменение расширения не поможет, надо разбираться в дбф, открывать его и писать в нужный формат. 0

@barabaha789 0 / 0 / 0 Регистрация: 04.05.2015 Сообщений: 60
	14.08.2020, 15:31 [ТС]
	Garry Galler, да Добавлено через 29 секунд Garry Galler, да, тоде мимо. 0