ElementTree & Unicode

@anonimouse · Регистрация: 14.02.2016

Author24 — интернет-сервис помощи студентам

Привет,

Пытаюсь разобрать вот такой XML

XML

<?xml version="1.0" encoding="UTF-8"?>
<article>
<text>
 <br />The ease of leveraging digital technology 
is giving rise to a new workforce – digital nomads.
... 
</text>
</article>

который я читаю из файла вот таким кодом

Python

try:
    with codecs.open(segmentFilePath, 'r', 'utf-8' ) as source:
        l = []
        l.append('<?xml version="1.0" encoding="UTF-8"?>')
 
        for line in source:
            l.append( line )
        xmlString = ''.join(l)
 
        try:
            tree = ET.fromstring( xmlString )
        except Exception as ex :
            raise ArticleConstruction # попадаю сюда

Похоже, что исключение возникнет всегда, если в XML встретился символ не us-ascii кодировки.

Черточка между словами workforce и digital - символ UNICODE "Среднее тире", U+2013

Этот символ не запрещен стандартом( согласно https://en.wikipedia.org/wiki/... ers_in_XML ),
но для него есть альтернативный код - entity –

Хотя, проверил и вставил русскую букву ы в XML-документ выше - так же вылетает.

Вопрос, точнее 2:

1. Как читать Iron - Питоном Юникодные XML-документы правильно, и
2. Как рекомендуете почистить входные тексты, раз я их читаю вручную ( а делаю это из-за гигантского размера входных файлов, тут пропущен код, где я вручную выделяю крупные секции для парсинга )

@ivlevdenis · 20.02.2016, 22:19

Не нужно забывать указывать версию питона!
Для теста убери except и посмотри какая точно ошибка.
Не понятно для чего ты еще раз добавляешь строку '<?xml version="1.0" encoding="UTF-8"?>', если она уже есть в файле.

@anonimouse · 21.02.2016, 23:41 **[ТС]**

Тип не знаю, как посмотреть.

Возможно, Error.
Поле

Код

ex._type: Python Type: "Error"
ex.message:   "Syntax error at line 10: illegal character in content"

Версия Iron Python:

Код

D:\texts>"C:\Program Files (x86)\IronPython 2.7\ipy.exe"
IronPython 2.7.5 (2.7.5.0) on .NET 4.0.30319.18063 (32-bit)
Type "help", "copyright", "credits" or "license" for more information.
>>>

Буду благодарен за любые подсказки, а может быть, за рецепт, как парсить Юникодный XML в IronPython.

@anonimouse · 23.02.2016, 01:01 **[ТС]**

Воспользовался System.Xml.Linq заместо этого корявого ElementTree

Python

import clr
clr.AddReference('System.Xml.Linq')
from System.Xml.Linq import XDocument, XName, XText
 
try:
    tree = XDocument.Parse( xmlString )
except Exception as ex :
    raise ArticleConstruction

Вроде работает!

Тему можно закрывать.

@alex925 · 23.02.2016, 09:09

anonimouse, у меня все нормально работает. Возможно глюк альтернативной реализации. Лучше использовать оригинальный cpython.

@ivlevdenis 21 / 34 / 14 Регистрация: 23.07.2014 Сообщений: 148
	20.02.2016, 22:19	2
	Не нужно забывать указывать версию питона! Для теста убери except и посмотри какая точно ошибка. Не понятно для чего ты еще раз добавляешь строку '<?xml version="1.0" encoding="UTF-8"?>', если она уже есть в файле. 0

@anonimouse 0 / 0 / 0 Регистрация: 14.02.2016 Сообщений: 3
	21.02.2016, 23:41 [ТС]	3
	Тип не знаю, как посмотреть. Возможно, Error. Поле Код ex._type: Python Type: "Error" ex.message: "Syntax error at line 10: illegal character in content" Версия Iron Python: Код D:\texts>"C:\Program Files (x86)\IronPython 2.7\ipy.exe" IronPython 2.7.5 (2.7.5.0) on .NET 4.0.30319.18063 (32-bit) Type "help", "copyright", "credits" or "license" for more information. >>> Буду благодарен за любые подсказки, а может быть, за рецепт, как парсить Юникодный XML в IronPython. 0

@alex925 2740 / 2339 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	23.02.2016, 09:09	5
	anonimouse, у меня все нормально работает. Возможно глюк альтернативной реализации. Лучше использовать оригинальный cpython. 0