Кодировка Python

@Рустик12 · Регистрация: 10.12.2015

Студворк — интернет-сервис помощи студентам

Есть текстовый файл. необходимо разбить текст на слова и преобразовать их в нормальную форму с помощью pymorphy. Для работы с русскими словами в pymorphy необходима кодировка unicode. Я представляю текст в виде списка, сплитую слова, меняю на кодировку unicode и нормализую, но вылазит ошибка (UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0) хотя если беру те же слова из списка заданного в программе(#w) все работает отлично. В чем ошибка?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# -*- coding: utf-8 -*- 
import sys
from pymorphy import get_morph
morph = get_morph('C:\Users\Диман\Desktop\RAZ\словарь')
 
my_file=open('input.txt','r').read()
my_file=str(my_file)
w = my_file.split(' ')
#w = ['СУСЛИК' ,'ДУМАЕТ' ,'БАНКОВ']   
a=[ j for j in range(0,len(w))]
with open(u'нормальная_форма.txt', 'w') as f:
    for i in a:
        info = morph.get_graminfo(w[i].decode('utf8'))
        print info[0]['norm']
        f.write(info[0]['norm']+'\n')

@ntlinuxnt · 13.12.2015, 22:50

encoding='utf-8' прям в open() пропиши.

@alex925 · 13.12.2015, 23:00

Сообщение от ntlinuxnt

encoding='utf-8' прям в open() пропиши.

У него python2, в нем функция open ещё не принимает кодировку в качестве аргумента.

У него ошибка скорее всего из-за того, что в пути есть папки с именами на кириллице.
А ещё нужно слеши экранировать в пути или использовать сырые строки.

Python
1
morph = get_morph(r'C:\Users\Диман\Desktop\RAZ\словарь')

@ntlinuxnt · 13.12.2015, 23:04

Сообщение от alex925

У него python2, в нем функция open ещё не принимает кодировку в качестве аргумента

Не по теме:

Со вторым не работал не нравится почему-то он мне, извиняюсь:) Буду знать теперь.

@alex925 · 13.12.2015, 23:22

Не по теме:

Сообщение от ntlinuxnt

Со вторым не работал не нравится почему-то он мне

Да, все правильно, он не актуален уже. Я им тоже почти не пользуюсь.

Новые блоги и статьи Все статьи Все блоги /
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .

@ntlinuxnt $ su 1605 / 520 / 97 Регистрация: 18.11.2010 Сообщений: 2,807 Записей в блоге: 2
	13.12.2015, 22:50
	encoding='utf-8' прям в open() пропиши. 0