Разделение большого текста из файла на токены

@Askania · Регистрация: 14.11.2013

Студворк — интернет-сервис помощи студентам

Всем привет!
Читаю питоном текстовый документ и нигде не могу найти, как его разделить на токены.

Python
1
2
3
4
5
6
7
8
9
#!/bin/usr/python3
 
import re
 
iFile = open("emma.txt", "r")
for line in iFile:
    print(line)
 
re.split(r"[ |.]+", line)

re.split?

@Wolkodav · 16.06.2014, 01:51

Askania, ну без регулярок вообще говоря можно:

Python
1
2
3
4
iFile = open("emma.txt", "r")
for line in iFile:
    line.split(s)# где s - это некий разделитель( [U]один[/U]), возвращается массив строк.
    print(line)

Добавлено через 51 секунду
Askania, ну а вообще да, есть такое в модуле re/

@studentrm · 22.03.2017, 07:27

Wolkodav, скажите пожалуйста, а как учесть окончания? Чтобы читал слово день как дни, дня. Это был один токен

oldnewyear · 22.03.2017, 07:32

Сообщение от Wolkodav

Askania, ну без регулярок вообще говоря можно:

Python
1
    line.split(s)# где s - это некий разделитель( [U]один[/U]), возвращается массив строк.

s здесь ни что иное как регулярка

@studentrm · 22.03.2017, 07:35

oldnewyear, тогда текст разобьется просто на токены. Дни и день будут считаться разными токенами. Как бы словарь подцепить. Если токен похож на дни это токен день, т.е. заменить все токены (дни, день, дня) на токен день

oldnewyear · 22.03.2017, 10:55

Wolkodav

Сообщение от oldnewyear

s здесь ни что иное как регулярка

извиняюсь, напутал я чего-то..

@Garry Galler · 22.03.2017, 13:21

Сообщение от studentrm

Как бы словарь подцепить. Если токен похож на дни это токен день, т.е. заменить все токены (дни, день, дня) на токен день

Это называется лемматизация - приведение слова к нормальной форме.
Обработка естественного языка на Python

@studentrm · 23.03.2017, 23:42

Garry Galler, подскажите пожалуйста с чего начать. Сделал код, который ищет к первому предложению самое близкое по словам. Нужно определить тему каждому отрывку. Исходник файл excel столбец. С чего начать

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! в-строка - входное арифметическое выражение в инфиксной(обычной). . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@studentrm 6 / 6 / 1 Регистрация: 13.12.2015 Сообщений: 398
	22.03.2017, 07:27
	Wolkodav, скажите пожалуйста, а как учесть окончания? Чтобы читал слово день как дни, дня. Это был один токен 0

@studentrm 6 / 6 / 1 Регистрация: 13.12.2015 Сообщений: 398
	22.03.2017, 07:35
	oldnewyear, тогда текст разобьется просто на токены. Дни и день будут считаться разными токенами. Как бы словарь подцепить. Если токен похож на дни это токен день, т.е. заменить все токены (дни, день, дня) на токен день 0

@studentrm 6 / 6 / 1 Регистрация: 13.12.2015 Сообщений: 398
	23.03.2017, 23:42
	Garry Galler, подскажите пожалуйста с чего начать. Сделал код, который ищет к первому предложению самое близкое по словам. Нужно определить тему каждому отрывку. Исходник файл excel столбец. С чего начать 0