Строка: Произведите токенизацию строк, то есть разбиение текстов на слова.

@archimeds · Регистрация: 16.11.2012

Студворк — интернет-сервис помощи студентам

Коллеги выручайте, застрял на совершенно простом задании, толкните простым понятным кодом.

Задание такое:

1. Скачайте файл с предложениями (sentences.txt)

2. Каждая строка в файле соответствует одному предложению. Считайте их, приведите каждую к нижнему регистру с помощью строковой функции lower().
Реализовал таким образом:

Python
1
2
3
file_obj = open('sentences.txt', 'r')
str=file_obj.xreadlines()
a=(str.read().lower())

3. Произведите токенизацию, то есть разбиение текстов на слова. Для этого можно воспользоваться регулярным выражением, которое считает разделителем любой символ, не являющийся буквой: re.split('[^a-z]', t). Не забудьте удалить пустые слова после разделения.
Реализовал таким образом:

Python
1
2
import re
b = re.split('[^a-z]', a)

убрал пустые слова:

Python
1
2
b = [x for x in b if x]
print b

4. Составьте список всех слов, встречающихся в предложениях. Сопоставьте каждому слову индекс от нуля до (d - 1), где d — число различных слов в предложениях. Для этого удобно воспользоваться структурой dict.
Реализовал таким способом:

Python
1
2
3
4
5
6
words={}
numb=0
for w in b:
    if w not in words:
        words[w] = numb
        numb += 1

и отсортировал:

Python
1
2
3
4
for znach in (sorted(val for key,val in words.items())):
       for key,val in words.items():
            if val==znach:
                print(key,val)

а дальше....затык, не могу найти понять как всё сопоставить и сделать из этого матрицу, я совсем новичок в питоне и дело встало, нужна помощь с комментами, если не сложно, спасибо..

5. Создайте матрицу размера n * d, где n — число предложений. Заполните ее: элемент с индексом (i, j) в этой матрице должен быть равен количеству вхождений j-го слова в i-е предложение. У вас должна получиться матрица размера 22 * 254.

6. Найдите косинусное расстояние от предложения в самой первой строке (In comparison to dogs, cats have not undergone...) до всех остальных с помощью функции scipy.spatial.distance.cosine. Какие номера у двух предложений, ближайших к нему по этому расстоянию (строки нумеруются с нуля)? Эти два числа и будут ответами на задание.

@fsv20 · 11.04.2018, 11:52

StackOverflow, не получается повторить код на Python 2, что не так

Добавлено через 17 часов 22 минуты
archimeds, помогите новичку, не могу решить задачу про кошек, до момента описанного архимедом все понятно, дальше полный ступор. Сижу 5-й день, все что рекомендовано на форуме Coursera прочитал. Толку ноль. С кодом StackOverflow ничего не понятно, нужно больше комментариев по командам. Повторить на втором Питоне не смог, в elif пишет ошибку. Help me!

@ТабуретY · 11.04.2018, 12:28

fsv20, у пользователя archimeds последнее сообщение 21.11.2016, лучше новую тему создайте и опишите подробно условие задачи и ошибки в коде

@fsv20 · 12.04.2018, 12:10

Строка: Произведите токенизацию строк, то есть разбиение текстов на слова.

сделал снимок кода, описание задачи в начале темы про сравнение текста. Не очень хотелось плодить одинаковые темы на форуме.

@ТабуретY · 12.04.2018, 18:56

В In [41] j+=1 должно быть под if, а то бесконечный цикл получается

@fresh-ness · 14.05.2018, 07:54

Сообщение от archimeds

5. Создайте матрицу размера n * d, где n — число предложений. Заполните ее: элемент с индексом (i, j) в этой матрице должен быть равен количеству вхождений j-го слова в i-е предложение. У вас должна получиться матрица размера 22 * 254.
6. Найдите косинусное расстояние от предложения в самой первой строке (In comparison to dogs, cats have not undergone...) до всех остальных с помощью функции scipy.spatial.distance.cosine. Какие номера у двух предложений, ближайших к нему по этому расстоянию (строки нумеруются с нуля)? Эти два числа и будут ответами на задание.

Добрый день, вам удалось найти решение по вопросам 5 и 6 ?
Напишите пож-та алгоритм решения. Спасибо.

Добавлено через 7 часов 24 минуты
Помогите пож-та по заданию выше в Python 2.7.

@Garry Galler · 14.05.2018, 11:11

Пост StackOverflow - первый ответ в теме: решение по 5 и 6.

Новые блоги и статьи Все статьи Все блоги /
Калькулятор для расчета родства russiannick 07.08.2026 1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь	Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .	Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .	У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35". kumehtar 04.08.2026 С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники). Hrethgir 04.08.2026 Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .	Термопринтер QR701 Argus19 03.08.2026 Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .	Создание формы заимствованного документа Maks 03.08.2026 Задача: Необходимо создать собственную форму заимствованного документа. На форме должен быть реквизит "Покупатель", а также табличная часть со следующими реквизитами: - Расчетный счет покупателя. . .	Задача предоставления скидок покупателям Maks 03.08.2026 Задача: В документе "Продажи" необходимо реализовать функционал предоставления скидок покупателям. Скидка должна автоматически рассчитываться и подставляться в соответствующее поле при выборе. . .

@fsv20 1 / 1 / 0 Регистрация: 09.04.2018 Сообщений: 5
	11.04.2018, 11:52
	StackOverflow, не получается повторить код на Python 2, что не так Добавлено через 17 часов 22 минуты archimeds, помогите новичку, не могу решить задачу про кошек, до момента описанного архимедом все понятно, дальше полный ступор. Сижу 5-й день, все что рекомендовано на форуме Coursera прочитал. Толку ноль. С кодом StackOverflow ничего не понятно, нужно больше комментариев по командам. Повторить на втором Питоне не смог, в elif пишет ошибку. Help me! 0

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	11.04.2018, 12:28
	fsv20, у пользователя archimeds последнее сообщение 21.11.2016, лучше новую тему создайте и опишите подробно условие задачи и ошибки в коде 0

@fsv20 1 / 1 / 0 Регистрация: 09.04.2018 Сообщений: 5
	12.04.2018, 12:10
	сделал снимок кода, описание задачи в начале темы про сравнение текста. Не очень хотелось плодить одинаковые темы на форуме. 0

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	12.04.2018, 18:56
	В In [41] j+=1 должно быть под if, а то бесконечный цикл получается 0

@Garry Galler 5439 / 3860 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	14.05.2018, 11:11
	Пост StackOverflow - первый ответ в теме: решение по 5 и 6. 0