Статистика в тексте

@Anriuser · Регистрация: 18.10.2013

Студворк — интернет-сервис помощи студентам

Есть программа первого закона Ципфа.
Измерим количество вхождений каждого слова в текст и возьмем только одно значение из каждой группы, имеющей одинаковую частоту. Расположим частоты по мере их убывания и пронумеруем, порядковый номер частоты назовем рангом частоты Выделение ключевых слов в текстовых документах ранг слова Выделение ключевых слов в текстовых документах). Наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними – 2 и так далее. Ето первый закон.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import sys
from collections import Counter
import numpy as np
import matplotlib.pyplot as plt
 
FILENAME = sys.argv[1][0:sys.argv[1].find('.')]
 
WORDS = []
 
with open(sys.argv[1], 'rb') as textFile:
    WORDS = (re.findall(re.compile(r'\w+'), (textFile.read()).lower()))
 
LABELS, VALUES = zip(*list(reversed(sorted(Counter(WORDS).items(), key=lambda x: x[1]))))
INDEXES = np.arange(len(LABELS))
 
plt.plot(INDEXES, VALUES)
 
plt.xlim(-(len(LABELS))*5/100)
plt.ylim(-(max(VALUES)*5)/100)
 
plt.xlabel('Rank')
plt.ylabel('Frequency')
 
plt.grid()
plt.savefig('figures/' + FILENAME + '_zipfs', dpi=500)

Нужно дописать второй закон: Первый закон не учитывает факт того, что разные слова могут входить в текст с одинаковой частотой. Ципф установил, что частота и количество слов, входящих в текст с этой частотой, также имеют зависимость. Если построить график, отложив по оси абсцисс частоту вхождения слова, а по оси ординат – количество слов в данной частоте, то получившаяся кривая будет сохранять свой вид для всех без исключения текстов.

@Anriuser · 18.12.2016, 03:19 **[ТС]**

Нужно допилить второй закон.

Добавлено через 8 часов 7 минут
хелп хелп

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

@Anriuser 0 / 2 / 1 Регистрация: 18.10.2013 Сообщений: 312
	18.12.2016, 03:19 [ТС]
	Нужно допилить второй закон. Добавлено через 8 часов 7 минут хелп хелп 0