0 / 0 / 0
Регистрация: 18.10.2018
Сообщений: 3

Частотность N-грамм

18.10.2018, 19:52. Показов 23001. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
N-грамма — это N соседних слов в одном предложении. 2-граммы называют биграммами. 3-граммы — триграммами.

Например, из текста: "She stood up. Then she left." можно выделить следующие биграммы "she stood", "stood up", "then she" и "she left", но не "up then". И две триграммы "she stood up" и "then she left", но не "stood up then".

По списку предложений, составленному в прошлой задаче, составьте словарь самых частотных продолжений биграмм и триграмм. Это словарь, ключами которого являются все возможные начала биграмм и триграмм, а значениями — их самые частотные продолжения.

Более формально так:

Для каждой пары (key, value) из словаря должно выполняться одно из следующих условий:

В тексте есть хотя бы одна биграмма (key, value), и для любой другой присутствующей в тексте биграммы (key, otherValue), начинающейся с того же слова, value должен быть лексикографически меньше otherValue.

Либо в тексте есть хотя бы одна триграмма (w1, w2, value), такая что w1 + " " + w2 == key и для любой другой присутствующей в тексте триграммы (w1, w2, otherValue), начинающейся с той же пары слов, value должен быть лексикографически меньше otherValue.

Вот мой код, но когда проходит тест выводит ошибка, что нужно исправить?
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
using System;
using System.Collections.Generic;
using System.Linq;
 
namespace TextAnalysis
{
    static class FrequencyAnalysisTask
    {
        public static Dictionary<string, string> GetMostFrequentNextWords(List<List<string>> text)
        {
            Dictionary<string, Dictionary<string, int>> couple = new Dictionary<string, Dictionary<string, int>>();
            foreach (List<string> sentences in text)
            {
                for (int i = 0; i < sentences.Count - 1; i++)
                {
                    if (couple.ContainsKey(sentences[i]))
                    {
                        if (couple[sentences[i]].ContainsKey(sentences[i + 1]))
                            if (couple[sentences[i + 1]].ContainsKey(sentences[i + 2]))
                            {
                                couple[sentences[i]][sentences[i + 1]]++;
                                couple[sentences[i+1]][sentences[i + 2]]++;
                            }
                            else 
                                couple[sentences[i]][sentences[i + 1]]++;
                    }
                    else
                    {
                        couple[sentences[i]] = new Dictionary<string, int> { { sentences[i + 1], 1 } };
                    }
                }
            }
 
            Dictionary<string, string> result = new Dictionary<string, string>(couple.Count);
 
            foreach (var item in couple)
            {
                result.Add(item.Key, item.Value.OrderByDescending(x => x.Value).ThenBy(s => s.Key, StringComparer.Ordinal).First().Key);
            }
 
            return result;
        }
    }
}
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
18.10.2018, 19:52
Ответы с готовыми решениями:

Частотность букв
Добрый день. Необходимо реализовать получение частотности букв из входящей строки. Т.е. % соотношение употребление буквы в конкретном...

частотность запросов
Надо формализовать понятия : выскочастотный запрос, среднечастотны и низкочастотный. По каким критериям делить ?

Частотность запросов
Скажите, какие запросы счтиаются НЧ какие СЧ какие ВЧ ?

3
0 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 7
26.03.2019, 12:55
Если до сих пор актуально, то нашел ошибку в вашем решении
0
0 / 0 / 0
Регистрация: 01.12.2016
Сообщений: 12
05.04.2020, 14:22
Актуально

Добавлено через 1 минуту
Цитата Сообщение от creepyman Посмотреть сообщение
Если до сих пор актуально, то нашел ошибку в вашем решении
Актуально
0
0 / 0 / 0
Регистрация: 05.06.2020
Сообщений: 1
28.06.2020, 14:13
Так а в чем ошибка?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.06.2020, 14:13
Помогаю со студенческими работами здесь

Частотность слов в word
Здравствуйте, уважаемые программисты! Нуждаюсь в Вашей доброй помощи. Моей девушке (лингвисту-переводчику) на последнем курсе ввели новую...

Определить частотность символов текста
Само задание: Дан файл F, контентом которого является текст. Определить частотность всех символов текста. #include &lt;iostream&gt; ...

Определить частотность слов входного текста
Нужно вывести все различные слова из входного потока, отсортированные в порядке убывания частоты употребления. Слова с количеством...

Как определять частотность поисковых запросов ?
Подскажите плиз, как определять частотность поисковых запросов в яндексе, и их стоимость ? Есть ли какая нибудь схема для определения...

Разбить строку на слова, найти их частотность, отсортировать по алфавиту
&quot;Дана последовательность, содержащая до 5 слов, в каждом из которых до 5 строчных латинских букв; между соседними словами — запятая, за...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

Новые блоги и статьи
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru