Time limit exceeded

@stealtheglory · Регистрация: 31.10.2016

Author24 — интернет-сервис помощи студентам

Решаю задачки на одном сайте, там есть онлайн компилятор. Моя VS справляется, но компилятор с сайта говорит Time limit exceeded. Т.к. задача состоит из нескольких классов опишу только проблемный.
В этом классе метод должен принимать List<List<string>> text (мы разбили большой текст на предложения, а после на слова, в конечном итоге List<List<string>> состоит только из слов с нижним регистром)
Сама задача: Биграмма — это пара соседних слов предложения. Например, из текста: "She stood up. Then she left." можно выделить следующие биграммы "She stood", "stood up", "Then she" и "she left", но не "up then".

Составьте словарь, который для каждого слова W хранит вторую часть V, наиболее частотной биграммы (W, V), начинающейся с W. Такой словарь называется биграммной моделью текста.

Ключи этого словаря — это все слова, с которых начинается хотя бы одна биграмма исходного текста. В качестве значения должно быть второе слово самой частой биграммы, начинающейся с ключа.

Если есть несколько биграмм с одинаковой частотой, то использовать лексикографически первую(в алфавит порядке) (используйте способ сравнения Ordinal, например с помощью метода string.CompareOrdinal).

В итоге должны получить Dictionary<string,string>. Вот мой код программы, подскажите,что в нем не так, в нем есть ошибка, или его надо оптимизировать?Если оптимизировать, то помогите!
За говнокод сорри.

C#

using System.Collections.Generic;
 
namespace TextAnalysis
{
    static class FrequencyAnalysisTask
    {
        public static Dictionary<string, string> GetMostFrequentNextWords(List<List<string>> text)
        {
            var dict = new Dictionary<string, int>();
            var bigram = new Dictionary<string, string>();
            var para = new List<string>();
            int chast = 0;
            string SecondWord = "";
            string FirstWord;
            string wordWas = null;
            for(int j = 0;j< text.Count;j++)
            {
                for (int i = 0; i < text[j].Count - 1; i++)
                {
                    para.Add(text[j][i] + ":" + text[j][i + 1]);
                }
            }
 
            for(int i = 0;i < para.Count;i++)
            {
                if (dict.ContainsKey(para[i]))
                    dict[para[i]]++;
                else
                    dict.Add(para[i], 1);
            }
            for(int i = 0;i<para.Count;i++)
            {
                chast = 0;
                foreach (var d in dict)
                {
                    FirstWord = para[i].Remove(para[i].IndexOf(":"));
                    if ((FirstWord.Equals(d.Key.Remove(d.Key.IndexOf(":"))))&&(d.Value>=chast))
                    {
                        if (string.IsNullOrEmpty(wordWas))
                            wordWas = d.Key.Remove(0, d.Key.IndexOf(":") + 1);
                        if (string.CompareOrdinal(d.Key.Remove(0, d.Key.IndexOf(":") + 1), wordWas) <= 0)
                        {
                            chast = d.Value;
                            SecondWord = d.Key.Remove(0, d.Key.IndexOf(":") + 1);
                            wordWas = SecondWord;
                        }
                    }
                }
                wordWas = null;
                if (!bigram.ContainsKey(para[i].Remove(para[i].IndexOf(":"))))
                {
                    bigram.Add(para[i].Remove(para[i].IndexOf(":")), SecondWord);
                }
            }
            return bigram;
        }
 
    }
}

@Lexeq · 22.02.2018, 22:59

Time limit exceeded - значит не уложились во время, беглым взглядом можно заметить, что много работы со строками, а это не быстро. Но может и сам алгоритм медленный. Это с какого-то сайта задача? Есть туда открытый доступ, чтоб поэкспериментировать?

@stealtheglory · 22.02.2018, 23:22 **[ТС]**

Сообщение от Lexeq

Есть туда открытый доступ, чтоб поэкспериментировать?

https://ulearn.me/Course/Basic... 80895685e5

@Lexeq · 22.02.2018, 23:32

stealtheglory, вот такое проходит

C#

        public static Dictionary<string, string> GetMostFrequentNextWords(List<List<string>> text)
        {
            Dictionary<string, Dictionary<string, int>> pairs = new Dictionary<string, Dictionary<string, int>>();
            foreach (var sentence in text)
            {
                for (int i = 0; i < sentence.Count - 1; i++)
                {
                    if (pairs.ContainsKey(sentence[i]))
                    {
                        if (pairs[sentence[i]].ContainsKey(sentence[i + 1]))
                            pairs[sentence[i]][sentence[i + 1]]++;
                        else
                            pairs[sentence[i]][sentence[i + 1]] = 1;
                    }
                    else
                    {
                        pairs[sentence[i]] = new Dictionary<string, int> { { sentence[i + 1], 1 } };
                    }
                }
            }
 
            Dictionary<string, string> result = new Dictionary<string, string>(pairs.Count);
 
            foreach (var item in pairs)
            {
                result.Add(item.Key, item.Value.OrderByDescending(x => x.Value).ThenBy(s => s.Key, StringComparer.Ordinal).First().Key);
            }
 
            return result;
        }

@Lexeq 1150 / 742 / 483 Регистрация: 21.01.2014 Сообщений: 1,903
	22.02.2018, 22:59	2
	Time limit exceeded - значит не уложились во время, беглым взглядом можно заметить, что много работы со строками, а это не быстро. Но может и сам алгоритм медленный. Это с какого-то сайта задача? Есть туда открытый доступ, чтоб поэкспериментировать? 2

@stealtheglory 0 / 4 / 0 Регистрация: 31.10.2016 Сообщений: 21
	22.02.2018, 23:22 [ТС]	3
	Сообщение от Lexeq Есть туда открытый доступ, чтоб поэкспериментировать? https://ulearn.me/Course/Basic... 80895685e5 2

	22.02.2018, 23:32

Опции темы

Time limit exceeded

Решение