[Big Data]MapReduce(Word Count)

@Hopeco · Регистрация: 18.03.2014

Студворк — интернет-сервис помощи студентам

Правильная ли реализация программы? Делал на основе MapReduce(Word Count):

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
 
namespace bigdata01
{
    class Program
    {
        static void Main(string[] args)
        {
            string resault = string.Empty;
            foreach (var i in Reduce(File.ReadAllText("doc.txt", Encoding.GetEncoding(1251))).OrderByDescending(pair => pair.Value).ToDictionary(pair => pair.Key, pair => pair.Value))
            {
                resault += i + "\r\n";
            }
            File.WriteAllText("resault.txt", resault, Encoding.GetEncoding(1251));
        }
 
        public static System.Collections.Generic.IEnumerable<KeyValuePair<string, int>> Map(string doc)
        {
            doc = doc.ToLower();
            doc = doc.Replace(Environment.NewLine, " ");
            doc = string.Join("", doc.Split(new char[] { '.', ',', '!', '?', '(', ')', '[', ']', '-', '—', '…', ':', ';', '»', '«', }));
 
            foreach(var word in doc.Split(' '))
                yield return new KeyValuePair<string, int>(word, 1);
        }
        public static Dictionary<string, int> Reduce(string doc)
        {
            Dictionary<string, int> t = new Dictionary<string, int>();
            foreach(KeyValuePair<string, int> x in Map(doc))
            {
                if (t.Keys.Contains(x.Key))
                    t[x.Key] += x.Value;
                else
                    t.Add(x.Key, x.Value);
            }
            return t;
        }
 
    }
}

Добавлено через 2 минуты
Файл который я использовал для проверки: http://rgho.st/private/6r7cjPs... ccba25a816

@Storm23 · 29.05.2016, 22:56

Сообщение от Hopeco

Правильная ли реализация программы?

1) Методы Replace, Join и Split (в Map) - долгие и вызовут OutOfMemory если текст действительно большой. И все они не нужны, для выделения слов из текста - Regex, либо конечный автомат, если нужно высокая производительность.
2) Строка, где вы делаете Split и Join - неправильная, потому что она слепливает два слова, разделенных знаком припинания в одно слово.
3) Метод Map должен возвращать IEnumerable<string>. Возврат пары строка-число там не нужно.
4) В методе Reduce сделана немного неоптимально работа со словарем. Используйте Dictionary<>.TryGetValue вместо Contains. Сейчас у вас идет три обращения(то есть три поиска, что долго) к словарю для каждого слова. С TryGetValue - будет только два обращения.
5) resault += i + "\r\n"; -> StringBuilder
6) ...ToDictionary(pair => pair.Key, pair => pair.Value) - вот это не нужно вообще. Зачем вам на выходе Dictionary?

@Anklav · 29.05.2016, 23:17

Сообщение от Storm23

...ToDictionary(pair => pair.Key, pair => pair.Value) - вот это не нужно вообще. Зачем вам на выходе Dictionary?

C#
1
.OrderByDescending(pair => pair.Value).ToDictionary(pair => pair.Key, pair => pair.Value)

Особенно интересен вариант сортировки а потом создание словаря, который не гарантирует порядка элементов.

@Hopeco · 30.05.2016, 11:57 **[ТС]**

Storm23, получает вот так, но что касается Join и прочего не подскажите Regex выражения для избавления от всего кроме букв, пробелов, цифр.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
        static void Main(string[] args)
        {
            StringBuilder sb = new StringBuilder();
            foreach (var i in Reduce(File.ReadAllText("doc.txt", Encoding.GetEncoding(1251))).OrderByDescending(pair => pair.Value))
                sb.AppendLine(i.Key + " - " + i.Value);
            File.WriteAllText("resault.txt", sb.ToString(), Encoding.GetEncoding(1251));
        }
 
        public static System.Collections.Generic.IEnumerable<string> Map(string doc)
        {
            doc = doc.ToLower();
            doc = doc.Replace(Environment.NewLine, " ");
            doc = string.Join(" ", doc.Split(new char[] { '.', ',', '!', '?', '(', ')', '[', ']', '-', '—', '…', ':', ';', '»', '«', }));
 
            foreach(var word in doc.Split(' '))
                yield return word;
        }
 
        public static Dictionary<string, int> Reduce(string doc)
        {
            Dictionary<string, int> t = new Dictionary<string, int>(); int temp = 0;
            foreach(var x in Map(doc))
            {
                if (t.TryGetValue(x, out temp))
                    t[x]++;
                else
                    t.Add(x, 1);
            }
            return t;
        }

@Storm23 · 30.05.2016, 12:02

Сообщение от Hopeco

Regex выражения для избавления от всего кроме букв, пробелов, цифр.

C#
1
2
3
4
        public IEnumerable<string> Map(string doc)
        {
            return Regex.Matches(doc, @"\w+").Cast<Match>().Select(m=>m.Value.ToLower());
        }

@Hopeco · 30.05.2016, 12:02 **[ТС]**

Сообщение от Storm23

Используйте Dictionary<>.TryGetValue вместо Contains.

Почем не использовать

C#
1
2
3
4
5
6
7
8
9
10
11
12
 public static Dictionary<string, int> Reduce(string doc)
        {
            Dictionary<string, int> t = new Dictionary<string, int>(); int temp = 0;
            foreach(var x in Map(doc))
            {
                if (t.ContainsKey(x))
                    t[x]++;
                else
                    t.Add(x, 1);
            }
            return t;
        }

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

[Big Data]MapReduce(Word Count)

Решение