В файле создать массив слов, в который поместить каждое слово в отдельную ячейку

@mikh · Регистрация: 20.04.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте! Только начал вникать в C#! Помогите написать программу для работы с текстом.
Вот условие:
В файле с разрешением *.txt есть текст, нужно создать массив слов в который поместить каждое слово в отдельную ячейку, игнорируя знаки припинания и пробелы. Потом надо посчитать сколько раз какое слово встретилось в тексте и сделать табличку типа:
Слово кол-во
привет 10
дом 20
река 5
и т.д.
Одинаковые слова из массива поудалять, оставить только одно (сжать массив так сказать). И вывести все это в текст файл.
Программа должна обрабатывать много файлов, но мне хотя бы понять как с одним справиться.
Зарание спасибо.

@freest · 20.04.2012, 20:24

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.IO;
 
namespace Parser
{
    class Program
    {
        static void Main(string[] args)
        {
            var dir = Directory.GetCurrentDirectory();
            var infile = new StreamReader(dir+@"\1.txt");
            var text = infile.ReadToEnd();
            infile.Close();
            var re = new Regex(@"[\n\r,.: -]*");
            text = re.Replace(text, " ");
            var words = text.Split(new[] {' '},StringSplitOptions.RemoveEmptyEntries);
            var wordCount = new Dictionary<String,int>();
            foreach (var word in words)
            {
                if (wordCount.ContainsKey(word))
                    wordCount[word]++;
                else
                {
                    wordCount.Add(word, 1);
                }
            }
            var result = new StringBuilder();
            foreach (var word in wordCount)
            {
                result.AppendLine(String.Format("Word {0}, Count {1}", word.Key, word.Value));
            }
            var outfile = new StreamWriter(dir + @"\1.txt");
            outfile.Write(result);
            outfile.Close();
            Console.WriteLine(result);
            Console.ReadKey();
        }
    }
}

@mikh · 20.04.2012, 20:42 **[ТС]**

Большое спасибо. А как насчет кодировки если текст на русском ?

@freest · 20.04.2012, 20:49

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.IO;
 
namespace Parser
{
    class Program
    {
        static void Main(string[] args)
        {
            var dir = Directory.GetCurrentDirectory();
            var infile = new StreamReader(dir+@"\1.txt",Encoding.Default);
            var text = infile.ReadToEnd();
            infile.Close();
            var re = new Regex(@"[\n\r,.: -]+");
            text = re.Replace(text, " ");
            var words = text.Split(new[] {' '},StringSplitOptions.RemoveEmptyEntries);
            var wordCount = new Dictionary<String,int>();
            foreach (var word in words)
            {
                if (wordCount.ContainsKey(word))
                    wordCount[word]++;
                else
                {
                    wordCount.Add(word, 1);
                }
            }
            var result = new StringBuilder();
            foreach (var word in wordCount)
            {
                result.AppendLine(String.Format("Word {0}, Count {1}", word.Key, word.Value));
            }
            var outfile = new StreamWriter(dir + @"\1.txt");
            outfile.Write(result);
            outfile.Close();
            Console.WriteLine(result);
            Console.ReadKey();
        }
    }
}

@mikh · 20.04.2012, 22:58 **[ТС]**

Подскажите еще есть ли возможность из этой программки внести данные в MSSQL таблицу ?
С MySQL, я более мение ознакомился, а вот с MSSQL беда, да и как програмно это реализовать незнаю.
И если мне надо будет много файлов обрабатывать а результат в один файл то в опции к StreamWriter дописать FileMode.Append, FileAccess.Write ?

@Black-millenium · 21.04.2012, 00:19

Сообщение от mikh

разрешением *.txt

Коллапс мозга.

Сообщение от mikh

Подскажите еще есть ли возможность из этой программки внести данные в MSSQL таблицу

Можно, смотрите ADO.NET и LINQ.

@freest · 21.04.2012, 00:21

Можно без проблем System.Data.SqlClient,
Можно открыть файл в который результат вводите и не закрывать его пока не прочитаете все файлы. Надо еще будет проверить чтоб Вы не открыли файл результата.

@mikh · 21.04.2012, 16:09 **[ТС]**

Вот еще одна проблемма:
допустим у меня 100 файлов txt с именими 1.txt, 2.txt, 3.txt и т.д. можно ли вложить эту прогу в FOR что бы счетчик вставлять в имя файла? Или как открывать следующий файл не зная его названия ?
ну а файл результата просто назвать по другому.

Добавлено через 2 часа 59 минут
и еще, freest, почему у меня вместо украинской " i " знак вопроса " ? " ?

@dextermd · 21.04.2012, 16:40

Сообщение от mikh

допустим у меня 100 файлов txt с именими 1.txt, 2.txt, 3.txt и т.д. можно ли вложить эту прогу в FOR что бы счетчик вставлять в имя файла?

Можно.

C#
1
2
3
4
5
6
7
8
string dir = Directory.GetCurrentDirectory();
for (int i = 1; i <= 100; i++)
{
    using (var infile = new StreamReader(string.Format("{0}\\{1}.txt", dir, i)))
    {
        string text = infile.ReadToEnd();
    }
}

Сообщение от mikh

Или как открывать следующий файл не зная его названия ?

Можно получить список файлов из определенной директории и открывать их по очереди:

C#
1
2
3
4
5
6
7
8
string dir = Directory.GetCurrentDirectory();
foreach (string file in Directory.GetFiles(dir, "*.txt"))
{
    using (var infile = new StreamReader(file))
    {
        string text = infile.ReadToEnd();
    }
}

Сообщение от mikh

почему у меня вместо украинской " i " знак вопроса " ? " ?

Из-за неправильно выбраной кодировки для StreamReader'а. Попробуйте заменить Encoding.Default на Encoding.UTF8.

@freest · 21.04.2012, 17:15

Вы думаете, что оно файл записаный на ANSI прочитает правильно через UTF8?

@dextermd · 21.04.2012, 18:10

Сообщение от freest

Вы думаете, что оно файл записаный на ANSI прочитает правильно через UTF8?

Согласен, поспешил с ответом.

@mikh · 22.04.2012, 17:08 **[ТС]**

я пробовал различные кодировки не нашел нормальной ((

Сообщение от dextermd

Можно получить список файлов из определенной директории и открывать их по очереди:

C#
1
2
3
4
5
6
7
8
string dir = Directory.GetCurrentDirectory();
foreach (string file in Directory.GetFiles(dir, "*.txt"))
{
    using (var infile = new StreamReader(file))
    {
        string text = infile.ReadToEnd();
    }
}

Это наверное лучше первого способа потому что универсальный, спасибо большое. Пойду склеивать все в кучу.

Добавлено через 22 часа 30 минут
протестировал на 5ти файлах.
1) получилось через FOR, второй способ не получилось ((
2) не пойму как открыть файл результата и что бы туда все только добавлялось, а то каждый раз перезапись и в итоге там результат только по последнему файлу.

@Tweekaz · 22.04.2012, 17:25

Дай полное задание, пожалуйста
Тебе надо написать программу, которая бы с кучи файлов считывала слова, после чего удаляла повторения и формировала новый файл с этими же всеми словами без повторений?
Я правильно понял ?

@mikh · 22.04.2012, 18:34 **[ТС]**

Сообщение от Tweekaz

Дай полное задание, пожалуйста
Тебе надо написать программу, которая бы с кучи файлов считывала слова, после чего удаляла повторения и формировала новый файл с этими же всеми словами без повторений?
Я правильно понял ?

да. только еще и количество их считало.

есть много txt файлов, каждый файл разбираем на слова и записываем в файл результата каждое слово и сколько раз оно встречаеться в тексте (это делает код который написал freest)

у меня файл результата постоянно перезаписываеться (хотя в консольном окне результаты всех файлов).

и в конце когда прога просмотрит все файлы файл результата надо будет прогнать по такому же коду, вдруг в разных файлах одинаковые слова, чтоб они еще раз просуммировались.

Добавлено через 1 час 3 минуты

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.IO;
 
namespace zadacha
{
    class Program
    {
        static void Main(string[] args)
        {
            FileStream outf;
            string dir = Directory.GetCurrentDirectory();
            foreach (string file in Directory.GetFiles(dir, "*.txt"))
            {
             using (var infile = new StreamReader(file, Encoding.Default))
             {
              string text = infile.ReadToEnd();
              
            
                    infile.Close();
                    var re = new Regex(@"[\n\r,.: -!?]+");
                    text = re.Replace(text, " ");
                    var words = text.Split(new[] { ' ' }, StringSplitOptions.RemoveEmptyEntries);
                    var wordCount = new Dictionary<String, int>();
                    foreach (var word in words)
                    {
                        if (wordCount.ContainsKey(word))
                            wordCount[word]++;
                        else
                        {
                            wordCount.Add(word, 1);
                        }
                    }
                    var result = new StringBuilder();
                    foreach (var word in wordCount)
                    {
                        result.AppendLine(String.Format("{0} {1}", word.Key, word.Value));
                    }
                    outf = new FileStream(dir + @"\result.txt", FileMode.Append, FileAccess.Write);
                    StreamWriter outfile = new StreamWriter(outf);
                    outfile.Write(result);
 
 
                    outfile.Close();
                    Console.WriteLine(result);
                }
            }
            Console.ReadKey();
        }
    }
}

добавил FileStream что бы задать опции дозаписи в файл result
все вроде работает как надо.

Тестил на 5 файлах текстов песен и столкнулся с 2мя проблеммами:
1) слово [Chorus] так и выводит в скобках [ ]
текст в файле:
These wounds won't seem to heal
This pain is just too real
There's just too much that time cannot erase

[Chorus]

I've tried so hard to tell myself that you're gone
But though you're still with me
I've been alone all along

[Chorus]

2)отдельный символ ' - ' считает как отдельное слово:
Спаси своего изворотливого врага -
Так ты, возможно, заслужишь прощение.
Ты знаешь, весь твой мир замер в ожидании,
Так почему ты не можешь заговорить?

Although I wanted more
Lock the last open door - my ghosts are gaining on me

@freest · 22.04.2012, 21:14

C#
1
var re = new Regex(@"[\n\r,.: \]\[\-!?]+");

Вроде так

@Tweekaz · 22.04.2012, 23:52

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
 
namespace херня
{
    class Program
    {
        public static string text = "";
        static void Main(string[] args)
        {
            try
            {
                Console.WriteLine("Введите путь к папке:");
                string url = Console.ReadLine();
                if (url.EndsWith("\\"))
                {
                }
                else
                {
                    url = url + "\\";
                }
                string[] adress = Directory.GetFiles(url, "*.txt");
                for (int i = 0; i < adress.Length; i++)
                {
                    StreamReader r = new StreamReader(adress[i], Encoding.Default);
                    text = text + " " + r.ReadToEnd();
                    r.Close();
                }
                string[] word = text.Split(' ', '.', ',', '!', '?', '-', ':', ';', '+','[',']','(',')');
                var words = new List<string>();
                for (int i = 0; i < word.Length; i++)
                {
                    words.Add(word[i]);
                }
                var end = words.Distinct();
                text = "";
 
                StreamWriter sw = new StreamWriter(@"arrayofwords.txt");
 
                foreach (string q in end)
                {
                    text = text + " " + q;
                }
                sw.Write(text);
                sw.Close();
 
                Console.WriteLine("Обработка завершена... Нажмите Ентер");
                Console.ReadLine();
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                Console.Read();
            }
        }
    }
}

Вот мой вариантик)

@freest · 23.04.2012, 01:31

только количество не считает

@mikh · 23.04.2012, 02:17 **[ТС]**

Сообщение от freest

C#
1
var re = new Regex(@"[\n\r,.: \]\[\-!?]+");

Вроде так

зачем использовать

C#
1
2
       var re = new Regex(@"[\]\[\-\n\r/(),.: !?1234567890]+");
                    text = re.Replace(text, " ");

если можно все эти символы вставить в Split?
Или нет ?

Была проблемма как потом отформатировать файл result.txt, после того как туда запишеться слова со всех файлов. Я решил ее таким путем:
раньше подсчет слов шел для каждого файла отдельно, и дозапись в файл result.txt шла после каждого цикла, а вынес это за цикл. Теперь в wordCount накапливаються данные до конца обработки всех файлов, а потом в конце это все записываеться в result.txt.
на 90 небольших txt файлах работает очень быстро, вот не знаю как будет на большем количестве файлов.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
namespace zadacha
{
    class Program
    {
        static void Main(string[] args)
        {
 
            string dir = Directory.GetCurrentDirectory();
            var wordCount = new Dictionary<String, int>();
            foreach (string file in Directory.GetFiles(dir, "*.txt"))
            {
             using (var infile = new StreamReader(file, Encoding.Default))
             {
                    string text = infile.ReadToEnd();
                    infile.Close();
                    var re = new Regex(@"[\]\[\-\n\r/(),.: !?1234567890]+");
                    text = re.Replace(text, " ");
                    var words = text.Split(new[] { ' ', '"' }, StringSplitOptions.RemoveEmptyEntries);
                    foreach (var word in words)
                    {
                        if (wordCount.ContainsKey(word))
                            wordCount[word]++;
                        else
                        {
                            wordCount.Add(word, 1);
                        }
                    }
 
                   
              }
            }
            var result = new StringBuilder();
            foreach (var word in wordCount)
            {
                result.AppendLine(String.Format("{0} {1}", word.Key, word.Value));
            }
            var outfile = new StreamWriter(dir + @"\result.txt");
            outfile.Write(result);
            outfile.Close();
            Console.WriteLine(result);
 
            Console.ReadKey();
        }
    }
}

Новые блоги и статьи Все статьи Все блоги /
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .

@mikh 6 / 6 / 3 Регистрация: 20.04.2012 Сообщений: 303

	.NET 4.x В файле создать массив слов, в который поместить каждое слово в отдельную ячейку 20.04.2012, 19:54. Показов 2528. Ответов 17 Метки нет (Все метки) Здравствуйте! Только начал вникать в C#! Помогите написать программу для работы с текстом. Вот условие: В файле с разрешением *.txt есть текст, нужно создать массив слов в который поместить каждое слово в отдельную ячейку, игнорируя знаки припинания и пробелы. Потом надо посчитать сколько раз какое слово встретилось в тексте и сделать табличку типа: Слово кол-во привет 10 дом 20 река 5 и т.д. Одинаковые слова из массива поудалять, оставить только одно (сжать массив так сказать). И вывести все это в текст файл. Программа должна обрабатывать много файлов, но мне хотя бы понять как с одним справиться. Зарание спасибо. 0

@mikh 6 / 6 / 3 Регистрация: 20.04.2012 Сообщений: 303
	20.04.2012, 20:42 [ТС]
	Большое спасибо. А как насчет кодировки если текст на русском ? 0

@mikh 6 / 6 / 3 Регистрация: 20.04.2012 Сообщений: 303
	20.04.2012, 22:58 [ТС]
	Подскажите еще есть ли возможность из этой программки внести данные в MSSQL таблицу ? С MySQL, я более мение ознакомился, а вот с MSSQL беда, да и как програмно это реализовать незнаю. И если мне надо будет много файлов обрабатывать а результат в один файл то в опции к StreamWriter дописать FileMode.Append, FileAccess.Write ? 0

@freest Українець 424 / 318 / 16 Регистрация: 26.09.2009 Сообщений: 844
	21.04.2012, 00:21
	Можно без проблем System.Data.SqlClient, Можно открыть файл в который результат вводите и не закрывать его пока не прочитаете все файлы. Надо еще будет проверить чтоб Вы не открыли файл результата. 0

@mikh 6 / 6 / 3 Регистрация: 20.04.2012 Сообщений: 303
	21.04.2012, 16:09 [ТС]
	Вот еще одна проблемма: допустим у меня 100 файлов txt с именими 1.txt, 2.txt, 3.txt и т.д. можно ли вложить эту прогу в FOR что бы счетчик вставлять в имя файла? Или как открывать следующий файл не зная его названия ? ну а файл результата просто назвать по другому. Добавлено через 2 часа 59 минут и еще, freest, почему у меня вместо украинской " i " знак вопроса " ? " ? 0

@freest Українець 424 / 318 / 16 Регистрация: 26.09.2009 Сообщений: 844
	21.04.2012, 17:15
	Вы думаете, что оно файл записаный на ANSI прочитает правильно через UTF8? 1

@Tweekaz 24 / 23 / 3 Регистрация: 21.04.2012 Сообщений: 253
	22.04.2012, 17:25
	Дай полное задание, пожалуйста Тебе надо написать программу, которая бы с кучи файлов считывала слова, после чего удаляла повторения и формировала новый файл с этими же всеми словами без повторений? Я правильно понял ? 0

@freest Українець 424 / 318 / 16 Регистрация: 26.09.2009 Сообщений: 844
	23.04.2012, 01:31
	только количество не считает 0