Разбор текста на части

@belalugoci · Регистрация: 01.06.2018

Студворк — интернет-сервис помощи студентам

Всем привет,
добрался тут до текста и его разбора, основной список задач такой:
- подсчёт слов/символов с разными разделителями (включая пробелы, переносы строк, табуляции)
- выборка текста с фильтрацией, например выбрать все символы, которые не являются буквами английского алфавита, и т.п.
- составление словаря с подсчётом из первого пункта

собственно я могу всё сделать на уровне команд а-ля 1999 года, но например тот же LINQ вдруг предложит что-то более интересное. Во вложении пример файла для работы. Достаточно консольного приложения с выводом результатов в отдельные файлы.

PS: немного комментариев по пунктам. Под разделителями я понимаю не просто один символ, а скорее список символов - сразу например пробел, табуляция, перевод строки, запятая, точка, восклицательный знак, вопрос и т.д. Можно пойти от противного и считать разделителем всё что не английская буква.
Иметь возможность оперировать с регистрозависимым текстом, July != july, числительные воспринимать как слова.

@QuakerRUS · 09.11.2020, 18:23

belalugoci, смотрите в сторону регулярных выражений. Думаю с ними задача станет намного проще.

@belalugoci · 09.11.2020, 19:10 **[ТС]**

Сообщение от QuakerRUS

смотрите в сторону регулярных выражений. Думаю с ними задача станет намного проще.

думается мне проще будет выучить корейский и начать сниматься в дорамах.

@QuakerRUS · 09.11.2020, 23:00

belalugoci, зря вы так. Вот пример подсчета повторений слов в вашем тексте.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
using System;
using System.IO;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
 
class Program
{
    static void Main()
    {
        string input = File.ReadAllText("20000 Leagues Under the Sea.txt");
        StringBuilder output = new StringBuilder();
 
        foreach (var x in Regex.Split(input, @"[^a-zA-Z0-9]+").Where(x => x != "").OrderBy(x => x).GroupBy(g => g))
            output.Append($"{x.Key,20}: {x.Count()}\n");
 
        File.WriteAllText("output.txt", output.ToString());
        Console.WriteLine("Done!");
        Console.ReadKey();
    }
}

@belalugoci · 10.11.2020, 00:57 **[ТС]**

Сообщение от QuakerRUS

зря вы так. Вот пример подсчета повторений слов в вашем тексте.

просто знаю что говорю. вот например

C#
1
2
string pattern = @"^(?("")(""[^""]+?""@)|(([0-9a-z]((\.(?!\.))|[-!#\$%&'\*\+/=\?\^`\{\}\|~\w])*)(?<=[0-9a-z])@))" +
                @"(?(\[)(\[(\d{1,3}\.){3}\d{1,3}\])|(([0-9a-z][-\w]*[0-9a-z]*\.)+[a-z0-9]{2,17}))$";

всего лишь пример шаблона для проверки на Email.
Еще за сегодня появилась необходимость разбирать слова как однокоренные, например
blow
blowup
blowing
blowed
unblow
reblow
blowin
и т.п. Но не обязательно строго английским правилам, это скорее просто поиск вхождений слов.
За пример спасибо, уже почитал немного про простые регэкспы, чтобы хоть понимать.

@QuakerRUS · 10.11.2020, 01:13

Сообщение от belalugoci

всего лишь пример шаблона для проверки на Email.

С опытом оно уже не такое страшное для понимания, как кажется. Да и регулярки не обязательно такие навороченные делать.

Сообщение от belalugoci

Еще за сегодня появилась необходимость разбирать слова как однокоренные

Тут вообще сложностей не вижу. Обычный поиск подстроки.

@belalugoci · 10.11.2020, 02:10 **[ТС]**

C#
1
2
3
           foreach (var x in Regex.Split(input, @"[a-zA-Z0-9]+").Where(x => x != "").OrderBy(x => x).GroupBy(g => g))
                output2.Append($"{x.Key,20}: {x.Count()}\n");
            File.WriteAllText(@"c:\work\words\output2.txt", output2.ToString());

сделал по аналогии, наоборот убрал текстовые данные, но на выходе в том числе объединяет символы, то есть ". . ." как отдельные пробелы и точки не считает, то есть Split разделителем считает момент отсутствия (исключения) нужных символов из маски, а как разбивать на отдельные символы именно для второй группы output2? чтобы пробелы, апострофы, ковычки, точки и т.п. рассматривались исключительно только как отдельные символы?
Пример вывода как сейчас:

                   ': 2989

                    : 120097

                   .: 2

              . . . : 12

            . . . ! : 3

и вот два последних не должны склеиваться в кучу, а быть в подсчете отдельно как пробелы, точки и восклицательный знак.

Сообщение от QuakerRUS

С опытом оно уже не такое страшное для понимания, как кажется

наверное вы правы, но освоить как-то до сих пор не смог, особенно LINQ, что за чем следует и почему именно так пока мне не покоряется.

Добавлено через 14 минут
еще ломаю голову как исключить все x.Count()<2

Добавлено через 9 минут

Сообщение от belalugoci

еще ломаю голову как исключить все x.Count()<2

забрутфорсил Where(x => x.Count() > 1) в конце всей строки и получилось.

Добавлено через 10 минут

Сообщение от QuakerRUS

Тут вообще сложностей не вижу. Обычный поиск подстроки.

это понятно, проблема в реализации, нужно как-то указывать длину корня, например минимум в 2 символа и искать корень в словах которые не превысят длины например в 2 раза, то есть
up
и
uprise
уже исключаются, а
anal
и
analize
остаются.
Потом нужно как-то запрос сделать чтобы прогон был для каждого слова, то есть where еще один после всех остальных действий. Пока не улавливаю как именно.

@QuakerRUS · 10.11.2020, 03:25

Сообщение от belalugoci

два последних не должны склеиваться в кучу, а быть в подсчете отдельно как пробелы, точки и восклицательный знак.

Можно от обратного пойти:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
using System;
using System.IO;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
 
class Program
{
    static void Main()
    {
        string input = File.ReadAllText("20000 Leagues Under the Sea.txt");
        StringBuilder output = new StringBuilder();
 
        foreach (var x in Regex.Matches(input, @"[^\w\r\n]{1}").Cast<Match>().Select(x => x.Value).OrderBy(x => x).GroupBy(g => g))
            output.Append($"{x.Key}: {x.Count()}\n");
 
        File.WriteAllText("output.txt", output.ToString());
        Console.WriteLine("Done!");
        Console.ReadKey();
    }
}

Сообщение от belalugoci

минимум в 2 символа и искать корень в словах которые не превысят длины например в 2 раза

В чем проблема? Сравните удвоенную длину корня с длиной строки. Все можно настроить условиями (тем же Where).

@Rius · 10.11.2020, 05:57

Сообщение от belalugoci

просто знаю что говорю. вот например

C#
1
2
string pattern = @"^(?("")(""[^""]+?""@)|(([0-9a-z]((\.(?!\.))|[-!#\$%&'\*\+/=\?\^`\{\}\|~\w])*)(?<=[0-9a-z])@))" +
                @"(?(\[)(\[(\d{1,3}\.){3}\d{1,3}\])|(([0-9a-z][-\w]*[0-9a-z]*\.)+[a-z0-9]{2,17}))$";

всего лишь пример шаблона для проверки на Email.

Никогда не проверяйте e-mail адреса по стандартам RFC

@belalugoci · 10.11.2020, 07:25 **[ТС]**

Сообщение от Rius

проверки на Email

ответ абсолютно не по теме.

@belalugoci · 14.11.2020, 07:22 **[ТС]**

Сообщение от QuakerRUS

В чем проблема?

проблема в непонимании самой механики работы.

C#
1
2
3
            foreach (var x in Regex.Matches(input, @".{1}").Cast<Match>().Select(x => x.Value).OrderBy(x => x).GroupBy(g => g))
                output_1.Append($"{x.Key},{x.Count()}\n");
            File.WriteAllText(@"c:\work\words\output_1.txt", output_1.ToString());

C#
1
2
3
            foreach (var x in Regex.Matches(input, @".{8}").Cast<Match>().Select(x => x.Value).OrderBy(x => x).GroupBy(g => g))
                output_8.Append($"{x.Key},{x.Count()}\n");
            File.WriteAllText(@"c:\work\words\output_8.txt", output_8.ToString());

я предположил, что это позволит мне собрать все варианты строк размерностью в 1 и в 8 символов соответственно, но как показала практика - это не так. Например в книге есть слово "newspaper" которое встречается дважды, но в выводе нет вариантов на 8 символов:
newspape
ewspaper
то есть я неправильно понимаю логику работы.

@QuakerRUS · 14.11.2020, 12:07

belalugoci, мне кажется вы усложняете. Регуляркой просто собираете коллекцию слов, а дальше обрабатываете обычным кодом так как нравится.

@belalugoci · 14.11.2020, 12:55 **[ТС]**

Сообщение от QuakerRUS

мне кажется вы усложняете

я просто абсолютно не понимаю как работает linq и regex, чтение манов кроме раскаления мозга результата не даёт.

@Usaga · 14.11.2020, 13:19

А что за словарь составляется и для какой цели?

@belalugoci · 14.11.2020, 13:21 **[ТС]**

Сообщение от Usaga

А что за словарь составляется и для какой цели?

изучаю LZ, Range Coding, Huffman + свои мысли и идеи проверить.

@Usaga · 14.11.2020, 13:52

belalugoci, тогда никакие LINQ и RegExp не применимы. Такие алгоритмы руками реализуются.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .

@QuakerRUS 1469 / 1010 / 456 Регистрация: 30.10.2017 Сообщений: 2,799
	09.11.2020, 18:23
	belalugoci, смотрите в сторону регулярных выражений. Думаю с ними задача станет намного проще. 0

@QuakerRUS 1469 / 1010 / 456 Регистрация: 30.10.2017 Сообщений: 2,799
	14.11.2020, 12:07
	belalugoci, мне кажется вы усложняете. Регуляркой просто собираете коллекцию слов, а дальше обрабатываете обычным кодом так как нравится. 0

@Usaga 14307 / 9388 / 1355 Регистрация: 21.01.2016 Сообщений: 35,404
	14.11.2020, 13:19
	А что за словарь составляется и для какой цели? 0

@Usaga 14307 / 9388 / 1355 Регистрация: 21.01.2016 Сообщений: 35,404
	14.11.2020, 13:52
	belalugoci, тогда никакие LINQ и RegExp не применимы. Такие алгоритмы руками реализуются. 0