Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.98/43: Рейтинг темы: голосов - 43, средняя оценка - 4.98
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676

Ботлнек String/StringBuilder

22.11.2020, 08:42. Показов 11605. Ответов 220
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
обсуждение, начавшееся в другой теме переношу сюда. Самой тяжёлой является операция:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
string source = File.ReadAllText(@"d:\work\words\source.txt", Encoding.GetEncoding(1251));
var sb_source = new StringBuilder(source, Source.Length);
Dictionary<string, int> F = new Dictionary<string, int>();
// ---
// тут вставляем код заполнения F, у меня получается около 70000 пар
// заполнение происходит очень быстро
// ---
foreach (var elem in F)
{
    // а вот тут был string и работало это, как мы все понимаем 200 лет
    // теперь тут StringBuilder, работает быстрее, но не слишком
    // можно сделать Parallels.ForEach, для моего i5 ускорится в ~4 раза
    sb_source = sb_source.Replace(elem.Key, "\0\0\0");
};
Нолики "\0" - это классификатор отсутствия информации, то есть после нескольких итераций на выходе будет файл полностью забитый нулями. Это один из показателей верности работы алгоритма.
Получается для файла в 4 мб (гигабайты я пока использовать не стал) это 4*70000=280000 Мбайт чтения и поменьше записи в памяти. Возможно стоит перевести на массив byte[] или ulong[] и делать замену вручную.

Добавлено через 10 минут
Цитата Сообщение от belalugoci Посмотреть сообщение
можно сделать Parallels.ForEach, для моего i5 ускорится в ~4 раза
StringBuilder также не является потокобезопасным, поэтому его работа с параллельными потоками недопустима.
Видимо нельзя
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
22.11.2020, 08:42
Ответы с готовыми решениями:

List<string, string, string> есть ли в C# что-то подобное?
Мне надо добавить в List не только имя файла, но и некоторые строки из этого файла. Т.е. например, у меня есть в определенном директории...

StringBuilder и регулярки
Подскажите, можно ли на StringBuilder использовать RegEx.Replace? Если да, то как?

Подскажите как дешифровать текст с использованием StringBuilder
Дана строка, содержащая зашифрованный русский текст. Каждая буква заменяется на следующую за ней (буква я заменяется на а). Получить новую...

220
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
23.11.2020, 21:20
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от belalugoci Посмотреть сообщение
нет, я думал они однаковые
Они разные, но "на вскидку" будут почти одинаковые по скорости.
Связано с наличием внутренних циклов для побайтового сравнения.
Что необходимо, если есть необходимость сравнения колючей разно произвольной длины.

Так как вы используете одновременно ключи только одной длины и не более 8 байт, мне и пришло в голову собрать их в один ulong и оперировать как единым значением.
Да, кстати - для быстрой работы с ulong нужна x64 сборка.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 04:14  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Да, кстати - для быстрой работы с ulong нужна x64 сборка.
стараюсь всегда пользоваться х64
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 16:31  [ТС]
Цитата Сообщение от Someone007 Посмотреть сообщение
кастомный компаратор
Цитата Сообщение от Usaga Посмотреть сообщение
Вот так:
переделал в проекте все string на byte[], но возникает ошибка в 3-ей строке
C#
1
2
3
Dictionary<byte[], int> FreqOrdered3 = new Dictionary<byte[], int>(new StructuralEqualityComparer());
Dictionary<byte[], int> Freq3 = new Dictionary<byte[], int>(new StructuralEqualityComparer());
FreqOrdered3 = Freq3.Where(x => x.Value > 0).OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value);
System.ArgumentException: "Элемент с тем же ключом уже был добавлен."
смена компаратора ошибку не устраняет, возможно нельзя пользоваться ToDictionary?
0
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
24.11.2020, 17:41
Цитата Сообщение от belalugoci Посмотреть сообщение
смена компаратора ошибку не устраняет, возможно нельзя пользоваться ToDictionary?
Нужно использовать перегрузку ToDictionary<TSource,TKey,TElement>(IEnumerable<TSource>, Func<TSource,TKey>, Func<TSource,TElement>, IEqualityComparer<TKey>).
Третьим параметром передаёте компаратор.

В данной реализации копаратора, так как не используются в его методах никакие члены экземпляра, можно создать один экземпляр и потом обращаться к нему.
Чуть изменённый вариант от Someone007:
C#
1
2
3
4
5
6
7
8
9
    public class StructuralEqualityComparer : IEqualityComparer<byte[]>
    {
        public bool Equals(byte[] x, byte[] y){...}
 
        public int GetHashCode(byte[] obj) {}
 
        public static StructuralEqualityComparer Default {get;}
           = new StructuralEqualityComparer();
    }
Применение для вашего кода:
C#
1
2
3
4
5
6
Dictionary<byte[], int> FreqOrdered3 = new Dictionary<byte[], int>(StructuralEqualityComparer.Default);
Dictionary<byte[], int> Freq3 = new Dictionary<byte[], int>(StructuralEqualityComparer.Default);
FreqOrdered3 = Freq3
          .Where(x => x.Value > 0)
          .OrderByDescending(x => x.Value) // Зачем сортировка? Она для словаря ничего не даёт
          .ToDictionary(x => x.Key, x => x.Value, StructuralEqualityComparer.Default);
Добавлено через 2 минуты
Условие Where тоже непонятно.
При правильном алгоритме откуда появляются ключи с нулевой частотой?
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 18:01  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Третьим параметром передаёте компаратор.
что где когда?

Цитата Сообщение от Элд Хасп Посмотреть сообщение
Чуть изменённый вариант от Someone007
изменения не помогли

Цитата Сообщение от Элд Хасп Посмотреть сообщение
Зачем сортировка? Она для словаря ничего не даёт
позволяет в foreach() первым брать самый высокочастотный и так по ниспадающей

Цитата Сообщение от Элд Хасп Посмотреть сообщение
Условие Where тоже непонятно.
При правильном алгоритме откуда появляются ключи с нулевой частотой?
Ничего не значащий код, просто экспериментировал с отсечением частот
0
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
24.11.2020, 18:37
Цитата Сообщение от belalugoci Посмотреть сообщение
что где когда?
Я в коде выше дал вариант ToDictionary() с передачей компаратора.
Его тоже проверили?

Добавлено через 2 минуты
Цитата Сообщение от belalugoci Посмотреть сообщение
позволяет в foreach() первым брать самый высокочастотный и так по ниспадающей
Для этого же не надо создавать НОВЫЙ словарь.
C#
1
2
3
4
foreach(var pair in Freq3.OrderByDescending(x => x.Value))
{
   // здесь работаете с pair: pair.Key и pair.Value
}
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 20:10  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Я в коде выше дал вариант ToDictionary() с передачей компаратора.
Его тоже проверили?
без надлежащего оформления я не понимаю что и куда ставить. это как человеку из второго класса с арифметикой и попыткой понять алгебру показать лабу по вышке со второго курса.

Цитата Сообщение от Элд Хасп Посмотреть сообщение
Для этого же не надо создавать НОВЫЙ словарь.
в моем проекте 777 строк, я вам показал ТРИ...
0
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
24.11.2020, 20:27
Цитата Сообщение от belalugoci Посмотреть сообщение
без надлежащего оформления я не понимаю что и куда ставить. это как человеку из второго класса с арифметикой и попыткой понять алгебру показать лабу по вышке со второго курса.
Я же показал.
Третья инструкция:
C#
3
4
5
6
7
8
FreqOrdered3 = Freq3
          .OrderByDescending(x => x.Value) // Зачем сортировка? Она для словаря ничего не даёт
          .ToDictionary
            (x => x.Key, // Выражение для ключа
             x => x.Value,  // Выражение для значения
             StructuralEqualityComparer.Default); // Компаратор для ключа
Добавлено через 3 минуты
Цитата Сообщение от belalugoci Посмотреть сообщение
в моем проекте 777 строк, я вам показал ТРИ...
В любом случае сортировка словаря лишена смысла.
В Net насколько знаю даже не гарантируется, что создание словаря в порядке сортировки (это то что вы делает), при последовательном обходе нумератором будет тот же порядок.

Де факто - это скорее всего так.
Но на какой-то стадии реализации может быть нарушено и вы получите непредсказуемый трудноуловимый баг.
Ошибка в одном месте, а её последствия проявятся совершенно в другом.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 20:33  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Чуть изменённый вариант от Someone007
я не понимаю что изменено, а в том виде как показано оно не принимается компилятором

Цитата Сообщение от Элд Хасп Посмотреть сообщение
Я же показал.
Третья инструкция:
это как раз не проблема, только этого не достаточно, в таком виде ошибка та же самая.

Добавлено через 3 минуты
Цитата Сообщение от Элд Хасп Посмотреть сообщение
В Net насколько знаю даже не гарантируется, что создание словаря в порядке сортировки (это то что вы делает), при последовательном обходе нумератором будет тот же порядок.
жуть какая-то, кому-то за это премию наверное выдали.

Цитата Сообщение от Элд Хасп Посмотреть сообщение
В любом случае сортировка словаря лишена смысла.
если учесть баг названный фичей, то вы правы. Значит придется делать иначе, только это вероятно ставит крест на использовании словаря.
0
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
24.11.2020, 20:49
Цитата Сообщение от belalugoci Посмотреть сообщение
жуть какая-то, кому-то за это премию наверное выдали.
Словарь же динамическая коллекция.
Выделенная ей область памяти меняется.
Её функцией является быстрая реализация индексатора любого типа.
При изменении коллекции, запросам о выделении памяти - кто знает как программист посчитал сделать оптимальным?
Ему главное соблюсти контракт: поиск элементов по индексу любого типы с использование хешей ключей.
Сохранение порядка элементов при этом в контракт словаря не входит.
Может будет сохранён (скорее всего), а может и нет.

Добавлено через 4 минуты
Цитата Сообщение от belalugoci Посмотреть сообщение
только это вероятно ставит крест на использовании словаря.
Если вам нужна быстрая индексация (для подсчёта частот), то словарь без альтернатив.
Возможно даже более оптимальным будет сортированный (по ключам) словарь.

А вот для дальнейшей обработки, если вам не нужен быстрый поиск по ключам, в словаре действительно не много смысла, если не сказать никакго.

В принципе, исходя из такого предположения, в моём варианте с long используется в словаре для количества не просто int, а ССЫЛОЧНЫЙ тип со свойствами.
Это позволяет как оптимизировать подсчёт частот, так и упростить дальнейшее применение полученной статистики.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
24.11.2020, 20:51  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
А вот для дальнейшей обработки, если вам не нужен быстрый поиск по ключам, в словаре действительно не много смысла, если не сказать никакго.
то есть после подсчета выгружать в список и продолжать работу в нем?
0
Модератор
Эксперт .NET
 Аватар для Элд Хасп
16166 / 11286 / 2892
Регистрация: 21.04.2018
Сообщений: 33,175
Записей в блоге: 2
24.11.2020, 20:53
Цитата Сообщение от belalugoci Посмотреть сообщение
то есть после подсчета выгружать в список и продолжать работу в нем?
Если вам нужна СОРТИРОВАННАЯ коллекция, то самым оптимальным будет List. Или SortedList.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
25.11.2020, 03:56  [ТС]
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Если вам нужна СОРТИРОВАННАЯ коллекция, то самым оптимальным будет List. Или SortedList.
понимаю, но мне больше нужен индексированный словарь.
0
Эксперт .NET
 Аватар для Usaga
14783 / 9557 / 1366
Регистрация: 21.01.2016
Сообщений: 36,033
25.11.2020, 06:01
Цитата Сообщение от Элд Хасп Посмотреть сообщение
Если вам нужна СОРТИРОВАННАЯ коллекция, то самым оптимальным будет List. Или SortedList.
Есть же SortedDictionary, который тоже словарь, но уже на базе дерева, где порядок ключей всегда определён.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
25.11.2020, 07:19  [ТС]
что-то с компараторами пока всё глухо, набрал еще кучу вариантов по гуглу, но все равно при сравнении что-то неправильно работает, потому что ругается на попытку добавить новый ключ, при этом вариант со string к такой ругани не приводит.

Добавлено через 2 минуты
Цитата Сообщение от Usaga Посмотреть сообщение
Есть же SortedDictionary, который тоже словарь, но уже на базе дерева, где порядок ключей всегда определён.
было
C#
1
                Dictionary<byte[], int> FreqOrdered3 = new Dictionary<byte[], int>(new ByteArrayComparer());
стало
C#
1
                List<KeyValuePair<byte[], int>> FreqPairOrdered3 = new List<KeyValuePair<byte[], int>>();
но тут опять проблема сравнений byte[] и нет возможности указывать компаратор который всё равно не работает )
0
Эксперт .NET
 Аватар для Usaga
14783 / 9557 / 1366
Регистрация: 21.01.2016
Сообщений: 36,033
25.11.2020, 07:54
belalugoci, зачем вы заменили словарь на список? Словарь имеет сложность поиска сильно меньшую, чем список.
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
25.11.2020, 09:24  [ТС]
Цитата Сообщение от Usaga Посмотреть сообщение
зачем вы заменили словарь на список? Словарь имеет сложность поиска сильно меньшую, чем список.
как написал Элд Хасп
В Net насколько знаю даже не гарантируется, что создание словаря в порядке сортировки (это то что вы делает), при последовательном обходе нумератором будет тот же порядок.
Де факто - это скорее всего так.
Но на какой-то стадии реализации может быть нарушено и вы получите непредсказуемый трудноуловимый баг.
Ошибка в одном месте, а её последствия проявятся совершенно в другом.
Мне нужно чтобы сортировка давала гарантированный результат. Я увидел ваше сообщение про SortedDictionary, но пока ничего в ним не делал.

Добавлено через 1 час 0 минут
переделал на SortedDictionary
C#
1
2
3
4
5
var FreqResult = new SortedDictionary<byte[], int>();
var FreqOrdered3 = new SortedDictionary<byte[], int>(Freq3.Where(x => x.Value > 0).OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value));
var FirstKey = FreqOrdered3.FirstOrDefault();
 
FreqResult.Add(FirstKey.Key, FirstKey.Value);
во время выполнения в последней строке ошибка
System.ArgumentException: "По крайней мере в одном объекте должен быть реализован интерфейс IComparable."
это из-за отсутствия компаратора?

Добавлено через 9 минут
Цитата Сообщение от belalugoci Посмотреть сообщение
это из-за отсутствия компаратора?
добавил компаратор, ошибка такая же.
0
Эксперт .NET
 Аватар для Usaga
14783 / 9557 / 1366
Регистрация: 21.01.2016
Сообщений: 36,033
25.11.2020, 09:35
Цитата Сообщение от belalugoci Посмотреть сообщение
это из-за отсутствия компаратора?
Да. Иначе как словарь будет сравнивать массивы байт?

Цитата Сообщение от belalugoci Посмотреть сообщение
добавил компаратор, ошибка такая же.
Какой, куда и как?
0
 Аватар для belalugoci
475 / 294 / 29
Регистрация: 01.06.2018
Сообщений: 3,676
25.11.2020, 10:00  [ТС]
ошибка не такая, я в один из трех объявлений не добавил компаратор
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public class ByteArrayComparer : IEqualityComparer<byte[]>
    {
        const uint FnvPrime32 = 16777619;
        const uint FnvOffset32 = 2166136261;
 
        public bool Equals(byte[] x, byte[] y)
        {
            if (x.Length != y.Length)
                return false;
 
            for (int i = 0; i < x.Length; ++i)
                if (x[i] != y[i])
                    return false;
 
            return true;
        }
 
        public int GetHashCode(byte[] obj)
        {
            uint hash = FnvOffset32;
 
            for (int i = 0; i < obj.Length; i++)
            {
                hash ^= (uint)obj[i].GetHashCode();
                hash *= FnvPrime32;
            }
 
            return unchecked((int)hash);
        }
    }
 
var FreqResult = new SortedDictionary<byte[], int>(new ByteArrayComparer());
var FreqOrdered3 = new SortedDictionary<byte[], int>(Freq3.Where(x => x.Value > 0).OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value, new ByteArrayComparer()));
var FirstKey = FreqOrdered3.FirstOrDefault();
FreqResult.Add(FirstKey.Key, FirstKey.Value);
var FreqResult = new SortedDictionary<byte[], int>(new ByteArrayComparer());
Ошибка CS1503 Аргумент 1: не удается преобразовать из "Words.ByteArrayComparer" в "System.Collections.Generic.IDictionary<byte[], int>"
0
Эксперт .NET
 Аватар для Usaga
14783 / 9557 / 1366
Регистрация: 21.01.2016
Сообщений: 36,033
25.11.2020, 10:06
belalugoci, посмотрите документацию на SortedDictionary. Конструктор этого класса принимает IComparer<T>, а вы в него что пытаетесь передать?

Добавлено через 1 минуту
Цитата Сообщение от belalugoci Посмотреть сообщение
Freq3.Where(x => x.Value > 0).OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value, new ByteArrayComparer()
А тут что происходит? Зачем сортировка перед добавлением в хеш-таблицу, которая эту сортировку не сохраняет? И зачем вообще добавлять в Dictionary, чтобы тут же перенести данные в SortedDictionary? Может сразу нужно в SortedDictionary данные вставлять не делая бесполезную копию?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
25.11.2020, 10:06

Невозможно очистить StringBuilder после исключения OutOfMemoryException
Привет всем. Делаю небольшой текстовый редактор и натолкнулся на следующую проблему: при загрузке достаточно большого файла через...

StringBuilder: Строка не корректно создается, перемешиваются все поля
приложение клиент-сервер. клиент создает запрос на сервер, сервер с помощью StringBuilder из словаря формирует строку для передачи по...

В чем разница между StringWriter и StringBuilder и когда нужно использовать эти классы?
Подскажите, пожалуйста, в чем разница между StringWriter и StringBuilder и когда нужно использовать эти классы? То, что есть в этих...

Несколько вопросов по примеру из книги по C# про строки (string и String.Format)
Я нашел такой пример кода: private void butFormatStr_Click(object sender, EventArgs e { string AutoName; AutoName =...

Реализация интерфейса IEqualityComparer для HashSet<Dictionary<string, string>>
Код выдает &quot;2&quot;, что, логично, а хотелось бы, чтобы выдавал &quot;1&quot;, так как содержание словарей одинаковое. Подскажите, пожалуйста,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
80
Ответ Создать тему
Новые блоги и статьи
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .
Программа опроса у.з. расходомера SLS-720F
Argus19 02.09.2026
Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0.
Maks 31.08.2026
При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм
anaschu 30.08.2026
Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .
Оттачиваю умение писать js программы.
russiannick 30.08.2026
Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru