Быстрая альтернатива Dictionary

Ранее уже был разговор о том, что Dictionary не самый быстрый вариант работы со списками, отсюда вопрос - есть ли альтернативное решение с близким функционалом или всё сводится к массивам/спискам и собственной реализации необходимого?

0

Сообщение от belalugoci потому что ключ может быть в 8 символов

Я не вижу это в вашем коде.
А проблема не в словаре, а в том каким образом вы извлекаете слова из текста.
В показанном вами коде слова состоят из одного символа.

0

Сообщение от Элд Хасп C# 1 2 3 if (!Freq.ContainsKey(source.Substring(i, 1))) // Создаётся строка из ОДНОГО символа         Freq.Add(source.Substring(i, 1), 0); // Создаётся второй раз строка из этого же символа     Freq[source.Substring(i, 1)]++; // Создаётся третий раз строка из этого же символа

Об этой части кода я уже написал, что она будет изменена, но это ведь никак не связано с Dictionary.

0

Сообщение от belalugoci чтобы это написать нужно было две страницы обсуждать всё кроме темы XD ребят, вы меня никогда не разочаровываете.

Так по теме вам ответили еще в первых сообщениях, даже ссылки дали на статьи, и даже в прямо здесь все про сложность словарей расписали. У вас еще остались вопросы? Тогда сформулируйте четко, что вам еще осталось непонятно по теме.
Но вы дальше начали жаловаться, что у вас подсчет слов тормозит, вот мы и начали это обсуждать.

0

Сообщение от belalugoci вы предлагаете всегда и всюду писать код таким образом чтобы строки длиной в 1 символ преобразовывать в byte? а код в 2 и более символов обрабатывать как строку? это разумно?

Я не знаю!
Вы скрываете свою задачу, а я не телепат, чтобы догадаться о ней.
Способов оптимизации множество, а вы явно не понимаете где и в чём проблема.
Мы же не первый раз с вами поэтому общаемся.
Сколько было тем где вы так же неверно излагали причину проблем.
И требовалось несколько десятков постов просто для того, чтобы вы соизволили нормально изложить задачу.

То что вы пишите в этой теме, явно не является причиной проблемы.
Вам уже ответили это.
А что бы понять причину - надо видеть код и знать реализуемую вами задачи.
Я же не раз помогал вам в решении проблем.
Так уж обязательно каждую тему начинать с выяснения надо мне знать вашу задачу или нет?
Может хватит?
И просто выложите РЕАЛЬНЫЙ код и объясните какую задачу он решает.
Скорее всего вашу проблему удастся решить, но совсем не так как вы думаете.

0

Сообщение от Элд Хасп Я не вижу это в вашем коде.

Сообщение от Элд Хасп В показанном вами коде слова состоят из одного символа.

а зачем вам видеть код? достаточно того что я об этом пишу регулярно. Ну если считаете что вас коробит наличие там единички, то пусть будет такой вариант:
только это никак не связано с Dictionary. Уже писал ранее, ну хоть убейте, но я не врубаюсь, зачем вам заниматься оптимизацией условного кода.

Сообщение от Элд Хасп А проблема не в словаре, а в том каким образом вы извлекаете слова из текста.

какая проблема?

0

Сообщение от belalugoci Об этой части кода я уже написал, что она будет изменена, но это ведь никак не связано с Dictionary.

Но вы же не показываете часть связанную со словарём.
Как я могу сказать, что надо изменить в том, что вы скрываете?
Что показали - в том и получили решение.

Добавлено через 5 минут

Сообщение от belalugoci только это никак не связано с Dictionary. Уже писал ранее, ну хоть убейте, но я не врубаюсь, зачем вам заниматься оптимизацией условного кода.

Мне не нужно занимать УСЛОВНЫМ КОДОМ!

И проблема не в словаре - вам уже написали за это несколько раз.
Словарь не может работать медленнее чтения из файла.
А раз у вас работает медленнее, то значит у вас в проблемы в коде не зависимо от использования словаря.


Хотите получить помощь - покажите РЕАЛЬНЫЙ код.
Не нужна вам помощь, а нужны пустые разговоры о том где какие коллекции в теории надо использовать - ради бога.
Получите ещё сотню бесполезных постов.

Вам решать , что вам нужно.

Добавлено через 2 минуты

Сообщение от belalugoci Как я и писал выше, я не против того чтобы строку читать например в Uint64[], но тогда все операции над информацией придется писать самому. Это разумно, если код идёт в продакшн, а на этапе тестирования идей на первом месте простота написания кода.

Тогда вы чего хотите от нас?
Если вам понятен ваш код и вас он устраивает, в чём вопрос?

0

Сообщение от Катафалк Так по теме вам ответили еще в первых сообщениях, даже ссылки дали на статьи, и даже в прямо здесь все про сложность словарей расписали.

человеку спросившему о том что такое таблица умножения вы дали книжку по высшей математике.

Сообщение от Катафалк У вас еще остались вопросы?

Сейчас нет.

Сообщение от Катафалк Тогда сформулируйте четко, что вам еще осталось непонятно по теме.

Мне кажется я весьма понятно говорил о том, что озвученный ответ мне непонятен.

Сообщение от Катафалк Но вы дальше начали жаловаться, что у вас подсчет слов тормозит, вот мы и начали это обсуждать.

Обычное враньё или невнимательность, я такого не говорил, нечто похожее сказал nicolas2008 "...что именно словарь тормозит работу?", причём до этих слов я нигде об этом не говорил вообще.
А обсуждаете вы мои ответу одному конкретному человеку, которые никак не связаны с темой.

Сообщение от Элд Хасп Вы скрываете свою задачу, а я не телепат, чтобы догадаться о ней.

я не скрываю задачу, я не показываю код - это очевидно разные вещи.
задача же написана в начале темы.

Сообщение от Элд Хасп Способов оптимизации множество, а вы явно не понимаете где и в чём проблема.

Я уже понял, что реализация Dictionary сильно зависима от контекста.
Проблема у меня со string и пока мы тут говорили, я уже уменьшил потребление памяти до 146 мб и увеличил производительность до 10 минут перейдя на использование StringBuilder и заменив, там где возможно, множественные обращения к строкам (типа озвученных ранее Substring).

Сообщение от Элд Хасп Сколько было тем где вы так же неверно излагали причину проблем.

нисколько

Сообщение от Элд Хасп И требовалось несколько десятков постов просто для того, чтобы вы соизволили нормально изложить задачу.

В других темах, точно так же как и в этой, я в полном объеме изложил задачу, ответ на которую уже дали, сначала заумно и непонятно, а потом проще и понятнее. А вы, как и в паре тем ранее - заняты решением проблем, которые придумали вы, а не я.

Сообщение от Элд Хасп То что вы пишите в этой теме, явно не является причиной проблемы.

Тема вообще не про проблему.

Сообщение от Элд Хасп Я же не раз помогал вам в решении проблем.

Я искренне и бесконечно вам благодарен, особенно за терпение, но вы легко улетаете с темы и фокусируетесь на несущественном или вами же придуманном.

Сообщение от Элд Хасп Так уж обязательно каждую тему начинать с выяснения надо мне знать вашу задачу или нет? Может хватит?

Тема не связана с задачей, во всяком случае я такой связи не вижу. Хотя позднее уже сказали что выбор или не выбор Dictionary как раз контекстно зависим. Собственно тема на этом и закрывается.

Сообщение от Элд Хасп И просто выложите РЕАЛЬНЫЙ код и объясните какую задачу он решает.

я и код уже выложил и описал что там делается. Выкладывать всё приложение я не стану, оно не имеет отношение к обсуждаемой теме.

Сообщение от Элд Хасп Скорее всего вашу проблему удастся решить, но совсем не так как вы думаете.

Не сомневаюсь что вы можете написать всё приложение иначе и лучше, но вопрос не в этом.

Добавлено через 10 минут

Сообщение от Элд Хасп Но вы же не показываете часть связанную со словарём.

Сообщение от Элд Хасп Что показали - в том и получили решение.

код, который я вам показал, был ответом на ваш вопрос, а не моим вопросом к вам.

Сообщение от Элд Хасп Мне не нужно занимать УСЛОВНЫМ КОДОМ!

это был ответ на вопрос, я не вижу оснований публиковать всю программу ради этого.

Сообщение от Элд Хасп И проблема не в словаре - вам уже написали за это несколько раз.

Какая проблема-то?

Сообщение от Элд Хасп Словарь не может работать медленнее чтения из файла.

А кто-то об этом говорит?
Ну и для справки - думаю скорость зависит не от факта файл/словарь, а от кода.

Сообщение от Элд Хасп А раз у вас работает медленнее

Где?

Сообщение от Элд Хасп то значит у вас в проблемы в коде

Уверен что проблемы в коде есть, только я нигде это не обсуждаю.

Сообщение от Элд Хасп Хотите получить помощь - покажите РЕАЛЬНЫЙ код.

Реальный код чего? Объявления Dictionary и его заполнения? Я вам это показал.

Сообщение от Элд Хасп Не нужна вам помощь, а нужны пустые разговоры о том где какие коллекции в теории надо использовать - ради бога. Получите ещё сотню бесполезных постов.

А почему это пустые разговоры? И почему кто-то должен говорить пустые слова на такие темы?

Сообщение от Элд Хасп Вам решать , что вам нужно.

Я хочу в океане знаний найти небольшой островок, спросив об этом у, как мне казалось, знающих людей.

Сообщение от Элд Хасп Тогда вы чего хотите от нас? Если вам понятен ваш код и вас он устраивает, в чём вопрос?

Если вам непонятна тема, то тогда - ни в чем.

0

https://github.com/dotnet/core... arySlim.cs вот кстати экспериментальная альтернативная реализация словаря, тут даже метод GetOrAddValueRef есть...

1

Сообщение от Someone007 Потому что вы код актуальный не предоставляете

потому что он не нужен в этой теме

Сообщение от Someone007 Поэтому и оптимизируем то, что есть...

Тема про оптимизацию?

0

Сообщение от belalugoci какова цель тестирования?

Пытался найти оптимальный вариант решения вашей задачи, не сильно отходя от ваших структур данных.

0

Сообщение от belalugoci потому что он не нужен в этой теме

Нужен. Тем более что объяснить нормально вы не можете. Из кода вероятно было бы понятней что вообще нужно...

Сообщение от belalugoci Тема про оптимизацию?

Да. Вы же сами написали что

Сообщение от belalugoci Dictionary не самый быстрый вариант

Т.е. нужна оптимизация по скорости. Вот мы и ищем более быстрый вариант.

0

Сообщение от Someone007 Да. Вы же сами написали что "Dictionary не самый быстрый вариант"

это слова сказанные вами же или вашими же коллегами ранее в других темах, я только обозначил вопрос, на него и нужно отвечать. Если вы не согласны с тем что Dictionary медленный, то вы могли бы это озвучить. Код в этой теме не нужен.

0

Сообщение от belalugoci Если вы не согласны с тем что Dictionary медленный

Думаю что конкретно в вашем случае проблема не в нем...

Сообщение от belalugoci Код в этой теме не нужен.

А чтобы найти в чем конкретно проблема как раз код и нужен...

0

Сообщение от Someone007 Думаю что конкретно в вашем случае проблема не в нем...

нет проблемы

Сообщение от Someone007 А чтобы найти в чем конкретно проблема как раз код и нужен...

когда наступил тот момент, что мы занялись поиском решения проблемы?
что в моей теме говорит о том что проблема вообще существует?
Вы тему читали и ответ найденный и отмеченный мной как решение?

0

belalugoci, а как же проблема с производительностью которую вы сами и поведали?
как вам больше нравится называть эту... ситуёвину?

0

Сообщение от nicolas2008 а как же проблема с производительностью которую вы сами и поведали? как вам больше нравится называть эту... ситуёвину?

я коснулся проблемы парсинга текста в контексте фразы, которую написал Элд Хасп и это было одно предложение в 17-м сообщении в ветке. Каким образом это вдруг могло стать темой?
За время существования темы я много чего уже переписал, скорость работы частей кода (3 сек), где используется Dictionary теряется на общем времени исполнения (6 часов), узким местом остаётся String и StringBulider на операциях Replace. Нужно будет попробовать конвертировать в byte[] и замены делать руками. Но это имеет смысл обсуждать в другой теме, которую создам позже, там будет кусок кода который работает сейчас, там и напишите про мой говнокод, как обычно, а в этой теме это абсолютно не имеет смысла.

0

belalugoci, я кажется нашел проблему, поротестировал на 10 гигах текста, работает пару минут всего.

0

Сообщение от КОП я кажется нашел проблему, поротестировал на 10 гигах текста, работает пару минут всего.

Я тут тему отдельную создал, можете там написать ваши мысли.

0