Corlib .NStar (Pre-Pre-Alpha) 0.05. Теперь отдельно от нелюбимого многими языка!

Помню, кто-то писал о функциях C# .NStar примерно следующее (неточная цитата): "все это или уже есть в языке, просто вы не в курсе, или лечится подключением библиотеки или банальным написанием функции". Тогда я отреагировал на это высказывание отрицательно, но теперь подумал и решил, что новичкам, может быть, и пригодится язык с богатым фреймворком и низким порогом вхождения, но новички - очень ограниченный круг охвата, а большинству людей трудно переучиваться, поэтому неплохо было бы подключить библиотеку и не изучать новый язык. Так появился проект Corlib .NStar - новая библиотека, объединяющая BigCollections и стандартную библиотеку C# .NStar. Ее можно подключить практически к любому не эзотерическому/игрушечному языку и не слишком упрощенному конструктору, вот только желательно было бы протестировать на предмет доступности функций в неуправляемых языках - есть подозрение, что они "прячутся", хотя я навесил на них DllExport. Изменений много, подробнее читайте на нашей новой странице GitHub. Некоторые изменения из стандартной библиотеки C# .NStar в разработке, например, замена. А некоторые вряд ли когда-то будут доступны вне C# .NStar по объективным причинам, как, например, escape-последовательности \! и \q. Так что библиотека явно менее функциональна, чем полноценный язык. Но не намного. Тестируйте, дорогу осиливает идущий!

0

Сообщение от OwenGlendower не только время исполнения, но и количество используемой памяти. А то 3 Гб или 80 Мб на операции где стандартный код тратит меньше 1 Кб это перебор.

Неужели еще не всем, за исключением разве что абсолютных новичков, известно, что любой быстрый алгоритм потребляет много памяти? Например, написанная мной сортировка (NSort()) работает в десятки раз быстрее Enumerable.OrderBy(), но потребляемая массивом память в процессе ее работы утраивается.
И вот еще один результат оптимизации: я провел стресс-тест G.HashSet<T> и свежего ParallelHashSet<T> на 50М элементов типа ulong, среди которых порядка 65к уникальных (скорее всего, не ровно 65536), и вот результаты: G.HashSet<T> - 13813 мс, ParallelHashSet<T> - 6911 мс. Кто-то еще будет заявлять, что

Сообщение от Usaga Оставьте оптимизацию LINQ майкрософту. У них двадцать лет подряд это лучше получалось.

? Ну, где там двадцать лет подряд лучше получалось? А факты утверждают обратное...

0

Etyuhibosecyu, вы забываете что важен баланс скорости и памяти. Особенно в рамках .NET где нужно учитывать затраты на сборку мусора. Поэтому если библиотечное решение потребляет 768 байтов, а ваше 3 Гб и при этом работает медленнее, то оно никуда не годится. Тоже самое для случая когда код работает в два раза быстрее, но тратит на 5 порядков больше памяти. Все это отложенная цена которая неизбежно ухудшит общую производительность. Да и в целом ваше утверждение что "любой быстрый алгоритм потребляет много памяти" вызывает сомнение. Достаточно посмотреть на список алгоритмов сортировки. Там видно что алгоритмы с одинаковой временной сложностью имеют разную сложность по памяти.

Сообщение от Etyuhibosecyu А факты утверждают обратное...

Вы занимаетесь подгонкой фактов выбирая удобные для себя сценарии.

1

Сообщение от OwenGlendower Вы занимаетесь подгонкой фактов выбирая удобные для себя сценарии.

Ну разумеется, если выбрать какой-то исключительный сценарий, то можно достичь обратных результатов, но мои сценарии как раз плюс-минус средние (конкретно в последнем случае). Если уникальных элементов два-три, то сравнение нерепрезентативно, и если уникальные почти все, то это тоже вырожденный случай. А 65к против 50М - я считаю, близко к среднему.

0

Сообщение от Etyuhibosecyu известно, что любой быстрый алгоритм потребляет много памяти?

Первый раз такое слышу. И это выходит оправдание выделения в плюсовом коде на каждый чих новой памяти?

0

Сообщение от Etyuhibosecyu ? Ну, где там двадцать лет подряд лучше получалось? А факты утверждают обратное...

Где эти факты? Вы за факты свои бенчмарки выдать решили? Так мы же все до единого ваши бенчмарки разобрали уже и увидели, что они или медленнее или жрут память как не в себя.

Сообщение от Etyuhibosecyu я провел стресс-тест G.HashSet<T> и свежего ParallelHashSet<T>

Это мы тоже разобрали, что это некорректный подход. После чего вы бомбанули какой-то ахинеей и с темы спрыгнули.

0

Сообщение от Etyuhibosecyu Неужели еще не всем, за исключением разве что абсолютных новичков, известно, что любой быстрый алгоритм потребляет много памяти? Например, написанная мной сортировка (NSort()) работает в десятки раз быстрее Enumerable.OrderBy(), но потребляемая массивом память в процессе ее работы утраивается.

полная чушь.
чем больше памяти мы жрем, тем чаще и активнее ее нужно высвобождать.
что ее высвобождает в .net?
очевидно, что GC.
а теперь представим, как ваш код будет работать в условиях виртуальной машины, на хосте которой крутится еще пара десятков приложений.
а если учесть, что ты еще там что-то на с++ наговнокодил с прямым доступом в память - это все еще будет течь по памяти как не в себя.
тут кто-то скрин привел, где твой алгоритм жрет 3ГБ (!!!) памяти, это вообще смертельная шняга.
представь себе какое-нибудь типовое решение для маркетплейса, где нужно отфильтровать несколько десятков тысяч товаров в несколько сотен потоков.
никакой памяти не хватит на твою так называемую оптимизацию.

0

Etyuhibosecyu, сортировка обычно не требует дополнительной памяти, делается по месту - перестановками (в C++ - перемещениями)

0

Сообщение от Lethorn чем больше памяти мы жрем, тем чаще и активнее ее нужно высвобождать.

Тут есть ещё момент в том, что ТС, судя по всему, слыхам не слыхивал о многопоточных приложениях, где могут обрабатываться запросы от разных пользователей. А такое выжирание памяти приведёт к дикой фрагментации памяти и быстрому наступлению OutOfMemoryException при на порядки меньшем количестве потоков, чем могло бы.

Но что тут поделаешь, кругозор ТСа ограничен его маленькой песочницей на полудохлом компе, где он героически воюет с проблемами, которые сам же и придумывает...

1

Сообщение от Usaga Тут есть ещё момент в том, что ТС, судя по всему, слыхам не слыхивал о многопоточных приложениях, где могут обрабатываться запросы от разных пользователей. А такое выжирание памяти приведёт к дикой фрагментации памяти и быстрому наступлению OutOfMemoryException при на порядки меньшем количестве потоков, чем могло бы. Но что тут поделаешь, кругозор ТСа ограничен его маленькой песочницей на полудохлом компе, где он героически воюет с проблемами, которые сам же и придумывает...

дак мало того, даже один юзер может в несколько потоков что-то фильтровать/сортировать или банально получать из БД.
мало того, это может делать даже не юзер, а какая-нибудь джоба по расписанию).
короче, жду когда тс начнет явно дергать сборщик мусора.

0

А что там с Lineedge? Её собою затмил новый NIH в лице недооптимизированного LINQ?

0

Etyuhibosecyu, а с поиском работы как дела?

0

Вставлю свои 5 копеек.

Темы Etyuhibosecyu всегда читаются на одном дыхании - не в последнюю очередь благодаря комментаторам. В его профиле описана конфигурация компьютера, мне бросились в глаза 2 строчки: "8 ГБ ОЗУ (+28 ГБ подкачки)" и "Windows 10 Pro (KMSAutoNet)". Тут два варианта - либо непризнанный гений, либо...пусть дальше пишет. Интересная же переписка.

А вообще плохо, что забрасывает свои проекты. Лучший способ доказать свою правоту это дойти до конца. А если сходишь с середины дистанции, то вне зависимости от причины (разве что совсем объективной) ты проиграл.

0

Так ему никто и не запрещает писать. Пускай пишет. Толку с этого, конечно, нуль. Но ему нравится, он себя мнит Программистом. И ладно)

0

Сообщение от Usaga А что там с Lineedge?

Уже активно занимаюсь ею.

Сообщение от Reglage мне бросились в глаза 2 строчки:

А что тут такого? Подкачка для Unreal Engine, а активатор, чтобы пользоваться самой популярной операционной системой для компьютеров в мире (Android не знаю, популярнее или нет, но для компьютеров точно альтернатив Windows 10 нет, Windows 11 кроме того, что мне недоступна, так пока что и малопопулярна).

Сообщение от Reglage А вообще плохо, что забрасывает свои проекты. Лучший способ доказать свою правоту это дойти до конца.

С 31 декабря 2020 года, когда начал Lineedge, я еще ни один проект не забросил, кроме тех, в которых несколько строк.

0

Сообщение от Etyuhibosecyu А что тут такого?

Это значит, что машина не подходит для того, для чего она используется.

Сообщение от Etyuhibosecyu а активатор, чтобы пользоваться самой популярной операционной системой для компьютеров в мире

А купить?

0

Сообщение от Usaga А купить?

И смысл выбрасывать деньги, если можно пользоваться бесплатно?

0

Сообщение от Etyuhibosecyu С 31 декабря 2020 года, когда начал Lineedge, я еще ни один проект не забросил, кроме тех, в которых несколько строк.

А жаль. Лучше бы забросили и потратили время на поиск работы и получение реального опыта. Уже бы нормальным крепким джуном стали, за почти 2 года то.

1

Сообщение от Etyuhibosecyu И смысл выбрасывать деньги, если можно пользоваться бесплатно?

также ты ответишь тем юзерам, что спиратят твои поделки, не заплатив тебе?

0

Сообщение от Welemir1 также ты ответишь тем юзерам, что спиратят твои поделки, не заплатив тебе?

.NStar и все его языки и библиотеки бесплатны. А MMORPG спиратить нельзя.

0

Сообщение от Etyuhibosecyu И смысл выбрасывать деньги, если можно пользоваться бесплатно?

Ты и в магазине так делаешь? Смысл покупать, когда можно утащить с прилавка.

Сообщение от Etyuhibosecyu А MMORPG спиратить нельзя.

Пиратские сервера WoW и Линейки обратное тому доказательство.

Сообщение от Etyuhibosecyu .NStar и все его языки и библиотеки бесплатны.

И не нужны никому.

0