BigList<T> и BigBitList достигли альфы, что дальше?

Этой ночью, 13 января 2025 в 23:15, родилась моя мечта, вынашиваемая ЧЕТЫРЕ С ПОЛОВИНОЙ ГОДА!!! 19 июня 2020 в 18:17 была первый раз создана библиотека BigCollections, на тот момент в составе проекта BorNet, который, вероятно, очень не скоро будет реализован, если вообще когда-либо. В ходе работы над библиотекой она сначала стала самостоятельным проектом, а затем несколько раз переименовывалась, практически потеряв связь со своими "корнями": OptimizedLinq, RedStarLinq, Corlib .NStar (с пробелом), и наконец, Corlib.NStar (без пробела). Библиотека обрастала новыми и новыми классами и методами, но именно большие коллекции все это время не удавалось довести хотя бы до альфы. Этой ночью же мне это удалось (см. также здесь и здесь). Большой список бит успешно прошел проверку на случайное копирование, на все типы конструирования, до которых я смог догадаться, и на число элементов больше int.MaxValue (и даже больше uint.MaxValue). Можете меня поздравить.
Это все же профильная тема, а не треп, поэтому возникает вопрос: что делать с этими большими списками дальше? Как довести их до беты? Как увеличить их производительность, учитывая, что создание 1000 списков по 4000 элементов занимает на высокопроизводительном ядре Intel Core i9 (4.9 ГГц) почти три минуты? Как сделать, чтобы вероятность использования этих коллекций кем-либо из "мимокрокодилов" не стремилась к нулю? Возможно, этим коллекциям нужно такое же богатство методов, как основному BaseList<T, TCertain> в Corlib.NStar, или свой набор экстентов? Прошу ответить серьезно.

0

0

Сообщение от Etyuhibosecyu Класс еще очень сырой, кое-как работает только получение диапазона, добавление и удаление.

Да это как раз пережить ещё можно. А вот MpzT 100% нужно выкинуть няфиг.

Сообщение от John Prick Сайт у ТС, кстати, не открывается

гитхаб? вроде живой, а чего не скажешь про провайдеров.

0

0

0

А какие практические задачи это решает?

Просто каждый раз, когда я сталкивался с требованием максимально упоротой оптимизации и необходимостью держать сотни гигабайт информации в памяти, на выходе получались очень узкоспециализированные решения/алгоритмы, заточенные под конкретные данные и условия задачи.

И всевозможные стандартные обвязки сразу же отпадали, т.е. хранить коллекцию объектов в виде списка/массива ссылок - так себе вариант, т.к. каждый указатель это минимум 4 байта, а 4 байта помноженные хотя бы на на 2млрд элементов - это уже перерасход 8ГБ памяти чисто под ссылки.

И даже обычный шарповский массив тоже оказывался не очень хорош, т.к. он, как минимум, умеет 'IndexOutOfRangeException', а значит при каждом обращении по индексу тратит время на соответствующую проверку, а потому какая-нибудь самописная unsafe-реализация поверх куска/кусков памяти, получается быстрее как минимум из-за отсутствия этой самой проверки.

1

Сообщение от John Prick The webpage at https://red-star-soft.com/ might be temporarily down or it may have moved to a new web address.

Вообще-то пока что сайт на временном домене https://red-star-soft-temp.site . У основного проблемы с хостинг-провайдером.

0

0

Обновил библиотеку, теперь "пустой" метод группировки (без параметров, если вызывать как экстент) запрещен, взамен я покрыл unit-тестами методы FrequencyTable(), которые именно что считают количество совпадений, кроме того, убрал конструктор списка бит из нетипизированного IEnumerable и подписал все ArgumentException, так лучше?

0

Сообщение от Etyuhibosecyu чего не знает программист, работающий с алгоритмами 16 лет, а с Шарпом более 6 лет?

ну я с алгоритмами работаю 36 лет, а с C# лет 10, но это абсолютно никак не повлияло ни на качество моего кода ни на мои знания по алгоритмам и C#, так что года - это про старость, а не про квалификацию.

Сообщение от Etyuhibosecyu у меня нет опыта работы со связными списками, я не знаю их терминологию

рукалицо, первый курс первого семестра непрофильного вуза, списки, очереди, мимо этого в принципе невозможно пройти.

Etyuhibosecyu, мне кажется у вас стратегическая ошибка - делиться с другими вашей работой. Вот я этого делать не люблю, пишу чисто для себя для удовольствия и не приходится никому ничего доказывать (иногда приходится слать подальше, так как все уверены что если у тебя нет github то и говорить с тобой не о чем ))))))

1

Сообщение от belalugoci что если у тебя нет github то и говорить с тобой не о чем

Мне кажется, что это результат недопонимания какого-то.

0

Сообщение от belalugoci мне кажется у вас стратегическая ошибка - делиться с другими вашей работой

Он делится только для того чтобы собрать денюшку, Об этом на его сайте прямым текстом написано, Если проект хороший достаточно на гитхабе спонсорку активировать и не нужно разводить холиваров на несколько страниц, тем более с таким кодом.

0

	Комментарий администратора
	Оффтоп про Git вынесен в отдельную тему.

0