.NStar (Alpha)

.NStar достиг "серебряного" уровня, а BigList<T> (но не BigBitList)- версии Alpha Vista! Вставка элемента в середину теперь быстрее, чем в списке от Microsoft, а конструирование и добавление диапазона не намного медленнее. (Следует понимать, что этот класс ориентирован на скорость на больших масштабах, порядка миллиардов элементов и миллионов вставок, вставка или добавление 1000 элементов однозначно будут намного медленнее списка от Microsoft или нашего List<T>.) Также протестирована возможность добавлять более 2 миллиардов элементов, на нашем все еще сравнительно мощном компьютере 32 миллиарда элементов добавились за 18 минут 12 секунд, затратив примерно 300 ГБ виртуальной памяти. С момента написания этих строк я объявляю, что первая в истории Red-Star-Soft крупная разработка - не один класс, а целый фреймворк - достигла альфы!
Вот ссылка на скачивание фреймворка для подключения поверх .NET. Вот здесь исходный код BigList<T>. Надеюсь, в этот раз тема о фреймворке будет не пустой.

0

У меня есть своя кунсткамера, где я собираю самые ужасные вещи (записанные в коде), которые попались на моей практике. Я на досуге покопаюсь в вашем репозитории, так как вижу перспективы в поиске новых экспонатов. С документацией это будет сделать проще. Так что спасибо в любом случае, обязательно поделюсь находками (примерами).

Сообщение от Etyuhibosecyu Вы знаете хоть один программный продукт от инди-разработчика, который сразу со старта стал великим и мегапопулярным? Думаю, нет, все разработчики, включая тех, кто позже стал хозяевами гигантских корпораций, если они не родились в семье хозяев корпораций или других знаменитостей, начинали с насмешек и непризнания.

Ну, если вас это подбодрит, я не исключаю такой вариант, что в финале вы будете признаны мучеником, как Жардано Бруно, а все критики, включая меня - римской инквизицией. Но пока имеем что имеем. Кто вы - обычный неуч или непризнанный гений - выяснится в финале. Только вот что все эти отрицалы плохо кончали - это известный факт.

0

Сообщение от Etyuhibosecyu вставляется быстрее, не за O(n2), а за O(k*n*logn)

А можно подробнее про O(k*n*logn) пожалуйста.

к - это константа, или она меняется в зависимости от входных данных, но не как n? от чего зависит значение к, от размера данных зависит?

0

Сообщение от Noname2331 к - это константа, или она меняется с отличающейся от n скоростью? от чего зависит значение к?

Это количество подветок в ветке. Внутри у BigList дерево, в котором это значение задается при конструировании. В идеале чем меньше k, тем вставка быстрее, но на практике при падении ниже определенного порога замедляется из-за того, что аллокация веток тоже не мгновенна. Реально снижать k ниже 32 смысла нет.

0

Сообщение от Etyuhibosecyu В идеале чем меньше k, тем вставка быстрее

Если я правильно помню определение, "О" считает худший вариант данных, то есть самый не идеальный. Так от чего зависит k?

0

Сообщение от Noname2331 Так от чего зависит k?

Еще раз:

Сообщение от Etyuhibosecyu Это количество подветок в ветке.

Сообщение от Etyuhibosecyu задается при конструировании.

0

Сообщение от Etyuhibosecyu задается при конструировании.

Количество подветок при конструировании задается программистом вручную или считается в зависимости от ... ?

0

Сообщение от Noname2331 Количество подветок задается программистом вручную или считается в зависимости от ... ?

Задается вручную в виде показателя степени 2.

0

Сообщение от Etyuhibosecyu Задается вручную в виде показателя степени 2.

Не совсем понял. Ну то есть ваш Big Coc.. Class работает быстро только тогда, когда программист сам подсчитал и предоставил алгоритму удобный коэфициент для входных данных? А иначе чёрт его знает сколько он будет работать, никаких гарантий?

0

Сообщение от Noname2331 работает быстро только тогда, когда программист сам подсчитал и предоставил удобный коэфициент для входных данных?

Ну это же реальный мир, а не волшебная сказка - если в одном месте что-то прибавится, то в другом убавится. С маленьким k - быстрые вставки и удаления, с большим - быстрые добавления в конец и обход всех элементов. Все сразу быстрым быть не может, так как закон сохранения (если мы говорим об одном и том же компьютере).

0

Etyuhibosecyu, а как это конечный пользователь софта видит? вот нужно считать каждый месяц бухгалтерию, там какие-то страшные вещи по 100 гигов данных. Я, как программист, подключаю ваш NStarBigList и добавляю в интерфейс программы поле ввода, куда дамы из бухгалтерии будут вводить нужную степень двойки, чтобы программа не зависла?

0

Сообщение от Noname2331 а как это конечный пользователь софта видит?

Разумеется, любые библиотеки и фреймворки для программистов, а не для конечных пользователей софта. Программист должен знать, какие операции его программа чаще всего будет выполнять, ну либо выбирать вариант по умолчанию, если не уверен.

0

Etyuhibosecyu, теперь все понятно, с BigList разобрались. Тут ничего нового, помню ржал, когда читал вашу тему про архиватор, который в 50% случаев может упаковать данные, и даже в 99% распаковать их обратно. И то, если указать верные настройки, которые подходят для конкретно этих данных (вроде картинки он не хотел паковать вообще ) Вы все в этом же направлении продолжаете двигаться.

Ну, с точки зрения философии вы верно подметили - "если в одном месте что-то прибавится, то в другом убавится", божественная суть души человека в том, что он всегда способен находить баланс и короткие пути. Это машина всегда бездумно протаскивает на конвеере биты по правилам заданного ей алгоритма O(n^2), даже когда есть более простые пути и даже если этот конкретный расчет по общим правилам будет стоить кому-то премии.

0

Сообщение от Noname2331 Тут ничего нового, помню ржал, когда читал вашу тему про архиватор, который в 50% может упаковать данные, и даже в 99% распаковать их обратно. И то, если указать верные настройки, которые подходят для конкретно этих данных

А что не так? Большинство алгоритмов так и работают - хорошо в своей области применимости, и несравнимо хуже или вообще не работают за ней. Из общеизвестных коллекций тоже же есть список, хэш-множество, связный список... Никто адекватный же не будет брать список, если нужно, чтобы элементы не повторялись и чаще искать элемент, чем добавлять? Для этого программист и нужен, чтобы понять, какие операции программа будет выполнять чаще всего и выбрать нужный алгоритм под них. Или я что-то путаю?

0

Etyuhibosecyu, если бы вы корректно презентовали своё детище, как инструмент создания "ASIC" (Интегральная схема специального назначения), все было бы ОК. Но вы просто не хотите учиться ничему, а создаете свою вселенную.

"Вставка элемента в середину теперь быстрее, чем в списке от Microsoft" - это заявление подразумевает общую схему для всех задач. Ваш Red Star Soft стремится закрыть собой гигантский Microsoft своим продуктом, переплюнуть оригинальный универсальный List.

Но в целом я ничего против не имею. Никакого ГОСТА для программистов нет и нет юридической ответственности, пока вы не берете ни с кого деньги за это. Развлекайтесь как хотите, мне лично интересно наблюдать со стороны за чем-то необычным

0

Сообщение от Etyuhibosecyu Большинство алгоритмов так и работают - хорошо в своей области применимости, и несравнимо хуже или вообще не работают за ней.

Наверное, мне стоило сделать три коллекции - CommonBigList, FastInsBigList и LowMemoryBigList, тогда было бы более понятно, что это коллекции для разных целей.

Добавлено через 5 минут

Сообщение от Noname2331 если бы вы корректно презентовали своё детище, как инструмент "ASIC" (Интегральная схема специального назначения)

Любой инструмент в большей или меньшей степени специального назначения, панацеи не бывает. И чем назначение "менее специальное", тем инструмент более раздутый и часто не лучше.

0

Сообщение от Etyuhibosecyu Наверное, мне стоило сделать три коллекции - CommonBigList, FastInsBigList и LowMemoryBigList, тогда было бы более понятно, что это коллекции для разных целей.

Вот это здравая мысль Главное, чтобы CommonBigList был быстрее оригинального "серого убогого" List без всяких компромисов, во что я слабо верю.

0

Сообщение от Noname2331 Но вы просто не хотите учиться ничему, а создаете свою вселенную.

Неправда, с удовольствием научусь, откройте мне "страшную тайну". Но, разумеется, не по сотням страниц пустого текста.

Сообщение от Noname2331 Вот это здравая мысль

С иронией или серьезно?

0

Сообщение от Etyuhibosecyu С иронией или серьезно?

Серьезно.

Сообщение от Etyuhibosecyu Неправда, с удовольствием научусь, откройте мне "страшную тайну". Но, разумеется, не по сотням страниц пустого текста.

Уже рекомендовал книгу. Можете не читать разделы про NASM и Paskal, тогда как раз в страниц 100 уложится все в "Азах". Дальше на парадигмы можно перескочить, минуя сети, но там сырой еще том, как я понял.

0

Сообщение от Noname2331 Главное, чтобы CommonBigList был быстрее оригинального "серого убогого" List без всяких компромисов, во что я слабо верю.

Смотря в чем быстрее. Каждый алгоритм, а коллекция - это алгоритм, быстрее других в своей нише (если это не специально для пародии медленный алгоритм).

Сообщение от Noname2331 тогда как раз в страниц 100 уложится все в "Азах".

Как-то я уже не в первом классе, чтобы про азы читать...

0

Сообщение от Etyuhibosecyu а коллекция - это алгоритм

Какой-то пьяный бред начался, мне тут нечего комментировать, эта карта не кроется) В книге, что я порекомендовал, есть глава про алгоритмы.

Сообщение от Etyuhibosecyu Как-то я уже не в первом классе, чтобы про азы читать...

У вас даже в базовой логике (античный Аристотель) какие-то пробелы. И это не мое личное мнение, а мнение толпы, которое вы обязаны уважать и прислушиваться (погуглите "Мудрость толпы").

0