Перебор всех сочетаний в случайном порядке

@not a coder · Регистрация: 08.04.2023

Студворк — интернет-сервис помощи студентам

У меня есть n элементов массива (n порядка 10.000.000), нужно перебрать сочетания этих элементов в случайном порядке (без повторений, соответственно). Например, при n = 4 будут следующие сочетания:
(0, 1)
(0, 2)
(0, 3)
(1, 2)
(1, 3)
(2, 3)

(мне не хватает моих 32 Gb чтобы хранить хотя бы индексы этих пар, в чем и заключается основная проблема при решении этой задачи)

YuS_2 · 08.05.2023, 14:03

Сообщение от not a coder

в чем и заключается основная проблема при решении этой задачи

Увы, это не главная проблема

Комбинаторику изучали?
количество уникальных сочетаний (combinations) C = n!/(m!*(n-m)!)
где n - общее число элементов, m - количество отбираемых элементов из множества.
Посчитайте варианты... рассчитайте время затрачиваемое на перебор... сделайте выводы... самостоятельно

@not a coder · 08.05.2023, 14:47 **[ТС]**

Не совсем корректно сформулировал вопрос, все же нужны не все пары, но некоторое заранее заданное количество, например, не больше 1000, но при этом они должны быть случайны и уникальны. Первое, что приходит в голову - выбрать случайные индексы этих пар, а затем развернуть в пару, как мы могли бы это сделать при маппинге индексов массива в индексы квадратной матрицы: i -> (i // n, i % n)

При больших n делать это алгоритмически на питоне - не целесообразно (а все мы знаем насколько в нем медленные циклы), поэтому было бы хорошо иметь некую пару формул, как в обозначенном примере

Добавлено через 16 минут
В случае с большим n уникальностью думаю можно и пренебречь, поскольку вероятность выбора одинаковых индексов пар стремится к 0, а поскольку обработка получаемых пар автоматизированная (но не автоматическая), не думаю, что имеет смысл находить больше 100.000 пар

YuS_2 · 08.05.2023, 15:04

Сообщение от not a coder

некоторое заранее заданное количество

Python
1
2
3
4
5
6
7
8
9
10
from random import randint
n = 10000000
k = 1000
arrtenmil = [i for i in range(1,n+1)]
res = []
for _ in range(k):
    if not (j := (arrtenmil[randint(0,n-1)],arrtenmil[randint(0,n-1)])) in res:
        res.append(j)
 
print(res[150])

Но это только лишь для случайных пар элементов...

Добавлено через 1 минуту
и да, если количество пар необходимо строго по k, то цикл надо переделать на while и в условия внести длину результата...

@not a coder · 08.05.2023, 15:15 **[ТС]**

Если делать совсем простым способом тогда лучше сделать так:
1. Избавиться от проверки in (поскольку каждая проверка O(n)), а при 100.000 пар получается всего 1-2 повторения
2. Лучше делать пары из индексов, чтобы не копировать значения в памяти (у меня это весьма массивные неизменяемые объекты)

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
from random import randint
 
n = 10000000
k = 100000
 
pairs = list()
for _ in range(k):
    pairs.append((
        randint(0, n - 1),
        randint(0, n - 1),
    ))
 
print(pairs)

YuS_2 · 08.05.2023, 15:24

Сообщение от not a coder

Избавиться от проверки in

получите дубликаты (они возможны)...

Сообщение от not a coder

И почему range(k+1)?

где?

ну, ладно-ладно, сначала был слово... м-м-м, т.е. k+1, но теперь его нет...

В общем, экспериментируйте... направление мысли, вижу поняли...

@not a coder · 08.05.2023, 15:34 **[ТС]**

Хотя этот вариант не учитывает, что не должны встречаться:
1. (v1, v2) и (v2, v1)
2. (v1, v1) или (v2, v2)
Поэтому у него сомнительная ценность

Проблему в п.1. можно решить frozenset'ами, а при п.2 придется генерировать заново

Добавлено через 5 минут
Пока сделал так, а позже может найду вариант поинтереснее:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from random import randint
 
n = 10000000
k = 100000
 
pairs = set()
for _ in range(k):
    while True:
        pair = frozenset((randint(0, n-1), randint(0, n-1)))
        if len(pair) != 1 and pair not in pairs:
            break
    pairs.add(pair)
 
print(pairs)

@not a coder · 08.05.2023, 15:38 **[ТС]**

И таки у меня остался копипаст кода, который был изначально, а в нем было k+1, просто решил и у себя убрать, раз уж поправили =)

YuS_2 · 08.05.2023, 20:19

Сообщение от not a coder

(v1, v2) и (v2, v1)

вероятность мала, но не исключена.

Сообщение от not a coder

при п.2 придется генерировать заново

Сообщение от not a coder

Python
1
2
for _ in range(k):
    while True:

Не так... надо было заменить цикл for:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
from random import randint
 
n = 10000000
k = 100000
 
pairs = set()
while len(pairs) < k:
    pair = frozenset((randint(0, n-1), randint(0, n-1)))
    if len(pair) > 1:
        pairs.add(pair)
 
lpairs = list(map(list, pairs))
print(len(lpairs), '\n', lpairs[150:161])

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6

	Перебор всех сочетаний в случайном порядке 08.05.2023, 13:17. Показов 1126. Ответов 8 Метки комбинаторика (Все метки) У меня есть n элементов массива (n порядка 10.000.000), нужно перебрать сочетания этих элементов в случайном порядке (без повторений, соответственно). Например, при n = 4 будут следующие сочетания: (0, 1) (0, 2) (0, 3) (1, 2) (1, 3) (2, 3) (мне не хватает моих 32 Gb чтобы хранить хотя бы индексы этих пар, в чем и заключается основная проблема при решении этой задачи) 0

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6
	08.05.2023, 14:47 [ТС]
	Не совсем корректно сформулировал вопрос, все же нужны не все пары, но некоторое заранее заданное количество, например, не больше 1000, но при этом они должны быть случайны и уникальны. Первое, что приходит в голову - выбрать случайные индексы этих пар, а затем развернуть в пару, как мы могли бы это сделать при маппинге индексов массива в индексы квадратной матрицы: i -> (i // n, i % n) При больших n делать это алгоритмически на питоне - не целесообразно (а все мы знаем насколько в нем медленные циклы), поэтому было бы хорошо иметь некую пару формул, как в обозначенном примере Добавлено через 16 минут В случае с большим n уникальностью думаю можно и пренебречь, поскольку вероятность выбора одинаковых индексов пар стремится к 0, а поскольку обработка получаемых пар автоматизированная (но не автоматическая), не думаю, что имеет смысл находить больше 100.000 пар 0

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6
	08.05.2023, 15:38 [ТС]
	И таки у меня остался копипаст кода, который был изначально, а в нем было k+1, просто решил и у себя убрать, раз уж поправили =) Миниатюры 0