Как создать 1 000 000 потоков ?

Нужно создать очень много потоков, даже больше чем в сабже... Возможно ли это? Известный факт, что например Windows уже начинает глючить на 60...80 К потоках... Как то можно я уж не знаю виртуализировать что ли потоки, чтоб можно было бы создавать их сколько угодно и ничего не тормозило бы?

0

А они должны при этом работать?

1

Сообщение от -THE_MASTER666- Нужно создать очень много потоков, даже больше чем в сабже...

А что - под столом стоит суперкомпьютер с миллионом ядер?

1

мне кажется тебя система пошлет с таким запросом

1

Сообщение от SatanaXIII А они должны при этом работать?

Конечно! Хотя и выполнять они будут достаточно ограниченный ряд примитивных задач

Добавлено через 1 минуту

Сообщение от 0x10 А что - под столом стоит суперкомпьютер с миллионом ядер?

Да в том то и дело, что нет. Но тут же не стоит задачи, чтоб все потоки на разных ядрах работали, задача в том, чтоб они просто асинхронно работали. Может тут подойдёт event-based программирование ...

0

Сообщение от -THE_MASTER666- Конечно! Хотя и выполнять они будут достаточно ограниченный ряд примитивных задач

Прикиньте на бумажке как часто каждый поток сможет провернуть хоть одну свою инструкцию.

1

Каждому потоку нужен отдельный стек. Если мне не изменяет склероз, по умолчанию этот стек - один мегабайт. Возьми калькулятор и посчитай сколько это сожрет памяти. Короче, если нет уже упомянутого суперкомпьютера - не надо дурью маяться.

1

Сообщение от -THE_MASTER666- Да в том то и дело, что нет.

Значит, и не должно быть таких решений. Асинхронная модель должная подойти. Как реализовать - зависит от конкретной решаемой задачи. Если это, например, обработка множества клиентов на сервере - см epoll.

1

-THE_MASTER666-, по теме, предалагаю почитать про такое понятие как "пул потоков"

1

Сообщение от Renji Короче, если нет уже упомянутого суперкомпьютера

У меня его нет, но если понадобится - и такой закажу, бюджет не ограничен http://3dnews.ru/assets/extern... istory.png

Сообщение от aLarman по теме, предалагаю почитать про такое понятие как "пул потоков"

Да я в курсе, что это.

Сообщение от SatanaXIII Прикиньте на бумажке как часто каждый поток сможет провернуть хоть одну свою инструкцию.

Сообщение от 0x10 Значит, и не должно быть таких решений.

Ладно, понял - идею в топку, буду дальше думать.

0

0

Так, хорошо, а может кто - то что - то предложит
Есть набор из множества блочков разного кода С++, который на каждой итерации цикла желательно выполнить параллельно. Для всех блоков есть общая память.

Изначально думал запускать каждый блочок кода в отдельном потоке и чтоб он там всегда вертелся в своём лупе, но тогда загрузка проца всегда будет 100%.

Потом подумал в сторону EVENT - BASED стиля, чтоб потоки создавались и выполнялись по событиям, то есть когда надо выполнить 1000 потоков с разным исполняемым кодом - выполняю их в 1000 разных потоках. Но операция создания потока - очень дорогостоящая и создание даже 1000-и потоков будет занимать относительно много времени...

Может кто подкинет идейку?
То есть что у нас есть:
1. Множество наборов разного кода С++, подгружаемых в главный софт в рантайме при старте (допустим из DLL)
2. Общая память для них.
3. Нужно выполнят выполнять все эти наборы кода паралельно и желательно, чтоб они всё время выполнялись ...

Если б набор кода был одинаков для всех блоков, я б не парился и на CUDA бы сразу перекинул

0

Сообщение от -THE_MASTER666- Но операция создания потока - очень дорогостоящая и создание даже 1000-и потоков будет занимать относительно много времени

К этому и был упомянут пул потоков.

Добавлено через 2 минуты

Сообщение от -THE_MASTER666- Есть набор из множества блочков разного кода С++, который на каждой итерации цикла желательно выполнить параллельно. Для всех блоков есть общая память.

Страшное это дело. Разный код, который выполняется с общими данными...
Если данные только на чтение - все равно. Если предполагается модификация, то начинаются блокировки и прочие радости.

Классика: заводим очередь задач. Помещаем в нее задачи на выполнение. Создаем пул потоков. По мере освобождения потоков извлекаем очередную задачу из очереди и передаем на выполнение.

2

Сообщение от -THE_MASTER666- Нужно выполнят выполнять все эти наборы кода паралельно и желательно, чтоб они всё время выполнялись ...

Параллельно выполняется столько процессов, сколько ядер в процессоре. Все сверх этого - эмуляция вида "миллисекунду выполняли процесс А, тормознули его. Миллисекунду выполняли процесс Б, тормознули его...". В некоторых задачах оно удобно, но что-то мне подсказывает что это не ваш случай.

0

Реальной параллельности при исполнении миллиона потоков, как выше заметил коллега, не будет. Поэтому, грубо говоря, нужно организовать 10 потоков, каждый из которых выполняет по 100 тыщ добрых дел, и при этом дополнительно иммитировать, как будто бы исполнение всех добрых дел прошло параллельно

0

Сообщение от Evg Реальной параллельности при исполнении миллиона потоков, как выше заметил коллега, не будет.

Ну это и уже понятно, по этому я и не стал комментировать выше сказанное.

0