Как правильно поступить для потокобезопасности

@belalugoci · Регистрация: 01.06.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте,

Есть код, обрабатывающий побайтно файл, заранее загруженный в byte[]. Потоки организуются средствами C# через Parallel.ForEach вот таким образом:

C#
1
2
3
4
5
6
7
8
9
Parallel.ForEach(num, ii =>
{
    // много всего тут исполняется
 
    if (max < (end - start))
    {
        Interlocked.Exchange(ref max, end - start);
    }
});

Вопрос 1 - как я понимаю может возникнуть ситуация когда условие if выполнится, в другом потоке max изменится и когда будет исполняться Exchange, то оно по сути испортит данные? Логичнее ли сделать через lock весь if?

Вопрос 2 - как правильно покидать Parallel.ForEach внутри кода, если там не получается использовать break? Я сейчас просто делаю метку к концу и прыгаю туда goto.

@Rius · 19.02.2024, 09:51

Сообщение от belalugoci

C#
1
object balanceLock = new object();

- поле инициализируется где-то один раз, в конструкторе.

А затем много раз используется:

Сообщение от belalugoci

C#
1
lock (balanceLock) { ... }

@belalugoci · 19.02.2024, 09:57 **[ТС]**

Сообщение от Rius

А затем много раз используется

вы же прочитали текст курсивом?

@Rius · 19.02.2024, 10:01

Не хотите слушать -, как сказал Usaga, - пишите как умеете.
А то, что у вас потом не работает, это следствие того, что вы пишите как умеете, а не как правильно.
Мне вас уже лень переубеждать. У вас не работает? Это ваши проблемы, не мои.

@belalugoci · 19.02.2024, 10:18 **[ТС]**

Сообщение от Rius

А то, что у вас потом не работает, это следствие того, что вы пишите как умеете, а не как правильно.

эта тема совсем не об этом. я адекватный вопрос задал в самом начале, потом сделал так как указано в MSDN. Если вы считаете что в MSDN ошибка или я неправильно трактую написанное, то вы можете про это написать, а не заниматься язвительным поучительством.

@Rius · 19.02.2024, 10:25

Вы неправильно понимаете написанное в msdn. Очевидно же, не?

Для одного ресурса один объект блокировки.
Не для каждой попытки блокировки, что чуть более чем бессмысленно, а для одного ресурса.

@Wolfdp · 19.02.2024, 10:41

Не по теме:

Сообщение от belalugoci

хочу напомнить что мы находимся в разделе для новичков

И? запрещено говорить что написана чушь? Или нужно как с пятилетним: ути-пуси, молодец! иди покажи маме!

Я вначале решил что на MSDN действительно как-то невнятно написано, но нет: кто-то читает по диагонали. Рекомендации

При синхронизации доступа потоков к общему ресурсу блокируйте выделенный экземпляр объекта (например, private readonly object balanceLock = new object();) или другой экземпляр, который, скорее всего, не будет использоваться как объект блокировки другими частями кода. Не используйте один и тот же экземпляр объекта блокировки для разных общих ресурсов: это может привести к взаимоблокировке или состязанию при блокировке. В частности, не используйте следующие экземпляры в качестве объектов блокировки:

this, так как он может использоваться вызывающими объектами как блокировка;
Type экземпляры, так как они могут быть получены оператором typeof или отражением.
экземпляры строк, включая строковые литералы, так как они могут быть интернированы.

Удерживайте блокировку в течение максимально короткого времени, чтобы сократить число конфликтов при блокировке.

@belalugoci · 19.02.2024, 12:20 **[ТС]**

Сообщение от Wolfdp

И? запрещено говорить что написана чушь?

не запрещено, но не имеет смысла это писать в качестве аргумента. так как было бы странно чтобы тут вопросы задавали гении.

Сообщение от Rius

Для одного ресурса один объект блокировки.
Не для каждой попытки блокировки, что чуть более чем бессмысленно, а для одного ресурса.

ну их фразы это не очевидно, так как "для разных общих ресурсов" можно понять двояко.
в целом не ясно зачем для lock сделали указание объекта если это формальность, но это вне рамок обсуждения и мне не слишком интересно.

Сообщение от Wolfdp

кто-то читает по диагонали

Когда есть два смысла, то я могу понять это так, как возможно авторы не закладывали (или как вы подумали), а так как у меня слабый контекстный бэкграунд, то я точно буду понимать не так как вы.

Далее, вынес object lockObject = new object(); за рамки лмбда-функции, но ему такое не нравится.

@belalugoci · 19.02.2024, 18:46 **[ТС]**

C#
1
2
3
4
5
6
7
8
9
10
11
object sync = new object();
Parallel.ForEach(i, ii =>
{
    lock (sync)
    {
        if (max < (end - start))
        {
            max = end - start;
        }
    }
});

как ни странно, но на другом ПК он перестал ругаться на вынесенный object за ForEach.
В любом случае по скорости полный провал, в 4.5 раза медленнее чем последовательный код, но потребление ОЗУ 137 мегабайт, непонятно зачем столько ОЗУ.
Ладно, для меня тема исчерпана.

@HF · 19.02.2024, 19:09

Сообщение от belalugoci

В любом случае по скорости полный провал, в 4.5 раза медленнее чем последовательный код,

Ну ещё бы. Блокировка Всех операций при этой операции в любой "параллеле".
Надеюсь теперь поймёте что ThreadLocal как раз тут и нужен.

Ах да... я забыл - "это не поиск максимального значения". Мы пытаемся сделать что-то о чём не знаем. Но упорно пытаемся что-то советовать, насаждая своё понимание нормального программирования.

@belalugoci · 19.02.2024, 20:28 **[ТС]**

Сообщение от HF

Блокировка Всех операций

как я понял блокировка не всех операций, а только последовательное исполнение этого if.

Сообщение от HF

Надеюсь теперь поймёте что ThreadLocal как раз тут и нужен.

я правильно понимаю что все max я должен сложить в некий массив (список), после окончания всех потоков пройтись по всем спискам с повторным поиском среди max действительного значения? Если это так, то это довольно приличный объем данных.
Из примера я правда не понял как им пользоваться и как отдавать данные из лямбды в основную программу.

Сообщение от HF

"это не поиск максимального значения"

вы увидели то, что я вам показал, вопрос связан с изоляцией if, а не с самим кодом. Если у вас стояк на слово max, могу написать

C#
1
2
3
4
5
6
7
8
9
10
11
object sync = new object();
Parallel.ForEach(i, ii =>
{
    lock (sync)
    {
        if (a < (e - s))
        {
            a = e - s;
        }
    }
});

чего вполне достаточно для вопроса про lock.

Сообщение от HF

Мы пытаемся сделать что-то о чём не знаем

Не нужно пытаться, достаточно отвечать на вопрос, если конечно вам есть что сказать. Ну и форум - добровольный, можете вообще ничего не читать и никому не отвечать.

Сообщение от HF

Но упорно пытаемся что-то советовать, насаждая своё понимание нормального программирования

Вместо ответа про lock вы пытаетесь прикрутить какое-то решение к выдуманному if агрясь на слово max и считая, что вы познали дзен.

Задавая вопрос - я хочу получить ответ, а не лекцию о правильном программировании чего-то придуманного вами или нотацию на тему моего нежелания "становиться лучшим в мире программистом". Учите своих жён и детей, а я сам как-то разберусь - учиться мне или нет.

@HF · 20.02.2024, 00:59

Сообщение от belalugoci

как я понял блокировка не всех операций, а только последовательное исполнение этого if.

Разумеется то что внутри lock, то и блокируется. Но раз там сравнения, то и все форы. которые будут этим же заниматься - будут заблокированы постоянно. Щас точная формулировка? Это объяснило дедлоки и падение скорости в 4.5 раза?

Сообщение от belalugoci

Если у вас стояк на слово max, могу написать

Если вы смысла не понимаете, то не у меня стояк на слово "max", а у вас висяк на смысл кода. Переменная max, которая и по названию и по виду определяет максимальное значение... не может быть ничем кроме "максимального значения" в каких-то данных.

Сообщение от belalugoci

Не нужно пытаться, достаточно отвечать на вопрос, если конечно вам есть что сказать. Ну и форум - добровольный, можете вообще ничего не читать и никому не отвечать.

Не нужно пытаться, достаточно читать что советуют, делать и писать что это работает/не работает/не совсем то что нужно.
Тут согласен. Форум добровольный, хочу читаю, хочу пишу. А вы в свою очередь, можете вообще ничего не писать.

Сообщение от belalugoci

Задавая вопрос - я хочу получить ответ, а не лекцию о правильном программировании чего-то придуманного вами или нотацию на тему моего нежелания "становиться лучшим в мире программистом". Учите своих жён и детей, а я сам как-то разберусь - учиться мне или нет.

В больницу так же ходите? "Не учите меня что мне есть и пить. Своих родных учите. А мне только скажите что у меня болит, а я сам как-то разберусь".

@belalugoci · 20.02.2024, 08:17 **[ТС]**

Сообщение от HF

будут заблокированы постоянно

не постоянно, а на этом if

Сообщение от HF

Переменная max, которая и по названию и по виду определяет максимальное значение... не может быть ничем кроме "максимального значения" в каких-то данных

это код который я придумал чтобы был пример в вопросе, поэтому говорю еще раз - вы пытаетесь обсуждать собственные фантазии не имеющие ко мне никакого отношения.

Сообщение от HF

достаточно читать что советуют

80% написанного к "советам" вообще не относится. Всё что писали по теме, кроме ThreadLocal, который я вообще не понимаю как мне поможет, я попробовал ДО создания этой темы. И так как были вопросы, то тему и создал.

Сообщение от HF

В больницу так же ходите?

Почти так. За полтора года прошёл 12 врачей (трое платных) и только один подтвердил то, что я САМ нарыл в интернете. Все остальные в принципе ничего сказать не могли, больше всего отличился терапевт участковый, которая сфинктер Одди пульпировала у меня в солнечном сплетении. Идиотов хватает везде. Так что пример очень в тему.

Итак, возвращаясь к вопросу:

как я понимаю может возникнуть ситуация когда условие if выполнится, в другом потоке max изменится и когда будет исполняться Exchange, то оно по сути испортит данные? Логичнее ли сделать через lock весь if?

Ответ №1

Сообщение от IamRain

Используйте ThreadLocal, а после завершения цикла Parallel.Foreach ищите максимум среди всех ThreadLocal.

Ответ №2

Сообщение от HF

лочить весь блок IF

Ответов два, а сообщений 31 (из них половина вообще к теме не относится), вам не кажется что у кого-то словесный понос?

ThreadLocal не подойдёт, так как это породит необходимость повторного поиска, который тоже нужно будет распараллеливать, что опять породит ThreadLocal и т.д.

Lock сильно тормозит работу кода и жрёт оперативку как не в себя.

Попробую разобраться с реализацией через CompareExchange, так как Exchange работает хорошо, но if остаётся в подвешенном состоянии.

@belalugoci · 25.02.2024, 07:14 **[ТС]**

Такой вопрос - можно ли потокам иметь уникальный номер не связанный с другим потоком, но чтобы он оставался фиксированным на протяжении всего хода выполнения?
Потоки привязаны к ядрам и было бы логично имея номер потока 1 после его окончания работы снова запустить другой поток тоже с номером 1, не пересекаясь. Тогда можно было бы результаты записывать в массив размерности числа ядер а окончательную проверку делать после закрытия всех потоков, даже для 128 ядер это всего 128 элементов массива.

Someone007 · 25.02.2024, 09:13

Сообщение от belalugoci

Lock ... жрёт оперативку как не в себя.

lock не может жрать оперативку...

@Wolfdp · 25.02.2024, 10:21

Сообщение от HF

Надеюсь теперь поймёте что ThreadLocal как раз тут и нужен

Я бы все-таки дождался озвучивания полной задачи. ThreadLocal -- "инкапсулирует" значение внутри потока, а я так понимаю нам таки нужно что-то разбить на несколько вычислительных потоков, и получить в финале результат. Можно конечно и через ThreadLocal, но кажись не с Parallel.ForEach.

belalugoci,
Самое частое решение: дробим все данные на блоки/батчи/группы/подмассивы, и скармливаем эти части отдельным потокам. Результат агрегируем и по заверешнию всех вычислений -- выводим результат из короткого массива. Прирост от многопоточности будет начиная с 1кк значений (и то не факт). Меньше запихивать в многопоток нет смысла.

Пока вы будете озвучивать код и задачу кусками, вам будут накидывать фиг-пойми каких решений. "Универсальное" решение описал выше, но в зависимости от вашей задачи -- может быть куча ньюансов "как лучше".

Опишите входной массив и что с ним нужно сделать. Можно словами, код потом подскажут.

@belalugoci · 25.02.2024, 10:33 **[ТС]**

Сообщение от Someone007

lock не может жрать оперативку...

значит сам parallel.foreach, легче от этого не становится.

Добавлено через 5 минут

Сообщение от Wolfdp

я так понимаю нам таки нужно что-то разбить на несколько вычислительных потоков, и получить в финале результат

а есть другие варианты понимания задачи?

Сообщение от Wolfdp

дробим все данные на блоки/батчи/группы/подмассивы, и скармливаем эти части отдельным потокам

я об этом и написал в последнем комментарии

Сообщение от Wolfdp

Пока вы будете озвучивать код и задачу кусками

я озвучил вполне исчерпывающее описание, если что-то непонятно - спрашивайте.

Сообщение от Wolfdp

Опишите входной массив и что с ним нужно сделать. Можно словами, код потом подскажут

например - английский текст, найти самое длинное слово.

@Wolfdp · 25.02.2024, 12:04

Сообщение от belalugoci

например - английский текст, найти самое длинное слово.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
int batch = 5;
string source = "123 1234 12345678 1234";
var tasks = new List<Task<string>>();
for (var i = 0; i < source.Length; i += batch)
{
    var start = i; //!!!!!
    tasks.Add(Task.Run(() => Max(start)));
}
 
var result = tasks.Select(t => t.Result).OrderByDescending(x => x.Length).First();
Console.WriteLine(result);
 
string Max(int start)
{
    var n = start + batch;
    var max = string.Empty;
    var builder = new StringBuilder();
    char ch;
    for (var i = start; i < n; i++)
    {
        while(i < source.Length && (ch = source[i]) != ' ')
            builder.Append(source[i++]);
        if (max.Length < builder.Length)
            max = builder.ToString();
        builder.Clear();
    }
 
    return max;
}

P.S. если текст грузится из файла -- все єто до одного места. Все равно упретесь в I/O, даже если это будет SSD на 6Гб/с.

@belalugoci · 25.02.2024, 15:03 **[ТС]**

Wolfdp, очень медленно и будет кушать оперативку, идею я понял без примера, возможно смогу прикрутить к своему коду, спасибо. Во всяком случае Parallel.ForEach тут точно не подходит.
Не ясно только зачем ему столько ОЗУ, еще бы это компенсировалось скоростью - можно было бы понять.

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
| Method        | Length | Mean           | Allocated    | Alloc Ratio  |
|-------------- |------- |---------------:|-------------:|-------------:|
| Single        | 1      |       222.3 us |         64 B |         1.00 |
| Parallel      | 1      |       116.8 us |     135671 B |     2,119.86 |
| Wolfdp        | 1      |       664.5 us |    1001371 B |    15,646.42 |
|               |        |                |              |              |
| Single        | 100    |    23,659.6 us |         76 B |         1.00 |
| Parallel      | 100    |    17,113.7 us |    8393449 B |   110,440.12 |
| Wolfdp        | 100    |   184,912.9 us |  101092608 B | 1,330,165.89 |
|               |        |                |              |              |
| Single        | 1000   |   239,193.5 us |        197 B |         1.00 |
| Parallel      | 1000   |   178,039.6 us |  134222920 B |   681,334.62 |
| Wolfdp        | 1000   | 1,878,787.6 us | 1002212416 B | 5,087,372.67 |

@Элд Хасп · 25.02.2024, 21:22

Сообщение от belalugoci

очень медленно и будет кушать оперативку, ....

Ужас как не хотел вмешиваться, но ...

Что за код вы тестируете?
Если вот этот:

Сообщение от belalugoci

C#
1
2
3
4
5
6
7
8
9
10
11
object sync = new object();
Parallel.ForEach(i, ii =>
{
    lock (sync)
    {
        if (a < (e - s))
        {
            a = e - s;
        }
    }
});

То это бессмыслица. И выдаёт бессмысленный результат.
Вернее выдаёт результат, что lock - это не бесплатная операция, что и так очевидно.

Если вот этот:

Сообщение от belalugoci

C#
1
2
3
4
5
6
7
8
Parallel.ForEach(num, ii =>
{
    // много всего тут исполняется
if (max < (end - start))
    {
        Interlocked.Exchange(ref max, end - start);
    }
});

То общий результат зависим от соотношения длительности // много всего тут исполняется, трат на создание запуск отдельных задач, и трат на локировку для аккумуляцию результата.
Так как у нас нет понимания что за код // много всего тут исполняется, то для нас результат вашего теста тоже полная бесмыслица.

А если взять задачу в целом:

Сообщение от belalugoci

Есть код, обрабатывающий побайтно файл

То здесь ещё нужна оценка длительности скачки файла, так как обычно это самая медленная часть исполнения.

@Wolfdp · 25.02.2024, 22:28

belalugoci, на какой длине строки вы проверяли?

Добавлено через 5 минут
А, ещё такой момент -- batch задавили часом не тоже по 5? Выше забыл упомянуть, но нужно чтобы одна группа была большой, т.к. создание/старт каждой группы отъедает время.

Новые блоги и статьи Все статьи Все блоги /
Жара жесть. kumehtar 18.08.2026 Пролетают летом дни Тридцать пять жары в тени. Каждый август год от года Дарит жаркую погоду.	Когда логика программы не спасает от человеческих ошибок Maks 18.08.2026 В последнее время всё чаще и чаще сталкиваюсь с таким явлением, как абсолютная невнимательность (или глупость) пользователей. Проявляется это чаще всего на работе в коллективе. Допустим, человек с. . .	Лето уходит kumehtar 17.08.2026	Мысли в слух kumehtar 17.08.2026 Забавно, насколько сейчас стала доступна информация. Например о магии, духовном развитии, медитациях, и других подобных направлениях, ранее зачастую тайных, передаваемых от учителя к ученику. Хотя. . .
Перемещение строк из ТЧ в другой документ с учетом текущего пробега Maks 17.08.2026 Реализация из решения ниже выполнена на примере нетипового документа "Автозапчасти", с ТЧ "Шины". За основу взят алгоритм отсюда: https:/ / www. cyberforum. ru/ blogs/ 359708/ 10838. html Задача: . . .	Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .

@Rius 13685 / 7865 / 1702 Регистрация: 25.05.2015 Сообщений: 23,884 Записей в блоге: 14
	19.02.2024, 10:01
	Не хотите слушать -, как сказал Usaga, - пишите как умеете. А то, что у вас потом не работает, это следствие того, что вы пишите как умеете, а не как правильно. Мне вас уже лень переубеждать. У вас не работает? Это ваши проблемы, не мои. 0

@Rius 13685 / 7865 / 1702 Регистрация: 25.05.2015 Сообщений: 23,884 Записей в блоге: 14
	19.02.2024, 10:25
	Вы неправильно понимаете написанное в msdn. Очевидно же, не? Для одного ресурса один объект блокировки. Не для каждой попытки блокировки, что чуть более чем бессмысленно, а для одного ресурса. 3

@belalugoci 475 / 294 / 29 Регистрация: 01.06.2018 Сообщений: 3,676
	25.02.2024, 07:14 [ТС]
	Такой вопрос - можно ли потокам иметь уникальный номер не связанный с другим потоком, но чтобы он оставался фиксированным на протяжении всего хода выполнения? Потоки привязаны к ядрам и было бы логично имея номер потока 1 после его окончания работы снова запустить другой поток тоже с номером 1, не пересекаясь. Тогда можно было бы результаты записывать в массив размерности числа ядер а окончательную проверку делать после закрытия всех потоков, даже для 128 ядер это всего 128 элементов массива. 0

@Wolfdp 3790 / 1767 / 371 Регистрация: 15.06.2012 Сообщений: 6,543 Записей в блоге: 3
	25.02.2024, 22:28
	belalugoci, на какой длине строки вы проверяли? Добавлено через 5 минут А, ещё такой момент -- batch задавили часом не тоже по 5? Выше забыл упомянуть, но нужно чтобы одна группа была большой, т.к. создание/старт каждой группы отъедает время. 0