Можно ли использовать несколько потоков для обработки файла

Доброго времени суток.
У меня такая вот ситуация, есть код который читает данные из txt файлы и выполняется. Это занимает очень много времени и грузит систему всего на 12%. Есть вариант, разделить все на 8 частей и одновременно запустить 8 программ.
Прочитал про многопоточность и подумал вместо того чтоб 8 раз код запускать сделать 8 потоков, но так как в программировании я не профи. Есть пара вопросов.
1. Загрузит ли это систему на все 100%?
2. Если я обьявляю все переменные глобально, до создания потоков, при расчетах получается одна переменная существует в 8 потоках, я немного не понимаю, в каждом потоке она будет иметь свое значение? Значения путаться не будут?

0

выложи код пожалуйста

0

вам синхронизировать нужно потоки, чтобы они не путались там с переменными вашими. Систему это на 100% загрузить не сможет никак)

0

Код очень большой, тысячи строк, много вычислений. Нет смысла выкладывать.
Во время работы синхронизировать уже нечего будет. Между потоками ничего общего быть не может. В каждом потоке свои данные, и читать они txt файлы поразному будут.
Я просто думал, что можно в самом начале создать потоки, а далее чтоб этот код выполнялся в нескольких разных потоках не зависимо друг от друга.
Просто не знаю идти в этом направлении или нет, по идее можно просто параллельно 8 раз код запустить (пробовал, работает отлично, проц на 98% работает, память на 50%, скорость не падает), но хочется чтоб все было по человечески, да и исправления тогда удобней будет вносить.

0

Сообщение от xxxspeed Нет смысла выкладывать.

Тогда, по большому счету, и обсуждать что-то нет смысла - будут лишь догадки и предположения (а предположение, как известно, - мать всех факапов).

Сообщение от xxxspeed Во время работы синхронизировать уже нечего будет. Между потоками ничего общего быть не может.

Так вы же выше написали:

Сообщение от xxxspeed Если я обьявляю все переменные глобально, до создания потоков, при расчетах получается одна переменная существует в 8 потоках

Это немного противоречит сказанному.

Сообщение от xxxspeed Я просто думал, что можно в самом начале создать потоки, а далее чтоб этот код выполнялся в нескольких разных потоках не зависимо друг от друга.

Конечно можно.
Единственная проблема, которая может возникнуть при работе с потоками - это общие ресурсы. То есть одни и те же объекты, которые используются и (главное!) изменяются в разных потоках. Если имеется такой сценарий, то необходима синхронизация. Если такой ситуации нет, то переживать вам не о чем - потоки между собой пересекаться не будут, потому любые излишние нагрузки на проц и память - это уже вопрос эффективности конкретного алгоритма.

0

Сообщение от kolorotur Сообщение от xxxspeed Нет смысла выкладывать. Тогда, по большому счету, и обсуждать что-то нет смысла - будут лишь догадки и предположения (а предположение, как известно, - мать всех факапов).

Я думаю если я выложу 8674 строчки кода, никто не будет в них копаться

Добавлено через 4 минуты

Сообщение от xxxspeed 1. Загрузит ли это систему на все 100%? 2. Если я обьявляю все переменные глобально, до создания потоков, при расчетах получается одна переменная существует в 8 потоках, я немного не понимаю, в каждом потоке она будет иметь свое значение? Значения путаться не будут?

Я в здесь не просил исправить мне код, я лишь хотел получить ответ на эти 2 вопроса.

Добавлено через 1 минуту
Если нужен код, я подумаю тогда как сократить его до минимума и задам вопрос, как разделить его на потоки.
Спасибо.

0

тогда по двум вопросам еще раз.

Сообщение от xxxspeed 1. Загрузит ли это систему на все 100%?

у тебя цель - загрузить систему на 100%? это можно сделать и в одном потоке. если вопрос в том, может ли многопоточность увеличить производительность выполнения задачи - да, сможет, хотя это зависит от характера задачи. при определенных обстоятельствах может и понизить.

Сообщение от xxxspeed ...получается одна переменная существует в 8 потоках, я немного не понимаю, в каждом потоке она будет иметь свое значение? Значения путаться не будут?

переменная не "существует в потоке". ты путаешь поток с чем-то другим.
приведу тебе пример потока. ты пришел в супермаркт со списком, взял тележку и начинаешь выполнять алгоритм:

0. выбрать первое незачеркнутое из списка и зачеркнуть.
1. пойти найти на полках. если нашел - положить в тележку.
2. гоуту 0.

это - однопоточный режим, поток - это ты, единолично выполняющий алгоритм и безраздельно пользующийся ресурсами (список, карандаш, тележка).

а теперь - многопоточность. список прикреплен к тележке, и вас, пришедших за покупками - несколько, и вы друг с другом не общаетесь. ты пришел, прочитал "водка", пошел искать. твой кореш подошел одновременно с тобой, тоже прочитал "водка" и тоже вычеркнул и пошел искать... требуется синхронизация. например, имеется один карандаш, и только имея в руке карандаш, можно получить доступ к списку. тогда алгоритм будет следующий:

-1. взять карандаш (синхронизационный объект). если занят - дождаться пока освободится.
0. выбрать первое незачеркнутое из списка и зачеркнуть.
0.5. освободить карандаш.
1. пойти найти на полках. если нашел - положить в тележку.
2. гоуту -1.

потоки - это ты и твои кореша в данном примере. но, заметь, ничто не "принадлежит потокам": ни карандаш, ни список, ни тележка. так и с твоей глобальной переменной.

0

Сообщение от novi4ok приведу тебе пример потока. ты пришел в супермаркт со списком, взял тележку и начинаешь выполнять алгоритм: 0. выбрать первое незачеркнутое из списка и зачеркнуть. 1. пойти найти на полках. если нашел - положить в тележку. 2. гоуту 0. а теперь - многопоточность. список прикреплен к тележке, и вас, пришедших за покупками - несколько, и вы друг с другом не общаетесь. ты пришел, прочитал "водка", пошел искать. твой кореш подошел одновременно с тобой, тоже прочитал "водка" и тоже вычеркнул и пошел искать... требуется синхронизация. например, имеется один карандаш, и только имея в руке карандаш, можно получить доступ к списку. тогда алгоритм будет следующий: -1. взять карандаш (синхронизационный объект). если занят - дождаться пока освободится. 0. выбрать первое незачеркнутое из списка и зачеркнуть. 0.5. освободить карандаш. 1. пойти найти на полках. если нашел - положить в тележку. 2. гоуту -1.

Спасибо, хороший пример.
Если сравнивать с супермаркетом, то есть типа как общие txt файлы - супермаркет (типа как IKEA, один такой длинный извилистый коридор, где чтоб дойти до кассы надо пройти весь магазин по порядку), а потоки люди, которые все выполняют один и тот же код. Но у каждого свой кошелек, тележка, список и т.п. Но тележка, кошелек, список и т.п. (а в моем случае еще сотня всяких вещей) это глобальные переменные, только в каждом конкретном случае они заполняются по разному, в каждой тележке лежит разный товар, в каждом кошельке разные суммы денег... И время которое затратит каждый человек в магазине разное. Общее только то, что они все одновремеено в супермаркет вошли. Далее между ними ничего общего нет, кто то быстро все пройдет, кто то медленно. В конце просто каждый пройдет через кассу и пробъет чек (сохранит свой результат в своем txt файле).

Сообщение от novi4ok у тебя цель - загрузить систему на 100%? это можно сделать и в одном потоке. если вопрос в том, может ли многопоточность увеличить производительность выполнения задачи - да, сможет, хотя это зависит от характера задачи. при определенных обстоятельствах может и понизить.

Так вот моя цель увеличить производительность, а соответственно и загрузку компа.

Так вот, сейчас у меня получается, что в одном супермаркете одновременно ходит один человек, или же второй вариант, я строю несколько супермаркетов и в каждом ходит один человек. Конкретно в моем случае строительство еще 7 супермаркетов увеличивает производительность в 8 раз и соответственно загрузку компа до 100%, при этом скорость не снижается.

Но я склоняюсь к мнению, что это не правильное решение проблемы. И есть другой выход. Но так как я не профи в этом, я спрашиваю ВАС, тех кто во всем этом спец, как мне поступить.

0