|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
|
Анализ данных происходит очень долго14.02.2020, 21:11. Показов 1535. Ответов 18
Метки нет (Все метки)
Здравствуйте, данный вопрос связан с оптимизацией вычислений. Есть проект в котором необходимо пиксели картинки перевести в массив точек со значениями цвета. Алгоритм на данную задачу работает исправно с результатом перевода картинки 14000х9000 пикселей в 2гб текстовый файл данных.
> тут возникает первый вопрос нормально ли работать с (сортировать) данными в текстовом формате через обычные текстовые файлы (запись и чтение в них)? После эти данные нужно сравнить с исходной таблицей соответствия. При этом при запуске алгоритма сравнения в тестовом режиме приблизительное время полного завершения вычислений составляет целый месяц непрерывной работы компьютера. Алгорим запускался в Visual Studio 19 в нескомпилированном варианте(по той причине, что нужен лишь работающий образец). соответственно возникают вопросы > будет ли скомпилированное(оформленное в exe) приложение работать быстрее > как можно ускорить сравнение > лучше ли проводить операции в оп памяти > лучше ли использовать дополнительные средства для этого C# используется пока только как механизм обладающий необходимым функционалом, поэтому знаний о нем маловато.
0
|
|
| 14.02.2020, 21:11 | |
|
Ответы с готовыми решениями:
18
Долго запускается и долго завершение виндоус 7 происходит При загрузке данных система очень долго загружается Код для загрузки в Excel базы данных работает очень долго |
|
1524 / 914 / 329
Регистрация: 17.05.2015
Сообщений: 3,438
|
|||||
| 14.02.2020, 21:50 | |||||
|
1
|
|||||
|
2621 / 1632 / 266
Регистрация: 19.02.2010
Сообщений: 4,330
|
|
| 14.02.2020, 23:09 | |
|
1
|
|
|
1152 / 860 / 263
Регистрация: 30.04.2009
Сообщений: 3,603
|
|
| 15.02.2020, 17:25 | |
|
Есть такой формат называется bmp. В нем картинка хранится в виде массива точек со значениями цвета.
Вот с таким форматом надо и работать, а не с текстовым. Плюс надо смотреть на алгоритм, как он реализован, один и тот же алгоритм можно реализовать разными способами отличающимися по производительности в миллионы раз.
1
|
|
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||||
| 18.02.2020, 02:23 [ТС] | ||||
|
0
|
||||
|
215 / 149 / 48
Регистрация: 28.12.2016
Сообщений: 716
|
|
| 18.02.2020, 21:47 | |
|
Xillmera, пробуйте распараллелить процесс и мб подключить доп потоки
1
|
|
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
|
| 19.02.2020, 00:31 | |
|
0
|
|
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||
| 20.02.2020, 05:56 [ТС] | ||
|
(приложенная картинка) вот к примеру цветовое поле, в котором прослеживаются явные зависимости
0
|
||
|
14087 / 9305 / 1348
Регистрация: 21.01.2016
Сообщений: 34,946
|
||
| 20.02.2020, 07:59 | ||
|
0
|
||
|
1152 / 860 / 263
Регистрация: 30.04.2009
Сообщений: 3,603
|
||
| 20.02.2020, 09:09 | ||
|
Может человек пишет систему искуственного интелекта и стремится приблизить образ её мышления к человеческому, а тут вы со своими нравоучениями как работать с числами в ЭВМ.
0
|
||
|
14087 / 9305 / 1348
Регистрация: 21.01.2016
Сообщений: 34,946
|
||
| 20.02.2020, 09:17 | ||
|
Безе перевода чисел в текст вам не понятно, что это за числа, да? int a = 2; для вас тайна за семью печатями, пока вы это в текст не переведёте? Серьёзно. Бред же.Не по теме: nicolas2008, блин, я подумал, что мне ТС ответил. Не сразу понял сарказма)
0
|
||
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||
| 23.02.2020, 18:09 [ТС] | ||
|
Ну а на счет сложения тут встает вопрос можно ли без дополнительных действий считать из файла сразу число.
0
|
||
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
||
| 23.02.2020, 18:18 | ||
|
Чем вызвана необходимость работать именно с текстом, а не с изначальными значениями пикселей?
0
|
||
|
Фрилансер
761 / 458 / 146
Регистрация: 06.01.2017
Сообщений: 4,856
|
||
| 23.02.2020, 18:20 | ||
|
как можно помочь с оптимизацией если вы код не показываете?))
0
|
||
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||||||||
| 23.02.2020, 20:19 [ТС] | ||||||||
|
Однако хоть и все части в некоторой степени вычисляются долго конкретные проблемы вызывает определенная часть. [1_kod] Сам вопрос был по сути на постановку задачи. (Меня больше беспокоит именно сформулированное задание, хотя может я и не прав и стоит задуматься о коде) Правильна ли сформулирована, нет ли критических несоответствий(ошибок) относительно желаемого результата. Может неправильно выбран язык программирования. Я по этой причине присматриваюсь к языку "PYTHON" функция сравнивает кусок информации из строки обрабатываемых данных, проходит полное сравнение с таблицей соответствия. Если найдено, то записывает в новый файл с добавлением некоторых занчений, в противном не записывает. были варианты сначала подготовить исходные данные, от таблицы соответсвия. Т.е взять одно значение из нее и искать по всем исходным данным с записыванием в новый файл. Проделав это со всеми пунктами табл.соотв. получится упорядоченный массив, который можно последовательно пройти одним проходом улавливая только смену значений. PartOfPointToInt() - функция выделяет из строки цифру под номером (при форматировании пробелами) CopyFromToFile() - копирует содержимое файла в другой (эти строки часто повторяются и в других функциях) :: [1_kod] ::
0
|
||||||||
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
||
| 23.02.2020, 20:21 | ||
|
Сразу отпадет проблема гигабайтовых файлов.
1
|
||
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||
| 23.02.2020, 20:26 [ТС] | ||
|
для понимания >
> исходные данные : 40 мил строк > табл соответствия : 100 - 400 строк > время выполнения : по приблизительным расчетам 30 дней Добавлено через 1 минуту
0
|
||
|
1524 / 914 / 329
Регистрация: 17.05.2015
Сообщений: 3,438
|
||
| 23.02.2020, 21:13 | ||
|
Или зимой сарай отапливать Добавлено через 2 минуты Так вы его как 14 февраля запустили, он еще считает? Добавлено через 1 минуту Таким кодом можно сообщения в войну шифровать. Через 30 дней данные уже будут не актуальные
0
|
||
|
3 / 2 / 2
Регистрация: 24.05.2018
Сообщений: 28
|
||||
| 23.02.2020, 23:30 [ТС] | ||||
|
0
|
||||
| 23.02.2020, 23:30 | |
|
Помогаю со студенческими работами здесь
19
Предприятие 1с 8.3 управление торговлей, долго происходит выгрузка SELECT.WHERE.NOT IN – очень долго Очень долго загружается Очень долго загружается ПК Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут.
В век Веб все очень привыкли к дизайну Single-Page-Application .
Быстренько разберем подход "на фреймах".
Мы делаем одну. . .
|