|
|
||||||
Скорость чтения csv с разных носителей21.05.2020, 23:27. Показов 10096. Ответов 148
Метки нет (Все метки)
Добрый день, джентльмены.
На днях набросал простой код поиска нужной строки в CSV-файле, см. под спойлером Кликните здесь для просмотра всего текста
Сегодня протестировал работу на з-х накопителях: HDD WDC WD10EACS-00ZJB0 (1000 ГБ, SATA-II) HDD WDC WD5000AAKX-001CA0 (500 ГБ, 7200 RPM, SATA-III) SSD KINGSTON SV300S37A120G (120 ГБ, SATA-III) В итоге время обработки CSW-файла размером 1ГБ у всех примерно одинаковое, что стало для меня откровением. Я предполагал, что в данном коде узкое место скорость чтения с накопителя. Чем можно объяснить такой результат теста?
0
|
||||||
| 21.05.2020, 23:27 | |
|
Ответы с готовыми решениями:
148
Создание тестов на скорость чтения и скорость записи Так ли важна в реальной жизни скорость записи SSD, или смотреть надо только на скорость чтения, а на запись пофигу |
|
19505 / 10108 / 2463
Регистрация: 30.01.2014
Сообщений: 17,828
|
||
| 27.06.2020, 23:46 | ||
|
0
|
||
|
19505 / 10108 / 2463
Регистрация: 30.01.2014
Сообщений: 17,828
|
|
| 28.06.2020, 00:07 | |
|
bedvit, Чуть получше вариант.
Программа: test.zip Выводы в общем следующие: 1) Функция strstr крайне хорошо оптимизирована в mscrt. 2) VC++ в целом лучше оптимизирует код под платформу Windows. 3) Реализация стандартной библиотеки C++ лучше у MinGW.
0
|
|
|
19505 / 10108 / 2463
Регистрация: 30.01.2014
Сообщений: 17,828
|
|
| 28.06.2020, 00:12 | |
|
0
|
|
|
|
|||
| 28.06.2020, 11:38 [ТС] | |||
|
Но плохо оптимизирована strstr (в MinGW).
На мой взгляд, вообще не оптимизирована. Добавлено через 5 минут И опять же, общее для всех, почему плохо оптимизированы boyer_moore. Условия явно хорошие, что бы показать хороший результат - но нет. Добавлено через 13 минут А сам std::find на VS2017 быстрее чем std::find в MinGW в 3 раза. DrOffset, у вас похожие результаты. Добавлено через 6 минут Итого: на MinGW хорошо реализована std::search, на VS 2017 - std::find, и особенно strstr - в 9-10 раз быстрее ближайших конкурентов. Откуда такая скорость?
0
|
|||
|
19505 / 10108 / 2463
Регистрация: 30.01.2014
Сообщений: 17,828
|
|||||
| 28.06.2020, 11:58 | |||||
|
Вы как-то не очень глубоко поняли мой комментарий.
Плохо сделано только в VC++. Это дало возможность MinGW практически сравняться с ним, даже при худшей оптимизации компилятора.
1
|
|||||
|
|
||||||
| 03.07.2020, 12:25 [ТС] | ||||||
|
По теме: допилил код, убрал копирование в буферы, теперь буфер/ы асинхронно заливаются, по очереди.
Обогнал XLAT на std:: на 20%, там где ранее проигрывал - чтение из кеша. т.е. теперь быстрее во всех вариантах. XLAT, протестируете? Ваш компилятор, возможно, покажет другие скорости, по причине слабой оптимизации strstr, но этим и интересен результат. Кликните здесь для просмотра всего текста
0
|
||||||
| 03.07.2020, 12:25 | |
|
Программа для чтения csv Скорость импорта CSV Bat - файл для чтения только одной строки из файла CSV Как правильно написать скрипт для чтения файла с расширением .csv(Excel) ? Скорость чтения/записи Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Часы электронные
Uhbif79 12.08.2026
Выкладываю программу часов. Программа позволяет:
1. Использовать системное время и дату,
2. Есть возможность вводить время и дату вручную.
3. Реализованы 2 будильника: начало и конец рабочего дня. . . .
|
Часы с будильником на основе класса QLCDNumber
Uhbif79 12.08.2026
Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber.
Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .
|
Установка MinGW GCC 16.2 и CMake
8Observer8 10.08.2026
VK Видео:
https:/ / vkvideo. ru/ video-240781534_456239017
YouTube:
eY5-5PyI9NM
Текстовая версия
|
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо
anaschu 10.08.2026
Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать
Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .
|
|
Калькулятор для расчета родства
russiannick 07.08.2026
1. Задача: Создать калькулятор для расчета родства.
Родственных связей существует 8 ступеней, такие как:
p - отец
P - мать
q - муж
Q - жена
b - брат
B - сестра
s - сын
S - дочь
|
Мир по моей воле
kumehtar 07.08.2026
Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире.
Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .
|
Кредитный калькулятор
Maks 05.08.2026
Решение задачи по прикладной информатике средствами 1С.
Задача:
Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .
|
У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35".
kumehtar 04.08.2026
С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
|