|
383 / 281 / 31
Регистрация: 04.09.2009
Сообщений: 1,225
|
||||||
Почему std::string_view МЕДЛЕННЕЕ, чем std::string?04.06.2016, 20:57. Показов 9950. Ответов 28
Метки нет (Все метки)
Всем привет!
Нужно найти количество уникальных строк в больших текстовых файлах (размером до нескольких гигабайт). Почему в нижеследующем коде результат выполнения со string_view, который не копирует элементы, значительно медленнее, чем в случае сo string?!
0
|
||||||
| 04.06.2016, 20:57 | |
|
Ответы с готовыми решениями:
28
ошибка error: cannot convert 'std::string {aka std::basic_string<char>}' to 'std::string* {aka std::basic_stri
Запрошено преобразование от ‘const std::string*’ к нескалярному типу ‘std::string’ |
|
383 / 281 / 31
Регистрация: 04.09.2009
Сообщений: 1,225
|
|||||||||||||||||
| 07.06.2016, 04:44 [ТС] | |||||||||||||||||
getc_unlocked временами дает худшие результаты, чем просто fread, считывающая файл одним большим блоком.Таки как-то распараллелил я всю эту штуку.
std::string, такой же тест на string_view упорно оставался на пару секунд медленнее. Ну и чертовщина ![]() И вот что интересно: сразу после перезагрузки результат такой как выше. Запускаю браузер, в котором ничего не происходит ресурсоемкого, и производительность падает почти в 2 раза, до 43 секунд (т.е. хуже чем однопоточная версия!). При повторном запуске уже 30 секунд работает. От чего такие скачки? Однопоточная версия хотя бы стабильно ползала. Добавлено через 30 минут А вот и наш победитель на данный момент, сочетание memory mapping и мультипоточной обработки, используя std::string:
Какие будут замечания к коду по параллельной обработке ? Сам вижу, что подход топорный у меня.
0
|
|||||||||||||||||
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||||||
| 07.06.2016, 12:58 | ||||||
|
gromo,
std::unordered_set<int> вместо std::unordered_set<std::string>, ну и копеечка от спирита, если сравнивать между std::istream(буферезированный конечно аля stringstream) >> TOINT и qi::int_. Но если же мы сделаем граммматику такой : *(qi::char_ - qi::eol) % qi::eol и соответственно поменяем контейнер, то ускорения уже не будет. Т.е. *(qi::char_ - qi::eol) % qi::eol в лучшем случае будет "делать" тоже самое что и std::getline.
1
|
||||||
|
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
|
|
| 07.06.2016, 13:55 | |
|
0
|
|
|
383 / 281 / 31
Регистрация: 04.09.2009
Сообщений: 1,225
|
|
| 07.06.2016, 14:05 [ТС] | |
|
avgoor, ну просто для теста и для простоты. А так строки могут какие-угодно.
0
|
|
|
1550 / 877 / 179
Регистрация: 05.12.2015
Сообщений: 2,555
|
||
| 07.06.2016, 14:19 | ||
|
1
|
||
|
383 / 281 / 31
Регистрация: 04.09.2009
Сообщений: 1,225
|
||||
| 13.06.2016, 14:29 [ТС] | ||||
std::string в int? Я всегда думал, что вариант со string будет быстрее чем int. ) И почему не будет ускорения?Добавлено через 2 минуты P.s. Ваш код отработал за 10 секунд. Поразительно!
0
|
||||
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||||||||||
| 13.06.2016, 15:04 | ||||||||||
|
Т.е. работа при добавлении элемента std::unordered_set<int> при отсутствии балансировки (reserve был вызван) примерно следущая:
*(qi::char_ - qi::eol) - это соответствует любому количеству (любых символов за исключением переноса строки).![]() [quote="gromo;9266578"]И можете объяснить эту строчку? Что это за магическая константа и вообще хитро-вывернутый способ подсчета смещения? Эта магическая константа - это черная магия, которую лучше не использовать ![]() Суть в том, чтобы (n-1)-ый поток закончил рассчёт быстрее чем n-ый поток, и пока n-ый поток еще считает, основной поток может сливать данные от n-1 потока. Но если данных много, это даст не прирост а ухудшение производительности, поскольку данные у последнего потока будут самыми большими и мержить придется со всеми данными. Т.е. это скользкая дорожка в общем случае. А написал я эту скользкую дорожку, поскольку не успел остановить руки ![]()
1
|
||||||||||
|
383 / 281 / 31
Регистрация: 04.09.2009
Сообщений: 1,225
|
|
| 13.06.2016, 15:17 [ТС] | |
|
Nosey, спасибо за разъяснения!
Немножко не по теме: стоит ли включать в работу главный поток наравне с рабочими? То есть делегировать часть работы главному потоку, а не оставлять его спать и ждать пока приджоинятся все "работяги"? Я считаю, что на современных системах это не критично и не принесет выигрыша в производительности, так как работают сотни потоков и десятки процессов, и то, что мы завели один лишний поток — сути дела не меняет.
0
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||
| 13.06.2016, 15:29 | ||
http://en.cppreference.com/w/c... ead/thread См. раздел "Exceptions".
1
|
||
| 13.06.2016, 15:29 | |
|
Реализация класса MyString. Стандартная библиотека, std::string, std::vector Передача функции указатель на элемент std::vector<std::string> Операция std::cout для Объекта типа std::string
Как правильно перевести std::wstring в std::string ? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
|
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM
Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой.
Но использовать несколько программ не удобно. Искал другие. . .
|
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской)
Options
Preferences
General
Language
|
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент".
В данной функции нет апострофов,. . .
|
|
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы.
Карта этого меню приложена ниже.
Нужный пункт выделен красным.
Сервис
Настройки
Поведение
|
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки.
Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён".
Изменено отображение буквы Й.
Добавлена. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки.
Добавлено:
- Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
|
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы.
Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
|