Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
0 / 0 / 0
Регистрация: 29.11.2015
Сообщений: 4

Многопоточный .csv парсер

14.04.2016, 10:36. Показов 1212. Ответов 1

Студворк — интернет-сервис помощи студентам
Доброго времени суток)
Суть вопроса думаю понятна из заголовка.

файл .csv содержит строки типа

1455812018,user2,http://ru.wikipedia.org,100
1455812019,user10,http://hh.ru,30
1455812968,user3,http://google.com,60
1455812411,user10,http://hh.ru,90
1455812684,user3,http://vk.com,50
1455839970,user1,http://ru.wikipedia.org,70

нужно распарсить по запятой и записать в другой .csv файл вот таким образом

18-FEB-2016

user2,https://ru.wikipedia.org,100
user3,http://google.com,60
user3,http://vk.com,50
user10,http://hh.ru,60

19-FEB-2016

user1,http://ru.wikipedia.org,70

из первоначальных строк предлагается получить поля класса(date, userID, URL, time).

Я пока что сделал преобразование даты и имею коллекцию объектов с 4мя стринговыми полями
Содержимое выглядит так
18-фев-2016 user10 http://hh.ru 30
18-фев-2016 user3 http://google.com 60
18-фев-2016 user10 http://hh.ru 90
18-фев-2016 user3 http://vk.com 50
19-фев-2016 user1 http://ru.wikipedia.org 70

В случае если userID и URL совпадают, то необходимо посчитать среднее арифметическое(avg) из значений time и записать только 1 объект, содержащий avg.

Также в выходном файле объекты должны быть сортированы по userID.

Если значение "date" в объектах совпадает то делается только 1 запись для этой даты а затем помещаются поля для всех объектов, учитывая вышеописанные условия, пока date не получит новое значение.

Затем для всех вышеописанных действий есть такое условие: папка с .csv файлами мониторится на наличие новых файлов. Одновременно в потоках могут обрабатываться до 10 файлов(1 файл = 1поток), а остальные должны быть помещены в очередь и начинать обрабатываться первым из освободившихся потоков.

Подскажите с чего начать и в какой последовательности выполнять условия?
Мои попытки пока не увенчались успехами
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
14.04.2016, 10:36
Ответы с готовыми решениями:

Многопоточный HTML Парсер
Суть задачи состоит в том чтобы парсить html по ссылке на наличие email-ов, в случае наличия таковых, выводим ссылку и email-ы которые...

Многопоточный парсер, как организовать?
Привет всем зашедшим. Вот такая задача есть. Организовать что-то вроде мнoгoпoтoчного пapсера. Который будет следить за определенной...

Многопоточный парсер
Пытаюсь создать многопоточный парсер, но появилась проблема. Пытался сделать через Thread + делегат и через task, но при использовании: ...

1
Эксперт Java
 Аватар для KEKCoGEN
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
14.04.2016, 13:54
archelite, spring-batch
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
14.04.2016, 13:54
Помогаю со студенческими работами здесь

Многопоточный парсер по ftp
Есть удаленный сервер, куда есть коннект по ftp, требуется рекурсивно парсить около (700К) файлов (маска имени, контент файлов итд ). Объем...

Многопоточный парсер на Ruby и Watir
Собственно есть сайт, обычно с большим количеством страниц, в силу его специфики, пришлось использовать Watir, вытягивать информацию мне...

Многопоточный парсер и сохранение результатов
Пусть мы хотим написать некий многопоточный парсер. Схема работы такая. Программа на вход получает список из нескольких тысяч...

Как сделать многопоточный парсер
Я хочу сделать многопоточный парсер, но у меня просто нагружается процессор Задача моей программы в извлечении текстовой информации из...

Многопоточный парсер сайтов: как обрабатывать javaScript
Здравствуйте! Есть задание написать парсер 3-х сайтов с извлечением определенной информации (для примера картинки). Каждый сайт должен...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
YAFU@home — распределённые вычисления для математики. На CPU
Programma_Boinc 20.01.2026
YAFU@home — распределённые вычисления для математики. На CPU YAFU@home — это BOINC-проект, который занимается факторизацией больших чисел и исследованием aliquot-последовательностей. Звучит. . .
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru