Обработка данных в линукс

@gGrn-7DA · Регистрация: 17.01.2010

Студворк — интернет-сервис помощи студентам

Надо определенным образом обработать текстовые файлы.

Весь план действий:
1 Скачать 10 архивов с интернета, в каждом по текстовому файлу
2 распаковать
3 из каждой строки каждого файла выцепить первое слово до пробела-табуляции
4 среди всех этих слов выцепить только уникальные.
5 для каждого уникального слова послать запрос на веб сервер
6 из ответа сервера выцепить пару параметров для слова
7 в файл записать исходное уникальное слово + информация по нему с сервера (пп 5-6)

файлы в архивах весят по гигу примерно.
Первое слово в строке занимает 30-60% размера строки. всего 4 столбца в файле. 3 других это числовая статистика.
Уникальных слов (п 4) ожидается 300-1000 тыс.
Сервер в интернете выдаст информации примерно 3-5кб на слово.
И к сожалению данные находятся в середине конце страницы. но опять же трафик можно сэкономить до 2 раз, если остановить скачивание страницы через пару слов после определенной фразы, она стандартна и всегда пишется.

Надо минимизировать затраченное процессорное время на обработку данных.
Скорее всего придется делать енсколько промежуточных записей в файл.

например.
Распаковав 10 архивов, каждый из 10 файлов поочереди
1 sed ом выцепить каждое первое слово строки
2 uniq ом найти неповторяющиеся слова
Для кадого файла, вывод uniq дописывать во временный файл.
Затем временный файл повторно прогнать через uniq

Далее запрос к серверу и разбор ответа - процесс долгий, но не требовательный к ресурсам, и от компа время мало зависит.

Наверно лучше распаралелить обработку архивов, и например результат обработки каждого архива писать в отдельный файл, а потом их соединить...

Проц 2ядерный по 1.6ГГц

Сколько примерно потребуется время на выполнение данной задачи?
Желательно результат получить за пару дней обработки...

Добавлено через 10 минут
Дополнительно, в исходных файлах надо просуммировать 3 и 4 столбцы соответственно для каждого уни кального слова.
Суммы можно записывать либо одновременно, либо после пунктов 1-4.
Слова в исхоных файлах записаны по алфавиту, наверно удастся подсчитывать паралельно?

Желательно что бы обработкой занимался скрипт на bash.

Не прошу полной реализации, а просто подсказать как обработать данные побыстрее?

@gGrn-7DA · 06.09.2012, 23:48 **[ТС]**

Уже какой-то результат=)

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ tail -15 file_0 | tr '[ЁЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ]' '[ёйцукенгшщзхъфывапролджэячсмитьбю]'
яыѻѾ
яыѽѵ
яыя
яыяютёя
яэ
яэ
яэѾ
яю
яющ
яющѵѳѾ
яющѸѵёя
яющую
яя
яях
纄

Добавлено через 6 минут
Вот оно

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ tail -15 file_0 | sed 'y/ЁЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ/ёйцукенгшщзхъфывапролджэячсмитьбю/'
яыло
яыне
яыя
яыяются
яэ
яэ
яэо
яю
яющ
яющего
яющиеся
яющую
яя
яях
的

Добавлено через 17 секунд
громоздко, но работает

Добавлено через 11 минут
Так первая часть работы готова...
Теперь хотелось бы, просуммировать значения в 3 столбце по всем файлам, группировать значения по первому слову в строке...
тут уже совсем не знаю что делать...
на баше такое можно реализовать?

Vourhey · 07.09.2012, 00:15

Сообщение от gGrn-7DA

на баше такое можно реализовать?

Да можно, почему нет )

@gGrn-7DA · 07.09.2012, 11:40 **[ТС]**

Сообщение от Vourhey

Да можно, почему нет )

Кааак?)
потому что сам ничего пока не придумал...
Считать поидее долго будет...

И наверно надо было сразу об этом подумать, сильно уменьшило бы объем данных.
Надо из всех файлов выкинуть строки, в которых в первом слове встречается любой символ кроме букв...

Добавлено через 11 часов 13 минут
Для чистки исходных данных, после приведения слов в нижний регистр.

Bash
1
sed -e '/^[ёйцукенгшщзхъэждлорпавыфячсмитьбю]+\s/!d' file -i

@gGrn-7DA · 09.09.2012, 19:51 **[ТС]**

Vourhey, так как посчитать сумму 3 столбца с группировкой по первому в баше?
Не поможешь?)

Vourhey · 09.09.2012, 20:02

Наверное, как-нибудь так тоже можно. Только не баш, awk.

[vourhey@localhost bash]$ cat file.in
one col2 4
two col2 3
three col2 19
one col2 2
three col2 4
[vourhey@localhost bash]$ awk '{arr[$1]+=$3} END {for (i in arr) {print i,arr[i]}}' file.in
three 23
two 3
one 6

@gGrn-7DA · 09.09.2012, 20:15 **[ТС]**

Спасибо.

@gGrn-7DA · 10.09.2012, 23:33 **[ТС]**

Не удается по получившимся значениям отсортировать файл по убыванию числового значения второго столбца
ключ -r для команды sort отменяет ключ -k2n...
ничего не помогает...

Bash
1
2
3
| sort -r -k2n
| sort -rk2n
| sort --reverse -k2n

не суть как важно, но огорчает...

accept · 11.09.2012, 04:28

пример

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[guest@localhost ~]$ echo -e "5 2 3\n1 6 5\n3 4 7"
5 2 3
1 6 5
3 4 7
[guest@localhost ~]$ echo -e "5 2 3\n1 6 5\n3 4 7" | sort -rn -k1
5 2 3
3 4 7
1 6 5
[guest@localhost ~]$ echo -e "5 2 3\n1 6 5\n3 4 7" | sort -rn -k2
1 6 5
3 4 7
5 2 3
[guest@localhost ~]$ echo -e "5 2 3\n1 6 5\n3 4 7" | sort -rn -k3
3 4 7
1 6 5
5 2 3
[guest@localhost ~]$

@gGrn-7DA · 11.09.2012, 13:10 **[ТС]**

Аааа....
А я то думал, как ключи комбинировать...
Будем знать...

@gGrn-7DA · 18.09.2012, 23:30 **[ТС]**

Продолжим...
Скачиваниефайла по url c выводом в stdout ,без вывода сообщений

Bash
1
wget --output-document=- url -o /dev/null

как из этих данных вырвать 1кб после слова Описание:?

Добавлено через 27 минут
Слегка уточню. из ответа надо взять 61 строку...

Bash
1
| sed -n '61P'

Добавлено через 11 минут
Как в этой строке получить каждое слово стоящее после ": " и записать в файл через табуляции?

Добавлено через 29 минут
Сделал так

Bash
1
wget --output-document=- url -o /dev/null | sed -n '62q;61p' | sed 's/ \|<p>/ \n/g' | sed -n '/форма:/{n;p;}' | sed ':a; /$/N; s/ \n/ /; ta' | sed 's/^\(.*\)$/word\t\1/'

accept · 19.09.2012, 03:41

Сообщение от gGrn-7DA

Скачиваниефайла по url c выводом в stdout ,без вывода сообщений

Bash
1
wget -O - http://site 2>/dev/null

Сообщение от gGrn-7DA

Как в этой строке получить каждое слово стоящее после ": " и записать в файл через табуляции?

Code
1
2
3
4
5
6
7
8
9
[guest@localhost ~]$ echo "abc:def abc:ghi  abc:jkl" | sed '
> 
> s/^[^:]*//
> 
> s/:\([^[:space:]]*\)[^:]*/    \1/g
> 
> '
    def    ghi    jkl
[guest@localhost ~]$

@gGrn-7DA · 19.09.2012, 15:04 **[ТС]**

Да, так гораздо лучше.
Но зачем обрезать начало строки?

Bash
1
echo "abc:def abc:ghi  abc:jkl" | sed 's/[^:]*:\([^[:space:]]*\)[^:]*/    \1/g'

так тоже работает

Добавлено через 18 секунд
да, куда короче моей записи)

accept · 20.09.2012, 04:23

Сообщение от gGrn-7DA

Но зачем обрезать начало строки?

оно не стоит после двоеточия

@gGrn-7DA · 20.09.2012, 13:50 **[ТС]**

Сообщение от accept

оно не стоит после двоеточия

логично, но я записал обе замены как одну. быстрее работать наврядли будет конечно...

accept · 21.09.2012, 02:09

Сообщение от gGrn-7DA

но я записал обе замены как одну

у тебя на каждом шаге ищет символы до двоеточия, которых там определённо нет

Новые блоги и статьи Все статьи Все блоги /
GitHub Copilot в JetBrains: модель по умолчанию, Fix и контроль MCP and_y87 12.10.2026 10 октября 2026 года GitHub обновил Copilot для JetBrains: добавил настройки стартовой модели, исправления из диагностики и управление автозапуском MCP. Поддержка IDE 2025. 1 прекращена — требуется. . .	GitHub Copilot в JetBrains: модель по умолчанию, Fix и контроль MCP and_y87 12.10.2026 10 октября 2026 года GitHub обновил Copilot для JetBrains: добавил настройки стартовой модели, исправления из диагностики и управление автозапуском MCP. Поддержка IDE 2025. 1 прекращена — требуется. . .	День 5 из 28: Codex подсказывает следующий запрос and_y87 12.10.2026 9 октября 2026 года OpenAI запустила бету Composer predictions — подсказок следующего сообщения в текущем диалоге Codex. Это помощь с формулировкой запроса, а не автоматическое продолжение задачи. . . .	Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .
ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .

@gGrn-7DA мну довольно <(-__-)l 217 / 206 / 15 Регистрация: 17.01.2010 Сообщений: 2,462

	Обработка данных в линукс 06.09.2012, 14:56. Показов 3927. Ответов 34 Метки нет (Все метки) Надо определенным образом обработать текстовые файлы. Весь план действий: 1 Скачать 10 архивов с интернета, в каждом по текстовому файлу 2 распаковать 3 из каждой строки каждого файла выцепить первое слово до пробела-табуляции 4 среди всех этих слов выцепить только уникальные. 5 для каждого уникального слова послать запрос на веб сервер 6 из ответа сервера выцепить пару параметров для слова 7 в файл записать исходное уникальное слово + информация по нему с сервера (пп 5-6) файлы в архивах весят по гигу примерно. Первое слово в строке занимает 30-60% размера строки. всего 4 столбца в файле. 3 других это числовая статистика. Уникальных слов (п 4) ожидается 300-1000 тыс. Сервер в интернете выдаст информации примерно 3-5кб на слово. И к сожалению данные находятся в середине конце страницы. но опять же трафик можно сэкономить до 2 раз, если остановить скачивание страницы через пару слов после определенной фразы, она стандартна и всегда пишется. Надо минимизировать затраченное процессорное время на обработку данных. Скорее всего придется делать енсколько промежуточных записей в файл. например. Распаковав 10 архивов, каждый из 10 файлов поочереди 1 sed ом выцепить каждое первое слово строки 2 uniq ом найти неповторяющиеся слова Для кадого файла, вывод uniq дописывать во временный файл. Затем временный файл повторно прогнать через uniq Далее запрос к серверу и разбор ответа - процесс долгий, но не требовательный к ресурсам, и от компа время мало зависит. Наверно лучше распаралелить обработку архивов, и например результат обработки каждого архива писать в отдельный файл, а потом их соединить... Проц 2ядерный по 1.6ГГц Сколько примерно потребуется время на выполнение данной задачи? Желательно результат получить за пару дней обработки... Добавлено через 10 минут Дополнительно, в исходных файлах надо просуммировать 3 и 4 столбцы соответственно для каждого уни кального слова. Суммы можно записывать либо одновременно, либо после пунктов 1-4. Слова в исхоных файлах записаны по алфавиту, наверно удастся подсчитывать паралельно? Желательно что бы обработкой занимался скрипт на bash. Не прошу полной реализации, а просто подсказать как обработать данные побыстрее? 0

@gGrn-7DA мну довольно <(-__-)l 217 / 206 / 15 Регистрация: 17.01.2010 Сообщений: 2,462
	09.09.2012, 19:51 [ТС]
	Vourhey, так как посчитать сумму 3 столбца с группировкой по первому в баше? Не поможешь?) 0

@gGrn-7DA мну довольно <(-__-)l 217 / 206 / 15 Регистрация: 17.01.2010 Сообщений: 2,462
	09.09.2012, 20:15 [ТС]
	Спасибо. 0

@gGrn-7DA мну довольно <(-__-)l 217 / 206 / 15 Регистрация: 17.01.2010 Сообщений: 2,462
	11.09.2012, 13:10 [ТС]
	Аааа.... А я то думал, как ключи комбинировать... Будем знать... 0