Скопировать последние файлы с Windows на Linux

@zawibis · Регистрация: 16.05.2012

Студворк — интернет-сервис помощи студентам

Добрый день.
Имеется Centos 7 и Windows Server 2012. Обе машины в домене.
Нужно с шары на винде, скопировать последние добавленные файлы в линукс.
При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам.

Как такое провернуть?
Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо.
Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать.

@Kubuntovod · 23.06.2023, 09:40

Сообщение от zawibis

например можно все уже имеющиеся файлы в исходной папке переименовать, добавив в конец _copy, а новые файлы будут без этой приставки. Скрипт будет смотреть в папку по крону, увидит что появились файлы без окончания, скопирует их и потом поставит им в исходной папке окончание

Сдаётся мне, держать список даже побыстрее будет, нежели процеживать каждый раз всю пачку файлов и заглядывать им ~~в зад~~ на окончание. Надо чуть покумекать. У червяка есть оч удобные инструменты, для такой темы. Списки и поиск по ним. Берём листинг, проходимся по нему. Те элементы, что отсутствуют в списке, те и новые. Копипастим их и добавляем в список. Радуемся. И так далее.

Добавлено через 1 час 21 минуту

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/usr/bin/env python3
import os
import shutil
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(dst_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.read().splitlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        # Если файла нет в списке уже скопированых
                        if not entry.name in files_allready:
                            # Копируем
                            shutil.copy(src_path + entry.name, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)

Бонус такого подхода - можно запускать в любое время.

@zawibis · 23.06.2023, 09:57 **[ТС]**

Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов?

@Kubuntovod · 23.06.2023, 10:31

Сообщение от zawibis

а что должно быть в текстовике?

Если не копировать уже существующее, то список имён файлов, построчно. Такой список (текущего момента) можно создать, закомментив строку копирования файлов.

@zawibis · 23.06.2023, 12:18 **[ТС]**

Kubuntovod, а этот файл должен находиться в обоих исходных папках?

Сообщение от Kubuntovod

закомментив строку копирования файлов

эту?
shutil.copy(src_path + entry.name, dst_path)

@Kubuntovod · 23.06.2023, 12:52

Сообщение от zawibis

эту?
shutil.copy(src_path + entry.name, dst_path)

Да. Один раз запустить с закомменченной строкой. Создадутся файлы списков. Затем раскомментить и в работу.

@zawibis · 23.06.2023, 13:50 **[ТС]**

Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

@Kubuntovod · 23.06.2023, 14:38

Сообщение от zawibis

а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

Это называется "Без конкретного ТЗ, результат всегда ХЗ". Тогда надо либо дату изменения смотреть, либо ваще контрольную сумму считать. И писать её туда же, в список, рядом с именем. Потом, соответственно, сравнивать. Но, тут возникает закономерный вопрос, а не подправить ли чего в консерватории, да и обойтись, вообще, одним голым rsync-ом.

@zawibis · 23.06.2023, 19:02 **[ТС]**

Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё

@_sg2 · 23.06.2023, 19:57

rsync может всё - это классическое древнее средство бэкапа.
Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие.

@Kubuntovod · 24.06.2023, 07:21

Сообщение от zawibis

а rsync сможет все запросы и нюансы учесть?

Это неправильный подход. Нельзя все надежды возлагать на волшебное ПО, надо уметь в организацию процесса. Например, один из нюансов, если файло будет не копироваться, а перемещаться, то проблема распознавания, какой файл новый, а какой старый, вообще отсутствует. И второе, чтобы решить некую задачу, с помощью сообщества, надо эту задачу внятно формулировать сразу со всеми нюансами. Иначе, эта задача, как гидра. Отрубаем одну голову, вырастают две других.

Сообщение от _sg2

вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие

Меня уже тоже такие мысли начинали посещать. Вот, только надо ли, такую бодягу разводить? Может там хватит простой синхры каталогов.

@zawibis · 03.07.2023, 07:21 **[ТС]**

del

@zawibis · 03.07.2023, 22:35 **[ТС]**

Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать.

Добавлено через 20 минут
тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Добавлено через 2 минуты
файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью"

@Kubuntovod · 04.07.2023, 07:20

Сообщение от zawibis

тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Возможно и прокатит такая схема. Даже даты изменения, наверное, достаточно будет.

По поводу не попавших в список файлов. У них расширение такое же, как и у тех, что попали?

Добавлено через 44 минуты

Сообщение от zawibis

Именуются "цифры ФИО полностью"

Что за цифры?

Добавлено через 58 минут
По ходу, дату изменения не обязательно записывать. Смотрим её в процессе.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = filter(lambda x: entry.name in x, files_allready)
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 07:29 **[ТС]**

Цифры восьмизначные.
Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано.

@Kubuntovod · 04.07.2023, 08:00

Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно.

@zawibis · 04.07.2023, 09:30 **[ТС]**

Это копировалось с предыдущего скрипта и если новых файлов не было

Добавлено через 19 минут
В этом скрипте ругается на строку
src_parh = src_paths[p]
SyntaxError: invalid character in identifier

@Kubuntovod · 04.07.2023, 09:58

Сообщение от zawibis

src_parh

В скрипте написано не так. Вы его врукопашную набивали что ль?

@zawibis · 04.07.2023, 10:07 **[ТС]**

Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса.
Сейчас ошибка уже другая.
if len(res) == 0:
TypeError: object of type 'filter' has no len()

Я первоначально скопировал нормально, на форум просто могу только с телефона

@Kubuntovod · 04.07.2023, 10:49

Сообщение от zawibis

Сейчас ошибка уже другая.

Да, вот это имеет место быть. Надо строку чуть подправить

Python
1
res = list(filter(lambda x: entry.name in x, files_allready))

Добавлено через 5 минут
Где-то логика хромает. Если удалить в источнике файл, то он удаляется из списка скопированных. Надо подумать.
Тьфу, блин! Режим открытия файла w+ перезаписывает его. Вариант r+ должен работать, как надо.

Добавлено через 8 минут
Ещё одну строку надо отправить

Python
1
dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))

Добавлено через 2 минуты
Вроде всё. Проверил по всякому. Копирует и записывает в список. Если файло изменилось, переписывает. Один вопрос остался, как это сработает с виндой. У меня линуха везде.

Добавлено через 1 минуту
Окончательный вариант. Со всеми исправлениями.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'r+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

Добавлено через 1 минуту
Можно, кстати, 34 строку не менять, а просто пути назначения задать с косой чертой на конце.

Добавлено через 20 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1/", "/home/user/Public/Folder/2/"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + 'allready.txt', 'a+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 13:39 **[ТС]**

Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо.
Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик.

Добавлено через 1 час 32 минуты
Kubuntovod, с прошлым скриптом, кстати, то же самое было.

Новые блоги и статьи Все статьи Все блоги /
Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .	сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.	сукцессия 43. Вторая научная статья за месяц- прайминг и гатгил anaschu 25.07.2026 две стороны одной монеты	Более приземисто - Эстафету хвоста в .cdl (деревья эстафеты в сад). Hrethgir 24.07.2026 В будущем, после написания блока инверсии обхода дерева (эстафеты хвоста), я планирую вернуться к нашему прошлому разговору о том, обладают ли знания целеполаганием. Тогда я пришел к выводу, что. . .
Вот представьте что вам дали бессмертие. kumehtar 24.07.2026 Вот представьте что вам дали бессмертие, ничего более не меняя. Вообще ничего, только бессмертие в нынешнем виде. Рады были бы? Что бы вы тут делали всё это время? Никакой пенсии. Никакого нового. . .	сукцессия 41 anaschu 24.07.2026 Численная верификация бифуркации в агентной модели лесной сукцессии: от одного параметра к ансамблю Автор: пользователь @Shumilov_AS \| Раздел: Прикладная математика / Численные методы Кратко. . .	сукцессия 40. Ансамблевая кластерная параметризаци, часть 1. anaschu 24.07.2026 Пр# Сопровождение научной статьи ИИ-ассистентом: подготовка публикации и калибровка агентно-ориентированной модели сукцессии микоризных систем Полевые заметки о двухнедельной совместной работе. . .	Теория всего 12. ВГК на планете в стратегической игре "терра" anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50

	Скопировать последние файлы с Windows на Linux 16.06.2023, 12:18. Показов 4241. Ответов 71 Метки linux, windows, копировать, файл (Все метки) Добрый день. Имеется Centos 7 и Windows Server 2012. Обе машины в домене. Нужно с шары на винде, скопировать последние добавленные файлы в линукс. При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам. Как такое провернуть? Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо. Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 09:57 [ТС]
	Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов? 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 13:50 [ТС]
	Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 19:02 [ТС]
	Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё 0

@_sg2 1152 / 405 / 89 Регистрация: 30.08.2017 Сообщений: 2,487
	23.06.2023, 19:57
	rsync может всё - это классическое древнее средство бэкапа. Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 07:21 [ТС]
	del 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 22:35 [ТС]
	Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать. Добавлено через 20 минут тот скрипт который последний, только чтобы кроме имени ещё и даты проверял Добавлено через 2 минуты файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью" 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 07:29 [ТС]
	Цифры восьмизначные. Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано. 0

@Kubuntovod 3308 / 935 / 202 Регистрация: 14.01.2013 Сообщений: 4,777
	04.07.2023, 08:00
	Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 09:30 [ТС]
	Это копировалось с предыдущего скрипта и если новых файлов не было Добавлено через 19 минут В этом скрипте ругается на строку src_parh = src_paths[p] SyntaxError: invalid character in identifier 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 10:07 [ТС]
	Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса. Сейчас ошибка уже другая. if len(res) == 0: TypeError: object of type 'filter' has no len() Я первоначально скопировал нормально, на форум просто могу только с телефона 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 13:39 [ТС]
	Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо. Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик. Добавлено через 1 час 32 минуты Kubuntovod, с прошлым скриптом, кстати, то же самое было. 0