Скопировать последние файлы с Windows на Linux

@zawibis · Регистрация: 16.05.2012

Студворк — интернет-сервис помощи студентам

Добрый день.
Имеется Centos 7 и Windows Server 2012. Обе машины в домене.
Нужно с шары на винде, скопировать последние добавленные файлы в линукс.
При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам.

Как такое провернуть?
Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо.
Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать.

@Kubuntovod · 23.06.2023, 09:40

Сообщение от zawibis

например можно все уже имеющиеся файлы в исходной папке переименовать, добавив в конец _copy, а новые файлы будут без этой приставки. Скрипт будет смотреть в папку по крону, увидит что появились файлы без окончания, скопирует их и потом поставит им в исходной папке окончание

Сдаётся мне, держать список даже побыстрее будет, нежели процеживать каждый раз всю пачку файлов и заглядывать им ~~в зад~~ на окончание. Надо чуть покумекать. У червяка есть оч удобные инструменты, для такой темы. Списки и поиск по ним. Берём листинг, проходимся по нему. Те элементы, что отсутствуют в списке, те и новые. Копипастим их и добавляем в список. Радуемся. И так далее.

Добавлено через 1 час 21 минуту

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/usr/bin/env python3
import os
import shutil
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(dst_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.read().splitlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        # Если файла нет в списке уже скопированых
                        if not entry.name in files_allready:
                            # Копируем
                            shutil.copy(src_path + entry.name, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)

Бонус такого подхода - можно запускать в любое время.

@zawibis · 23.06.2023, 09:57 **[ТС]**

Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов?

@Kubuntovod · 23.06.2023, 10:31

Сообщение от zawibis

а что должно быть в текстовике?

Если не копировать уже существующее, то список имён файлов, построчно. Такой список (текущего момента) можно создать, закомментив строку копирования файлов.

@zawibis · 23.06.2023, 12:18 **[ТС]**

Kubuntovod, а этот файл должен находиться в обоих исходных папках?

Сообщение от Kubuntovod

закомментив строку копирования файлов

эту?
shutil.copy(src_path + entry.name, dst_path)

@Kubuntovod · 23.06.2023, 12:52

Сообщение от zawibis

эту?
shutil.copy(src_path + entry.name, dst_path)

Да. Один раз запустить с закомменченной строкой. Создадутся файлы списков. Затем раскомментить и в работу.

@zawibis · 23.06.2023, 13:50 **[ТС]**

Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

@Kubuntovod · 23.06.2023, 14:38

Сообщение от zawibis

а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

Это называется "Без конкретного ТЗ, результат всегда ХЗ". Тогда надо либо дату изменения смотреть, либо ваще контрольную сумму считать. И писать её туда же, в список, рядом с именем. Потом, соответственно, сравнивать. Но, тут возникает закономерный вопрос, а не подправить ли чего в консерватории, да и обойтись, вообще, одним голым rsync-ом.

@zawibis · 23.06.2023, 19:02 **[ТС]**

Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё

@_sg2 · 23.06.2023, 19:57

rsync может всё - это классическое древнее средство бэкапа.
Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие.

@Kubuntovod · 24.06.2023, 07:21

Сообщение от zawibis

а rsync сможет все запросы и нюансы учесть?

Это неправильный подход. Нельзя все надежды возлагать на волшебное ПО, надо уметь в организацию процесса. Например, один из нюансов, если файло будет не копироваться, а перемещаться, то проблема распознавания, какой файл новый, а какой старый, вообще отсутствует. И второе, чтобы решить некую задачу, с помощью сообщества, надо эту задачу внятно формулировать сразу со всеми нюансами. Иначе, эта задача, как гидра. Отрубаем одну голову, вырастают две других.

Сообщение от _sg2

вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие

Меня уже тоже такие мысли начинали посещать. Вот, только надо ли, такую бодягу разводить? Может там хватит простой синхры каталогов.

@zawibis · 03.07.2023, 07:21 **[ТС]**

del

@zawibis · 03.07.2023, 22:35 **[ТС]**

Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать.

Добавлено через 20 минут
тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Добавлено через 2 минуты
файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью"

@Kubuntovod · 04.07.2023, 07:20

Сообщение от zawibis

тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Возможно и прокатит такая схема. Даже даты изменения, наверное, достаточно будет.

По поводу не попавших в список файлов. У них расширение такое же, как и у тех, что попали?

Добавлено через 44 минуты

Сообщение от zawibis

Именуются "цифры ФИО полностью"

Что за цифры?

Добавлено через 58 минут
По ходу, дату изменения не обязательно записывать. Смотрим её в процессе.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = filter(lambda x: entry.name in x, files_allready)
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 07:29 **[ТС]**

Цифры восьмизначные.
Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано.

@Kubuntovod · 04.07.2023, 08:00

Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно.

@zawibis · 04.07.2023, 09:30 **[ТС]**

Это копировалось с предыдущего скрипта и если новых файлов не было

Добавлено через 19 минут
В этом скрипте ругается на строку
src_parh = src_paths[p]
SyntaxError: invalid character in identifier

@Kubuntovod · 04.07.2023, 09:58

Сообщение от zawibis

src_parh

В скрипте написано не так. Вы его врукопашную набивали что ль?

@zawibis · 04.07.2023, 10:07 **[ТС]**

Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса.
Сейчас ошибка уже другая.
if len(res) == 0:
TypeError: object of type 'filter' has no len()

Я первоначально скопировал нормально, на форум просто могу только с телефона

@Kubuntovod · 04.07.2023, 10:49

Сообщение от zawibis

Сейчас ошибка уже другая.

Да, вот это имеет место быть. Надо строку чуть подправить

Python
1
res = list(filter(lambda x: entry.name in x, files_allready))

Добавлено через 5 минут
Где-то логика хромает. Если удалить в источнике файл, то он удаляется из списка скопированных. Надо подумать.
Тьфу, блин! Режим открытия файла w+ перезаписывает его. Вариант r+ должен работать, как надо.

Добавлено через 8 минут
Ещё одну строку надо отправить

Python
1
dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))

Добавлено через 2 минуты
Вроде всё. Проверил по всякому. Копирует и записывает в список. Если файло изменилось, переписывает. Один вопрос остался, как это сработает с виндой. У меня линуха везде.

Добавлено через 1 минуту
Окончательный вариант. Со всеми исправлениями.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'r+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

Добавлено через 1 минуту
Можно, кстати, 34 строку не менять, а просто пути назначения задать с косой чертой на конце.

Добавлено через 20 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1/", "/home/user/Public/Folder/2/"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + 'allready.txt', 'a+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 13:39 **[ТС]**

Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо.
Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик.

Добавлено через 1 час 32 минуты
Kubuntovod, с прошлым скриптом, кстати, то же самое было.

Новые блоги и статьи Все статьи Все блоги /
Вступаем в новую фазу генерации favicons, векторную. russiannick 02.11.2026 Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .	Генератор паролей (вариант №4) Maks 01.11.2026 После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков \| 1 l I;. . .	Генератор паролей (вариант №3) Maks 30.10.2026 Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .	Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени) zorxor 30.10.2026 Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .
За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ) zorxor 30.10.2026 Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль? Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .	Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени) zorxor 30.10.2026 Как убивали Suno. Хронология. «Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .	Генератор паролей (вариант №2) Maks 30.10.2026 Обновленная версия ранее созданной обработки. Добавлены следующие реквизиты типа Булево: - Буквы; - Цифры; - Символы. Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .	Генератор паролей (вариант №1) Maks 29.10.2026 Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей. Самым главным критерием для. . .

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50

	Скопировать последние файлы с Windows на Linux 16.06.2023, 12:18. Показов 4594. Ответов 71 Метки linux, windows, копировать, файл (Все метки) Добрый день. Имеется Centos 7 и Windows Server 2012. Обе машины в домене. Нужно с шары на винде, скопировать последние добавленные файлы в линукс. При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам. Как такое провернуть? Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо. Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 09:57 [ТС]
	Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов? 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 13:50 [ТС]
	Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 19:02 [ТС]
	Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё 0

@_sg2 1162 / 414 / 90 Регистрация: 30.08.2017 Сообщений: 2,522
	23.06.2023, 19:57
	rsync может всё - это классическое древнее средство бэкапа. Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 07:21 [ТС]
	del 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 22:35 [ТС]
	Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать. Добавлено через 20 минут тот скрипт который последний, только чтобы кроме имени ещё и даты проверял Добавлено через 2 минуты файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью" 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 07:29 [ТС]
	Цифры восьмизначные. Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано. 0

@Kubuntovod 3310 / 937 / 202 Регистрация: 14.01.2013 Сообщений: 4,797
	04.07.2023, 08:00
	Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 09:30 [ТС]
	Это копировалось с предыдущего скрипта и если новых файлов не было Добавлено через 19 минут В этом скрипте ругается на строку src_parh = src_paths[p] SyntaxError: invalid character in identifier 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 10:07 [ТС]
	Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса. Сейчас ошибка уже другая. if len(res) == 0: TypeError: object of type 'filter' has no len() Я первоначально скопировал нормально, на форум просто могу только с телефона 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 13:39 [ТС]
	Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо. Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик. Добавлено через 1 час 32 минуты Kubuntovod, с прошлым скриптом, кстати, то же самое было. 0