Скопировать последние файлы с Windows на Linux

@zawibis · Регистрация: 16.05.2012

Студворк — интернет-сервис помощи студентам

Добрый день.
Имеется Centos 7 и Windows Server 2012. Обе машины в домене.
Нужно с шары на винде, скопировать последние добавленные файлы в линукс.
При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам.

Как такое провернуть?
Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо.
Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать.

@Kubuntovod · 23.06.2023, 09:40

Сообщение от zawibis

например можно все уже имеющиеся файлы в исходной папке переименовать, добавив в конец _copy, а новые файлы будут без этой приставки. Скрипт будет смотреть в папку по крону, увидит что появились файлы без окончания, скопирует их и потом поставит им в исходной папке окончание

Сдаётся мне, держать список даже побыстрее будет, нежели процеживать каждый раз всю пачку файлов и заглядывать им ~~в зад~~ на окончание. Надо чуть покумекать. У червяка есть оч удобные инструменты, для такой темы. Списки и поиск по ним. Берём листинг, проходимся по нему. Те элементы, что отсутствуют в списке, те и новые. Копипастим их и добавляем в список. Радуемся. И так далее.

Добавлено через 1 час 21 минуту

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/usr/bin/env python3
import os
import shutil
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(dst_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.read().splitlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        # Если файла нет в списке уже скопированых
                        if not entry.name in files_allready:
                            # Копируем
                            shutil.copy(src_path + entry.name, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)

Бонус такого подхода - можно запускать в любое время.

@zawibis · 23.06.2023, 09:57 **[ТС]**

Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов?

@Kubuntovod · 23.06.2023, 10:31

Сообщение от zawibis

а что должно быть в текстовике?

Если не копировать уже существующее, то список имён файлов, построчно. Такой список (текущего момента) можно создать, закомментив строку копирования файлов.

@zawibis · 23.06.2023, 12:18 **[ТС]**

Kubuntovod, а этот файл должен находиться в обоих исходных папках?

Сообщение от Kubuntovod

закомментив строку копирования файлов

эту?
shutil.copy(src_path + entry.name, dst_path)

@Kubuntovod · 23.06.2023, 12:52

Сообщение от zawibis

эту?
shutil.copy(src_path + entry.name, dst_path)

Да. Один раз запустить с закомменченной строкой. Создадутся файлы списков. Затем раскомментить и в работу.

@zawibis · 23.06.2023, 13:50 **[ТС]**

Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

@Kubuntovod · 23.06.2023, 14:38

Сообщение от zawibis

а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту

Это называется "Без конкретного ТЗ, результат всегда ХЗ". Тогда надо либо дату изменения смотреть, либо ваще контрольную сумму считать. И писать её туда же, в список, рядом с именем. Потом, соответственно, сравнивать. Но, тут возникает закономерный вопрос, а не подправить ли чего в консерватории, да и обойтись, вообще, одним голым rsync-ом.

@zawibis · 23.06.2023, 19:02 **[ТС]**

Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё

@_sg2 · 23.06.2023, 19:57

rsync может всё - это классическое древнее средство бэкапа.
Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие.

@Kubuntovod · 24.06.2023, 07:21

Сообщение от zawibis

а rsync сможет все запросы и нюансы учесть?

Это неправильный подход. Нельзя все надежды возлагать на волшебное ПО, надо уметь в организацию процесса. Например, один из нюансов, если файло будет не копироваться, а перемещаться, то проблема распознавания, какой файл новый, а какой старый, вообще отсутствует. И второе, чтобы решить некую задачу, с помощью сообщества, надо эту задачу внятно формулировать сразу со всеми нюансами. Иначе, эта задача, как гидра. Отрубаем одну голову, вырастают две других.

Сообщение от _sg2

вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие

Меня уже тоже такие мысли начинали посещать. Вот, только надо ли, такую бодягу разводить? Может там хватит простой синхры каталогов.

@zawibis · 03.07.2023, 07:21 **[ТС]**

del

@zawibis · 03.07.2023, 22:35 **[ТС]**

Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать.

Добавлено через 20 минут
тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Добавлено через 2 минуты
файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью"

@Kubuntovod · 04.07.2023, 07:20

Сообщение от zawibis

тот скрипт который последний, только чтобы кроме имени ещё и даты проверял

Возможно и прокатит такая схема. Даже даты изменения, наверное, достаточно будет.

По поводу не попавших в список файлов. У них расширение такое же, как и у тех, что попали?

Добавлено через 44 минуты

Сообщение от zawibis

Именуются "цифры ФИО полностью"

Что за цифры?

Добавлено через 58 минут
По ходу, дату изменения не обязательно записывать. Смотрим её в процессе.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'w+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = filter(lambda x: entry.name in x, files_allready)
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 07:29 **[ТС]**

Цифры восьмизначные.
Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано.

@Kubuntovod · 04.07.2023, 08:00

Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно.

@zawibis · 04.07.2023, 09:30 **[ТС]**

Это копировалось с предыдущего скрипта и если новых файлов не было

Добавлено через 19 минут
В этом скрипте ругается на строку
src_parh = src_paths[p]
SyntaxError: invalid character in identifier

@Kubuntovod · 04.07.2023, 09:58

Сообщение от zawibis

src_parh

В скрипте написано не так. Вы его врукопашную набивали что ль?

@zawibis · 04.07.2023, 10:07 **[ТС]**

Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса.
Сейчас ошибка уже другая.
if len(res) == 0:
TypeError: object of type 'filter' has no len()

Я первоначально скопировал нормально, на форум просто могу только с телефона

@Kubuntovod · 04.07.2023, 10:49

Сообщение от zawibis

Сейчас ошибка уже другая.

Да, вот это имеет место быть. Надо строку чуть подправить

Python
1
res = list(filter(lambda x: entry.name in x, files_allready))

Добавлено через 5 минут
Где-то логика хромает. Если удалить в источнике файл, то он удаляется из списка скопированных. Надо подумать.
Тьфу, блин! Режим открытия файла w+ перезаписывает его. Вариант r+ должен работать, как надо.

Добавлено через 8 минут
Ещё одну строку надо отправить

Python
1
dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))

Добавлено через 2 минуты
Вроде всё. Проверил по всякому. Копирует и записывает в список. Если файло изменилось, переписывает. Один вопрос остался, как это сработает с виндой. У меня линуха везде.

Добавлено через 1 минуту
Окончательный вариант. Со всеми исправлениями.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1", "/home/user/Public/Folder/2"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + '/' + 'allready.txt', 'r+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + '/' + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

Добавлено через 1 минуту
Можно, кстати, 34 строку не менять, а просто пути назначения задать с косой чертой на конце.

Добавлено через 20 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
#!/usr/bin/env python3
import os
import shutil
import time
 
picture_suffix = ('jpg', 'png', 'gif')
src_paths = ["/home/user/Desktop/1/", "/home/user/Desktop/2/"]
dst_paths = ["/home/user/Public/Folder/1/", "/home/user/Public/Folder/2/"]
 
# Цикл по количеству исходных путей
for p in range(len(src_paths)):
    src_path = src_paths[p]
    dst_path = dst_paths[p]
    # Обход каталога
    with open(src_path + 'allready.txt', 'a+') as f:
        files_allready = f.readlines()
        with os.scandir(src_path) as i:
            for entry in i:
                # Если элемент - файл
                if entry.is_file():
                    # Если расширение имени файла в списке заданных
                    if entry.name.endswith(picture_suffix):
                        fullsrc = src_path + entry.name
                        # Если файла нет в списке уже скопированых
                        res = list(filter(lambda x: entry.name in x, files_allready))
                        if len(res) == 0:
                            # Копируем
                            shutil.copy(fullsrc, dst_path)
                            # Добавляем в список уже скопированных
                            f.write("%s\n" % entry.name)
                        else:
                            # Если файл в списке уже есть
                            src_mtime = time.ctime(os.path.getmtime(fullsrc))
                            dst_mtime = time.ctime(os.path.getmtime(dst_path + entry.name))
                            # Но дата изменения не совпадает
                            if src_mtime != dst_mtime:
                                # Копируем
                                shutil.copy(fullsrc, dst_path)

@zawibis · 04.07.2023, 13:39 **[ТС]**

Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо.
Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик.

Добавлено через 1 час 32 минуты
Kubuntovod, с прошлым скриптом, кстати, то же самое было.

Новые блоги и статьи Все статьи Все блоги /
Установка MinGW GCC 16.2 и CMake 8Observer8 10.08.2026 VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия	Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо anaschu 10.08.2026 Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .	Калькулятор для расчета родства russiannick 07.08.2026 1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь	Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .
Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .	У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35". kumehtar 04.08.2026 С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .	Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники). Hrethgir 04.08.2026 Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .	Термопринтер QR701 Argus19 03.08.2026 Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50

	Скопировать последние файлы с Windows на Linux 16.06.2023, 12:18. Показов 4309. Ответов 71 Метки linux, windows, копировать, файл (Все метки) Добрый день. Имеется Centos 7 и Windows Server 2012. Обе машины в домене. Нужно с шары на винде, скопировать последние добавленные файлы в линукс. При этом на линуксе конечная папка должна быть пустой, потому что потом демон оттуда забирает файлы и отправляет по другим своим местам. Как такое провернуть? Через WinSCP в принципе можно, но там будет больше синхронизация, чем просто копирование, тем более в конечной папке будет много файлов, а этого не надо. Через команду cp в принципе будет то же самое, как и с find или rsync. Вроде бы можно как-то объединить всё это безобразие и написать скрипт, который будет через find находить, а через rsync копировать. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 09:57 [ТС]
	Kubuntovod, а что должно быть в текстовике? Какая-то маска или перебор конкретных имен файлов? 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 13:50 [ТС]
	Kubuntovod, а что если был файл там уже и решили его заменить, т.е. имя осталось то же, а содержание уже новое? Обновили изображение попросту 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	23.06.2023, 19:02 [ТС]
	Kubuntovod, а rsync сможет все запросы и нюансы учесть? Там же вроде только update есть и всё 0

@_sg2 1152 / 405 / 89 Регистрация: 30.08.2017 Сообщений: 2,490
	23.06.2023, 19:57
	rsync может всё - это классическое древнее средство бэкапа. Ну если так с ним неохота разбираться, то вот ещё средство - подсистема ядра inotify/fsinotify. Вешаете слежение за каталогом и описываете реакцию на событие. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 07:21 [ТС]
	del 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	03.07.2023, 22:35 [ТС]
	Kubuntovod, думаю хорошей идеей будет такое решение: скрипт, который проверяет и записывает в файл дату создания, дату изменения и имя файла. Если один из этих показателей поменялся, то значит файл новый и его следует скопировать. Добавлено через 20 минут тот скрипт который последний, только чтобы кроме имени ещё и даты проверял Добавлено через 2 минуты файлы - изображения. попадают в windows каталог периодически. Могут вообще не попадать неделю, а могут и за сутки штук 700 привалить, в рабочее время. Именуются "цифры ФИО полностью" 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 07:29 [ТС]
	Цифры восьмизначные. Я сейчас попробовал скрипт запустить через крон и оказывается он всё копирует, несмотря на то, что в файле текстовом написано. 0

@Kubuntovod 3308 / 935 / 202 Регистрация: 14.01.2013 Сообщений: 4,781
	04.07.2023, 08:00
	Файл теперь в исходящих каталогах пишется. См. 15 строку внимательно. 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 09:30 [ТС]
	Это копировалось с предыдущего скрипта и если новых файлов не было Добавлено через 19 минут В этом скрипте ругается на строку src_parh = src_paths[p] SyntaxError: invalid character in identifier 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 10:07 [ТС]
	Да, проблемы со связью, поэтому пришлось повозиться немного с копированием, а затем и с проверкой синтаксиса. Сейчас ошибка уже другая. if len(res) == 0: TypeError: object of type 'filter' has no len() Я первоначально скопировал нормально, на форум просто могу только с телефона 0

@zawibis 0 / 0 / 0 Регистрация: 16.05.2012 Сообщений: 50
	04.07.2023, 13:39 [ТС]
	Запустил скрипт, все файлы в нужные папки скопировались, файл с именами (без дат) записался в исходной папке. В принце хорошо. Далее я удалил все файлы из папки назначения (симитировав что и так будет) и добавил один новый файл в папку исходную, в итоге скрипт мне скопировал все файлы, попутно добавив название нового файла в текстовик. Добавлено через 1 час 32 минуты Kubuntovod, с прошлым скриптом, кстати, то же самое было. 0