Скрипт резервного копирования

@tasay · Регистрация: 09.11.2010

Студворк — интернет-сервис помощи студентам

Ребят помогите пожалуйста, я в Python очень плохо разбираюсь, учили мы его очень быстро, практически сами.Задали такую работу.Написать скрипт создания системы резервного копирования УДАЛЕННЫХ ИЛИ ИЗМЕНЕННЫХ обьектов.Немного вот нашла по этой теме, но это не совсем то, здесь идет копирование всех файлов, а мне нужно только измененных или удаленных.Все кто может помочь, очень прошу помочь.У нас его толком никто не знает, вот и обратиться не к кому(((Как мне в этом скрипте зделать так чтоб копировалось то что мне нужно, а не все?
Вот скрипт с пояснениями:

Переместимся в корневой раздел:
[root@deep]# cd /

Важно всегда начинать с изготовления полной резервной копии, например, в пятницу:
Пятница 1 (используйте ленту 1 для первой полной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home
Понедельник (используется лента 2 для добавочной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home
Вторник (используется лента 3 для добавочной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home
Среда (используется лента 4 для добавочной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home
Четверг (используется лента 5 для добавочной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home
Пятница 2 (используется лента 6 для полной резервной копии).
[root@deep /]# cd /
[root@deep /]# tar cpf /dev/st0 --label=" full-backup created on `date '+\
%d-%B-%Y'`." --directory / home

Далее, делаем добавочные резервные копии на лентах со 2 по 5 и так далее.
Опция c определяет, что мы создаем архивный файл. Опция p сохраняет права доступа. Опция N делает добавочную резервную копию и запоминает файлы новее, чем DATE. Опция f говорит, что следующий аргумент будет либо именем архивного файла, либо именем устройства, на которое производится запись.
Объясним, как мы получили имя файла, который содержит текущую дату: просто поместим команду date между обратными кавычками. К основному имени добавляется суффикс tar для несжатых архивов, и суффикс tar.gz для сжатых. Так как мы не определяем конкретное имя для файла резервной копии, то воспользуемся опцией --label, которая позволяет записать некоторую информацию в архивный файл. В заключение мы определяем, что только файлы из каталога /home будут записаны на ленту.

Так как лента это устройство посимвольного ввода, мы не можем определить имя файла. Поэтому, в качестве аргумента для опции "имя файла" программы tar используется просто имя устройства /dev/st0. Устройство /dev/st0 не перематывается после создания резервной копии, поэтому мы имеем возможность записать на одну ленту несколько сессий. Мы можем также сказать устройству /dev/st0 автоматически перемотать ленту после окончания записи резервной копии.
Для уменьшения пространства, занимаемого tar-архивом, резервная копия может быть сжата при помощи опции z программы tar. К сожалению, использование этой опции может создать ряд проблем. Из природы работы сжатия следует, что если хотя бы один бит будет испорчен, то и все данные, нужные для восстановления будут потеряны. Поэтому рекомендуется не использовать сжатие (опция z) для создания резервной копии при помощи команды tar.
Если наша резервная копия не помещается на ленте, то нам надо использовать опцию --multi-volume (-M) для создания многотомных архивов:
[root@deep /]# cd /
[root@deep /]# tar cMpf /dev/st0 /home
Prepare volume #2 for /dev/st0 and hit return:
После того, как мы создали резервную копию, мы должны убедиться, что все хорошо, используем опцию --compare (-d):
[root@deep /]# cd /
[root@deep /]# tar dvf /dev/st0
Для резервного копирования всей системы используем следующую команду:
[root@deep /]# cd /

[root@deep /]# tar cpf /archive/full-backup-`date '+%d-%B-%Y'`.tar \
--directory / --exclude=proc --exclude=mnt \
--exclude=archive --exclude=cache --exclude=*/lost+found .

Опция --directory говорит tar, что до начала резервного копирования надо перейти в следующий каталог (в нашем примере /). Опция --exclude говорит tar не создавать резервные копии заданных каталогов и файлов. Символ ., находящийся в конце командной строки говорит tar, что он должен копировать все в текущем каталоге.

Когда мы создаем резервную копию нашей системы, ненужно включать в нее псевдофайловую систему /proc! Файлы в /proc не настояшие файлы, это просто файлоподобные ссылки к структуре ядра. Также не включаем каталоги /mnt, /archive и все lost+found.

@Eliont · 10.12.2010, 12:59

Не совсем.
1) Рекурсивно (со всеми подкаталогами) проверяется папка источник.
2) Затем, если такого файла в папке назначения нет - он туда копируется.
3) Если он там есть проверяется дата модификации и только в случае если в папке назначения более старая версия он обновляется.

Можно дописать полную синхронизацию - затем сканируется папка назначения (уже обновлённая) и те файлы, которых нету в источнике копирует назад. Вот и восстановление удалённых файлов.

Подразумевается что к папке в которую копируется (и с которой потом идёт восстановление) имеет доступ только админ.

На отдельную машину... это сложнее. Хотя в принципе реализуемо. Но тут уже с сетью придётся возиться.

Да, забыл сказать: Structure это пустой класс.

accept · 10.12.2010, 13:09

Python
1
if ini[entry][key][0] is '"':

в третьем питоне

Python
1
2
3
4
5
6
7
8
>>> s = '"'
>>> s
'"'
>>> s is '"'
False
>>> s == '"'
True
>>>

@Eliont · 10.12.2010, 13:22

Знаю.
По этой теме подробнее здесь.

@tasay · 13.12.2010, 12:40 **[ТС]**

Сообщение от accept

1 if ini[entry][key][0] is '"':
в третьем питоне
Код Python1
2
3
4
7
8
9
10
>>> s = '"'
>>> s
'"'
>>> s is '"'
False
>>> s == '"'
True
>>>

Что это означает?Можно по-подробней?
И еще, я заходила на ссылку, которую вы мне скинули- там, по-моему нет такой темы как мне надо(((

accept · 14.12.2010, 02:49

Сообщение от tasay

Что это означает?

это у него в коде проверка выполняется на основе недокументированного свойства

Python
1
dir = os.path.split(path)[-2]

тоже

там всегда разделение на два элемента

Python
1
2
3
4
5
6
7
8
9
>>> s = 'abc/def/ghi/jkl'
>>> import os
>>> os.path.split(s)
('abc/def/ghi', 'jkl')
>>> os.path.split(s)[0]
'abc/def/ghi'
>>> os.path.split(s)[-2]
'abc/def/ghi'
>>>

в help(os.path.split) написано

Python
1
2
3
            f1 = open(src_file,'rb')
            dump = f1.read()
            f2 = open(dst_file,'wb')

сначала нужно открыть оба файла, и только когда они оба открылись, читать первый файл
и читать его нужно по частям, сразу записывая, чтобы память не занимать

и похоже у него ещё нет спуска, то есть он указывает из каких каталогов копировать файлы, а там нужно копировать файлы, открывать каталоги и там тоже поиск файлов проводить, потому что каталогов там может быть много

@Eliont · 14.12.2010, 12:10

Базовый скрипт с комментариями:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
import os,sys
from special import load_config_data
 
cfg = load_config_data("config.ini")
#на выходе - словарь в котором ключи -- секции, а сами секции стали экземплярами класса
#special.py я с собой из проекта в проект таскаю
 
for key in cfg:
    print "======================================================="
    src_folder = cfg[key].src #папка-источник
    dst_folder = cfg[key].dst #папка-приёмник
 
    #Рекурсивный обход директории
    for root, dirs, files in os.walk(src_folder):
      for name in files:
        src_file = os.path.join(root, name)#Полное имя
        src_time = os.path.getmtime(src_file)#Получить время модификации
        
        #Преобразовать путь-источник в путь-приёмник
        dst_file = src_file.replace(src_folder,dst_folder+"\\"+src_folder.split("\\")[-1])
        # print dst_file
        # continue
        
        if os.path.exists(dst_file):
            #если файл существует - получить время модификации
            dst_time = os.path.getmtime(dst_file)
        else:
            #иначе - получить название директории
            path = os.path.realpath(dst_file)
            dir = os.path.split(path)[-2]
            #и в случае отсутствия папок - создать их
            if not os.path.exists(dir):
                os.makedirs(dir)
            dst_time = 0 #назначить время модифификации целевого на начало компьютерной эры
        
        #если файл в папке назначения старее - перезаписать
        #[+] - файл добавлен
        #[^] - файл обновлён
        #[=] - файл пропущен ибо время модификации исходного <= назначения
        if src_time>dst_time:
            f1 = open(src_file,'rb')
            dump = f1.read()
            f2 = open(dst_file,'wb')
            f2.write(dump)
            f1.close()
            f2.close()
            sign = dst_time is 0 and "[+]" or "[^]"
            print sign, dst_file
        else:
            print "[=]", dst_file

У меня в папках нет файлов, чей объём превышает 10 метров, так что ступенчатая запись мне не нужна.

Сообщение от accept

и похоже у него ещё нет спуска

В смысле?
Если имелось ввиду что копируется только из корневой папки то нет -- os.walk обходит все поддиректории сколько бы их не было и дерево путей копируется в точности.
Хотя можно указать исключаемые.

@tasay · 14.12.2010, 18:15 **[ТС]**

Сообщение от Eliont

#и в случае отсутствия папок - создать их
if not os.path.exists(dir):
os.makedirs(dir)

Обьясните пожалуйста, как это создает их?Т.е. в этом скрипте выполняется копирование не только измененных, но и удаленных файлов?А куда производится копирование?
Если ты не против, напиши мне свою аську, во многом не могу разобраться((((
и еще что означает вот это:

cfg = load_config_data("config.ini")
#на выходе - словарь в котором ключи -- секции, а сами секции стали экземплярами класса
#special.py я с собой из проекта в проект таскаю
Вы уж извините, но я действительно чайник в этом языке...

@Eliont · 14.12.2010, 21:59

Если с техническим английским нормально - тебе сюда: http://docs.python.org/
Большинство вопросов отпадут. Если нет - то есть много хороших учебников и на русском - а по ссылке именно документация.
Аськи у меня нет.

Сообщение от tasay

Обьясните пожалуйста, как это создает их?

У меня винда, но функция и под юниксом также работает - если путь не существует, то необходимые папки создаются.

измененных, но и удаленных файлов?

нет удалённые назад не копируются, допиши по аналогиииз

Сообщение от tasay

А куда производится копирование?

Сообщение от Eliont

dst_folder = cfg[key].dst #папка-приёмник

[pair1]
src = C:\PROJECTS
dst = C:\My Dropbox

Синхронизатор полностью:

@tasay · 14.12.2010, 22:56 **[ТС]**

Сообщение от Eliont

def dict_from_config_file(file, raw=False, vars=None):
"""Convert an INI file to a dictionary""" #from cherrypy
inifile = ConfigParser()
inifile.read(file) # Parse config file
# Load INI file into a dict
result = dict()
for section in inifile.sections():
result[section] = dict()
for option in inifile.options(section):
v = inifile.get(section, option, raw, vars)
result[section][option] = v
return result
def load_config_data(file):
ini = dict_from_config_file(file)
dictionary = dict()
for entry in ini:
dictionary[entry] = Structure()
for key in ini[entry]:
try:
dictionary[entry].__dict__[key] = int(ini[entry][key])
except ValueError:
try:
if ini[entry][key][0] is '"':
ini[entry][key] = ini[entry][key][1:]
if ini[entry][key][-1] is '"':
ini[entry][key] = ini[entry][key][:-1]
dictionary[entry].__dict__[key] = ini[entry][key]
except IndexError:
dictionary[entry].__dict__[key] = ''
dictionary[entry].id = entry
return dictionary

С первой частью как-то разобралась....Что делает эта часть программы?

accept · 15.12.2010, 02:16

Сообщение от Eliont

У меня винда, но функция и под юниксом также работает

Python
1
dst_file = src_file.replace(src_folder,dst_folder+"\\"+src_folder.split("\\")[-1])

os.path.join() автоматически определяет разделитель, как и os.path.split()

иначе

Python
1
2
3
4
5
6
>>> import os
>>> os.path.exists('/etc\\profile')
False
>>> os.path.exists('/etc/profile')
True
>>>

Сообщение от Eliont

Если имелось ввиду что копируется только из корневой папки то нет -- os.walk обходит все поддиректории

это мне показалось

Сообщение от Eliont

У меня в папках нет файлов, чей объём превышает 10 метров

видео часто превышает и больше, а в ini можно указать путь и к видео
прикинь, там гектар, а ты его весь в память

Python
1
sign = dst_time is 0 and "[+]" or "[^]"

будет совпадать из-за is

Python
1
sign = not dst_time and "[+]" or "[^]"

так будет точно

Python
1
2
3
4
5
>>> dst_time = 0
>>> sign = ('[+]', '[^]')[dst_time]
>>> sign
'[+]'
>>>

@Eliont · 16.12.2010, 16:37

Резонно.
Появится время, надо будет доработать.

Новые блоги и статьи Все статьи Все блоги /
Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .	Нашел вот забавное видео о измерениях. Лучшее что я видел на эту тему kumehtar 26.08.2026 ILETXiw9bMQ Основная суть и тезисы по измерениям: 0D (Нулевое измерение): точка, не имеющая длины, ширины, высоты или объема. Объект не может перемещаться в 0D. 1D (Первое измерение):. . .	[EasyBuilder Pro] Памятка по разработке для панелей Weintek ФедосеевПавел 26.08.2026 Памятка по разработке для панелей Weintek ВВЕДЕНИЕ Ранее, при реализации проектов основное внимание уделял разработке управляющей программы для контроллера, а панели оператора доставалось время. . .	Модель по догадкам anaschu 25.08.2026 Прошло две недели. Я уже рассказывал, как разговаривал с сотрудниками у сортировки и как понял, что главная ветка — не про приёмку, а про отбор. Но тогда я думал, что понял механику. На этой неделе я. . .
Запись в регистр сведений независимо от заполненности табличной части Maks 25.08.2026 Реализация из решения ниже выполнена на нетиповом документе с несколькими табличными частями, разработанного в КА2. Задача: Обеспечить запись документа в регистр сведений независимо от. . .	Ноутбук Альфария kumehtar 24.08.2026 Встретился тут в сети ноутбук Альфария, примарха Альфа-Легиона. Хотя возможно, это ноутбук Омегона, разумеется. Ну как вам?	Мастера простых решений DevAlt 23.08.2026 В сишарп стэках winforms, да и wpf существует сложная система связывания источниках данных и элементов формы(текстовые поля и метки), опирается все это на технологию событий и мета. . .	Цена ошибки DevAlt 23.08.2026 Человек я беспокойный и потому заинтересовался OCaml, в чате форсили функторы модулей как суперфичу. Пытаясь отдуплить концепт, наткнулся на тутор с простым примером. А главный принцип обучения от. . .

@tasay 0 / 0 / 0 Регистрация: 09.11.2010 Сообщений: 14

	Скрипт резервного копирования 08.12.2010, 22:46. Показов 12579. Ответов 30 Метки нет (Все метки) Ребят помогите пожалуйста, я в Python очень плохо разбираюсь, учили мы его очень быстро, практически сами.Задали такую работу.Написать скрипт создания системы резервного копирования УДАЛЕННЫХ ИЛИ ИЗМЕНЕННЫХ обьектов.Немного вот нашла по этой теме, но это не совсем то, здесь идет копирование всех файлов, а мне нужно только измененных или удаленных.Все кто может помочь, очень прошу помочь.У нас его толком никто не знает, вот и обратиться не к кому(((Как мне в этом скрипте зделать так чтоб копировалось то что мне нужно, а не все? Вот скрипт с пояснениями: Переместимся в корневой раздел: [root@deep]# cd / Важно всегда начинать с изготовления полной резервной копии, например, в пятницу: Пятница 1 (используйте ленту 1 для первой полной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Понедельник (используется лента 2 для добавочной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Вторник (используется лента 3 для добавочной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Среда (используется лента 4 для добавочной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Четверг (используется лента 5 для добавочной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpNf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Пятница 2 (используется лента 6 для полной резервной копии). [root@deep /]# cd / [root@deep /]# tar cpf /dev/st0 --label=" full-backup created on `date '+\ %d-%B-%Y'`." --directory / home Далее, делаем добавочные резервные копии на лентах со 2 по 5 и так далее. Опция c определяет, что мы создаем архивный файл. Опция p сохраняет права доступа. Опция N делает добавочную резервную копию и запоминает файлы новее, чем DATE. Опция f говорит, что следующий аргумент будет либо именем архивного файла, либо именем устройства, на которое производится запись. Объясним, как мы получили имя файла, который содержит текущую дату: просто поместим команду date между обратными кавычками. К основному имени добавляется суффикс tar для несжатых архивов, и суффикс tar.gz для сжатых. Так как мы не определяем конкретное имя для файла резервной копии, то воспользуемся опцией --label, которая позволяет записать некоторую информацию в архивный файл. В заключение мы определяем, что только файлы из каталога /home будут записаны на ленту. Так как лента это устройство посимвольного ввода, мы не можем определить имя файла. Поэтому, в качестве аргумента для опции "имя файла" программы tar используется просто имя устройства /dev/st0. Устройство /dev/st0 не перематывается после создания резервной копии, поэтому мы имеем возможность записать на одну ленту несколько сессий. Мы можем также сказать устройству /dev/st0 автоматически перемотать ленту после окончания записи резервной копии. Для уменьшения пространства, занимаемого tar-архивом, резервная копия может быть сжата при помощи опции z программы tar. К сожалению, использование этой опции может создать ряд проблем. Из природы работы сжатия следует, что если хотя бы один бит будет испорчен, то и все данные, нужные для восстановления будут потеряны. Поэтому рекомендуется не использовать сжатие (опция z) для создания резервной копии при помощи команды tar. Если наша резервная копия не помещается на ленте, то нам надо использовать опцию --multi-volume (-M) для создания многотомных архивов: [root@deep /]# cd / [root@deep /]# tar cMpf /dev/st0 /home Prepare volume #2 for /dev/st0 and hit return: После того, как мы создали резервную копию, мы должны убедиться, что все хорошо, используем опцию --compare (-d): [root@deep /]# cd / [root@deep /]# tar dvf /dev/st0 Для резервного копирования всей системы используем следующую команду: [root@deep /]# cd / [root@deep /]# tar cpf /archive/full-backup-`date '+%d-%B-%Y'`.tar \ --directory / --exclude=proc --exclude=mnt \ --exclude=archive --exclude=cache --exclude=*/lost+found . Опция --directory говорит tar, что до начала резервного копирования надо перейти в следующий каталог (в нашем примере /). Опция --exclude говорит tar не создавать резервные копии заданных каталогов и файлов. Символ ., находящийся в конце командной строки говорит tar, что он должен копировать все в текущем каталоге. Когда мы создаем резервную копию нашей системы, ненужно включать в нее псевдофайловую систему /proc! Файлы в /proc не настояшие файлы, это просто файлоподобные ссылки к структуре ядра. Также не включаем каталоги /mnt, /archive и все lost+found. 0

@Eliont 2 / 2 / 0 Регистрация: 10.12.2010 Сообщений: 29
	10.12.2010, 12:59
	Не совсем. 1) Рекурсивно (со всеми подкаталогами) проверяется папка источник. 2) Затем, если такого файла в папке назначения нет - он туда копируется. 3) Если он там есть проверяется дата модификации и только в случае если в папке назначения более старая версия он обновляется. Можно дописать полную синхронизацию - затем сканируется папка назначения (уже обновлённая) и те файлы, которых нету в источнике копирует назад. Вот и восстановление удалённых файлов. Подразумевается что к папке в которую копируется (и с которой потом идёт восстановление) имеет доступ только админ. На отдельную машину... это сложнее. Хотя в принципе реализуемо. Но тут уже с сетью придётся возиться. Да, забыл сказать: Structure это пустой класс. 0

@Eliont 2 / 2 / 0 Регистрация: 10.12.2010 Сообщений: 29
	10.12.2010, 13:22
	Знаю. По этой теме подробнее здесь. 0

@Eliont 2 / 2 / 0 Регистрация: 10.12.2010 Сообщений: 29
	16.12.2010, 16:37
	Резонно. Появится время, надо будет доработать. 0