Romych: /* Копирование на NAS */

2022-03-02T14:19:40Z

Копирование на NAS

Нова сторінка

* [http://rmcreative.ru/blog/post/bekap-na-nas-synology-cherez-rsync Бэкап на NAS Synology через rsync]
* http://xgu.ru/wiki/rsync

== Основные параметры ==

=== Простое копирование ===

rsync -a <что копировать> <куда копировать>

* <code>-a</code> — archive mode — это набор сразу несколькких параметров , включающих в себя рекурсивность, сохранение прав, групп, времени, копирование симлинков и специальных файлов.

=== Важно: формат имен каталогов ===

При копировании каталогов (а не файлов) следует обратить внимание на знак <code>/</code> замыкающий имя каталога-источника, т.к. rsync будет интерпретировать результат по-разному:

rsync -a каталог-источник каталог-назначения/
rsync -a каталог-источник/ каталог-назначения/

Наличие завершающих слешей <code>/</code> обязательно, иначе результат копирования будет содержать корневую папку <code>каталог-источник</code> внутри <code>каталога-назначения</code>.

Копирование файла <code>а</code> из <code>dir1</code> в <code>dir2</code>:

rsync -a ~/dir1/a ~/dir2/

Копирование всех файлов из <code>dir1</code> в <code>dir2</code>:

rsync -a ~/dir1/ ~/dir2/

Копирование самой директории <code>dir1</code> (со всем содержимым) в <code>dir2</code>:

rsync -a ~/dir1 ~/dir2/

=== Сжатие / компрессия во время передачи ===

Параметр <code>-z</code> или <code>--compress</code>:

rsync -az <что копировать> <куда копировать>

Работает лучше, чем обычное архивирование, потому что интеллектуально сжимает только те блоки, которые будут копироваться.

=== Отображение информации во время копирования ===

* <code>-v</code>, <code>--verbose</code> — отображдение большего количества информации
* <code>-h</code>, <code>--human-readable</code> — отображение чисел в человекопонятном формате
* <code>--progress</code> — прогресс копирования

Соответственно, более информативный вид команды:

rsync -avh --progress <что копировать> <куда копировать>

=== Синхронизация каталогов ===

По умолчанию rsync копирует только:

* новые файлы, которых еще нету на месте назначения,
* измененные файлы, отличающиеся от тех, что есть на месте назначения.

Т.е. уже по умолчанию он хорошо работает и корректно синхронизирует место назначения с источником, не гоняя по сети ненужные файлы.

==== а) на месте назначения есть более свежие версии файлов ====

В ситуации, когда на месте назначения могут быть файлы более новые, чем на источнике, и их нужно сохранить, следует добавить параметр <code>-u</code> (<code>--update</code>).

Также в этой ситуации может помочь двусторонняя синхронизация (объединить содержимое <code>dir1</code> и <code>dir2</code>):

rsync -a ~/dir1/ ~/dir2/ && rsync -a ~/dir2/ ~/dir1/

==== б) на источнике были удалены файлы, которые больше не нужны ====

По умолчанию rsync не удаляет на месте назначения файлы, которые были удалены на источнике. Это поведение можно изменить с помощью параметра <code>--delete</code>.

Точная копия каталогов (с удалением всех файлов из <code>dir2</code>, которых нет в <code>dir1</code>):

rsync -a --delete ~/dir1/ ~/dir2/

=== Исключения, которые не нужно копировать ===

Исключить каталоги, синхронизация которых не требуется (например, каталог <code>dir3</code>, находящийся в <code>dir1</code>, при копировании последнего в <code>dir2</code> будет пропущен):

rsync -a ~/dir1/ --exclude="./~dir3/" ~/dir2/

Исключение нескольких каталогов делается повторением парметра <code>--exclude</code>. Примеры исключений из реальной жизни:

--exclude="- mod-tmp/"
--exclude="- munin/"
--exclude="- nginx-logs/"
--exclude="- httpd-logs/"
--exclude="- mysql_db_error.log"

=== Большие файлы и докачка ===

По умолчанию в rsync в случае разрыва соединения частично переданные файлы удаляются. Чтобы изменить это, необходимо добавить параметр <code>--partial</code>.

Есть короткий параметр <code>-P</code>, который включает в себя два других параметра:

* <code>--partial</code> — сохранять частично скопированные файлы.
* <code>--progress</code> — отображать прогресс передачи файлов.

Учитывайте, что в результате у вас могут образовываться в месте назначения файлы, скопированные лишь частично.

Можно использовать параметр <code>--partial-dir=DIR</code> (например <code>--partial-dir=.rsync-partial</code>), чтобы в место назначения попадали только полностью скопированные файлы, а частично скопированные хранились в отдельной папке.

Параметр <code>--append-verify</code> сравнивает файлы на обоих концах передачи по контрольным суммам. Этот параметр позволяет сделать полноценную и безопасную синхронизацию даже в случае, если был обрыв передачи при предыдущем копировании.

При использовании <code>--append-verify</code> rsync будет вести себя так же, как и всегда, для всех файлов одинакового размера. Если файлы отличаются модификацией или датой, он перезапишет цель файлом источника без дальнейшего изучения этих файлов.

Параметр <code>--checksum</code> сравнивает содержимое (контрольные суммы) каждой пары файлов с одинаковым именем и размером, т.е. это более долгий вариант сравнения.

Итого: для копирования больших файлов с возможностью докачки нужно использовать ключи <code>--partial</code> (или <code>-P</code>, или <code>--partial-dir=.rsync-partial</code>) и <code>--append-verify</code>. Параметр <code>--partial</code> говорит о том, что нужно оставлять даже не полностью скопированные файлы, а <code>--append-verify</code> говорит о том, что если файл уже есть нужно проверить, возможно он не полностью синхронизирован, и синхронизировать остаток.

=== Работа с удаленной машиной ===

Для использования SSH не нужно никаких дополнительных параметров типа <code>-e ssh</code>. Если цель указывается в виде <code>user@host:/path/to/files</code>, то и так по умолчанию будет использован SSH.

Параметр <code>-e ssh</code> может потребоваться, если нужно указать какие-то специфические особенности использования SSH:

* указать нестандартный порт SSH: <code>-e 'ssh -p 2222'</code>
* указать нестандартное расположение приватного ключа: <code>-e 'ssh -i /path/to/private/key/file.pem'</code>

== Синхронизация-копирование с локальной машины на хостинг ==

rsync -avzh --delete --progress /var/www/observer.test/html/ zinamuseum@zinahost.com:www/observer.megalit.org/

== Копирование на NAS ==

Для доступа к NAS снаружи нужно в роутере прописать перенаправление TCP порта 873.

Указывать наш NAS rsync-у будем в виде

rsync@134.249.168.79::NetBackup/

Копируем директорию на удаленную систему

rsync -av /tmp/photos rsync@134.249.168.79::NetBackup/

rsync -av --progress /var/www/ rsync@134.249.168.79::NetBackup/91.197.131.59/2014-11-07 &

== Копирование с NAS на сервер ==

rsync -zauvP --exclude="- cache/**" /var/www/s_techlguagmailc/ root@77.120.120.73:/var/www/s_techlguagmailc/

== Копирование с одного сервера на другой ==

rsync -zauvP --exclude="- cache/" --exclude="- mod-tmp/" /var/www/s_techlguagmailc/ root@77.120.120.73:/var/www/s_techlguagmailc/

rsync -zauvP --exclude="- cache/" /var/www/ rsync@134.249.168.79::NetBackup/91.197.131.59/2014-11-07

Находимся на новом сервере, копируем файлы сайта со старого сервера <code>host.com</code> в папку <code>old</code>:

rsync --recursive --perms --times --partial --progress --verbose USER@HOST.COM:/var/www/USER/data/www old

rsync -rptPv USER@HOST.COM:www old

* <code>-z</code> — compress file data during the transfer
* <code>-a</code> — archive mode; equals <code>-rlptgoD</code> (no <code>-H</code>, <code>-A</code>, <code>-X</code>)
** <code>-r</code>, <code>--recursive</code> — recurse into directories
** <code>-l</code> — copy symlinks as symlinks
** <code>-p</code>, <code>--perms</code> — preserve permissions
** <code>-t</code>, <code>--times</code> — preserve modification times
** <code>-g</code> — preserve group
** <code>-o</code> — preserve owner (super-user only)
** <code>-D</code> — preserve device files (super-user only) and preserve special files
* <code>-u</code>, <code>--update</code> — skip files that are newer on the receiver
* <code>-v</code>, <code>--verbose</code> — increase verbosity
* <code>--partial</code> — keep partially transferred files
* <code>--progress</code> — show progress during transfer
* <code>-P</code> — same as <code>--partial --progress</code> — keep partially transferred files, show progress during transfer

== Копирование в пределах одного компьютера с исключением папок ==

rsync -avP --exclude="- cache/" --exclude="- default/files/" --exclude="- ckfinder" /var/www/obzor/data/www/obzor.com.ua/ /var/www/obzor/data/www/beta.obzor.lg.ua/

или, если мы находимся внутри папки www:

rsync -avP --exclude="- cache/" --exclude="- default/files/" --exclude="- ckfinder" obzor.com.ua/ beta.obzor.lg.ua/

== Запуск в фоне ==

screen команда
ctrl-a
d

Вернуть из фона:

screen -list
(видим имя_процесса)
screen -r имя_процесса

== Скрипт деплоя на основе rsync ==

<source lang="bash">
#!/bin/sh

LOCAL="/var/www/example.test/html/" # site directory on the local machine
USER=username
HOST=zinahost.com
DIR="www/example.com/" # the directory on hosting server where your web site files should go

rsync -azv --delete --progress ${LOCAL} ${USER}@${HOST}:${DIR}

exit 0
</source>

Чтобы rsync не спрашивал пароль, нужно настроить [[SSH | авторизацию SSH по ключу]].

== Ссылки ==

* [https://www.opennet.ru/tips/info/1768.shtml Полезные рецепты при работе с rsync]

Rsync - Історія редагувань

Romych: /* Копирование на NAS */