Romych в 08:11, 26 червня 2025

2025-06-26T08:11:13Z

← Попередня версія		Версія за 08:11, 26 червня 2025
Рядок 221:		Рядок 221:
	== См. также ==		== См. также ==

			* [[Local server]]
	* [[Wget]]		* [[Wget]]
	* [[Кодировка текста]]		* [[Кодировка текста]]

>Zina: /* Конвертирование из win-1251 в UTF-8 */

2024-10-28T14:27:44Z

Конвертирование из win-1251 в UTF-8

Нова сторінка

HTTrack, Скачивание сайта, site downloader, зеркалирование сайта, зеркало сайта, site mirror, копия сайта.

== Httrack ==

* [https://www.httrack.com/httrack Параметры командной строки HTTrack]
* [https://www.httrack.com/html/fcguide.html Httrack Users Guide (3.10) By Fred Cohen]

=== Установка ===

sudo apt install httrack webhttrack

=== Использование ===

* <code>webhttrack</code> — выполняется в браузере
* <code>httrack</code> — выполняется в командной строке

cd ~/websites

==== Скоростное скачивание ====

httrack http://ssi.test/ --path httrack --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

<div class="note">
httrack http://www.appraiser.org.ua/ --path appraiser28 --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=5 --quiet --display --advanced-progressinfo
httrack http://www.appraiser.org.ua/ -O appraiser28 -s0 -o -%u -%F -%N0 -%k -%! -c80 -%c50 -A0 -T30 -R5 -q -%v -#p

httrack http://www.obzor.com.ua/ --path obzor2 --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=5 -*/*?page=* --quiet --display --advanced-progressinfo
httrack http://www.obzor.com.ua/ -O obzor2 -s0 -o -%u -%F -%N0 -%k -%! -c80 -%c50 -A0 -T30 -R5 -*/*?page=* -q -%v -#p

httrack http://amoral.com.ua/ --path amoral2 --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=5 --quiet --display

httrack http://krasnodon.org.ua/ --path krasnodon --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=5 -*/*?page=* --quiet --display --advanced-progressinfo

httrack https://krasnodon.org.ua/ --path krasnodon3 --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack https://www.assistantasad.org.ua/ --path assistantasad --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack http://www.perspectiva-corp.com/ --path perspectiva --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack http://voroshilov.org.ua/ --path voroshilov --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack https://donest.zina.design/ --path donest --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack https://f-krup.zina.design/ --path f-krup --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack https://favoritecards.zina.design/ --path favoritecards --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display

httrack http://192.168.33.10/ --path vagrant --robots=0 --generate-errors=0 --urlhack --footer "" -%N0 --keep-alive --disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0 --timeout=30 --retries=10 --quiet --display
</div>

==== Безопасное скачивание ====

Для более щадящего режима (медленнее, но меньше нагрузка на хостинг) изменить параметры:

--sockets=20 --connection-per-second=25

Для наиболее безопасного скачивания убрать параметры:

--disable-security-limits --sockets=80 --connection-per-second=50 --max-rate=0

==== Основные параметры ====

Минимальный набор параметров:

* <code>-O</code>, <code>--path</code> — папка, куда сохранять сайт, лог-файлы и кэш
* <code>-s0</code>, <code>--robots=0</code> — игнорировать указания robots.txt и мета-robots-тегов (0=игнорировать, 1=частично учитывать, 2=всегда следовать правилам (параметр по умолчанию), 3=всегда следовать даже строгим правилам)
* <code>-o0</code>, <code>--generate-errors 0</code> — не создавать файлы для 404 страниц
* <code>-%u</code>, <code>--urlhack</code> — использовать все возможные способы, чтобы избежать создания дубликатов страниц (двойные слэши //, www.foo.com==foo.com и т.д.)
* <code>-%F ""</code>, <code>--footer ""</code> — не вставлять внизу HTML строку: <code><nowiki>-%F "Mirrored [from host %s [file %s [at %s]]]"</nowiki></code>

Параметры для максимальной скорости скачивания:

* <code>-%N0</code> — delayed type check, don t make any link test but wait for files download to start instead (experimental) (%N0 don t use, %N1 use for unknown extensions, * %N2 always use)
* <code>-%k</code>, <code>--keep-alive</code> — use keep−alive if possible, greately reducing latency for small files and test requests (<code>%k0</code> don t use)
* <code>-%!</code>, <code>--disable-security-limits</code> — bypass built−in security limits aimed to avoid bandwidth abuses (bandwidth, simultaneous connections)
* <code>-c80</code>, <code>--sockets=80</code> — количество одновременных соединений (по умолчанию <code>c8</code>)
* <code>-%c50</code>, <code>--connection-per-second=50</code> — максимальное количество соединений в секунду (по умолчанию <code>%c10</code>)
* <code>-A0</code>, <code>--max-rate=0</code> — maximum transfer rate in bytes/seconds (1000=1KB/s max)

Поведение, если возникают проблемы:

* <code>-T5</code>, <code>--timeout=5</code> — сколько секунд выжидать после того, как обнаружится, что ссылка не отвечает
* <code>-R3</code>, <code>--retries=3</code> — сколько повторных попыток делать, если возникает таймаут или некритичная ошибка (по умолчанию <code>R1</code>)

Исключить URL'ы типа <code><nowiki>http://www.obzor.com.ua/news/armiya-novorossii38076?page=1480</nowiki></code>:

-*/*?page=*

Параметры отображения процесса скачивания:

* <code>-q</code>, <code>--quiet</code> — без вопросов (тихий режим)
* <code>-%v</code>, <code>--display</code> — показывать на экране имена скачиваемых файлов − <code>%v1</code> (по умолчанию) упрощенная версия, <code>%v2</code> с полной анимации
* <code>-#p</code>, <code>--advanced-progressinfo</code> — показывать простой интерфейс прогресса скачивания

==== Прочие параметры ====

Параметры, которые можно не указывать, потому что они идут по умолчанию:

* <code>-%P</code>, <code>--extended-parsing[=N]</code> — extended parsing, attempt to parse all links, even in unknown tags or Javascript (<code>%P0</code> don't use)
* <code>-D</code> — can only go down into subdirs
* <code>-a</code> — stay on the same address
* <code>-K0</code>, <code>--keep-links[=N]</code> — конвертировать ссылки в относительные (<code>K0</code> относительные ссылки, <code>K</code> абсолютные/оригинальные ссылки, <code>K3</code> absolute URI links)

Убраны параметры, потому что и без них норм работает:

+*.png +*.gif +*.jpg +*.jpeg +*.svg +*.css +*.js +*.ppt +*.doc +*.docx +*.xls +*.xlsx +*.zip +*.rar \
-ad.doubleclick.net/*

* <code>-F</code> — user-agent field sent in HTTP headers (<code>-F "user-agent name"</code>) (<code>--user-agent <param></code>)

-F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" \
-F "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
-F "Mozilla/5.0 (Windows NT 10.0)"

* <code>-%i</code> — make a top index for a project folder (по умолчанию <code>%i0</code> don t make) (<code>--build-top-index</code>)
* <code>-x</code>, <code>--replace-external</code> — replace external html links by error pages
* <code>-n</code>, <code>--near</code> — get non-html files 'near' an html file (ex: an image located outside)
** По умолчанию: <code>-%P</code> — extended parsing, attempt to parse all links, even in unknown tags or Javascript (<code>%P0</code> don't use) (<code>--extended-parsing[=N]</code>)
* <code>-%c1</code> — maximum number of connections/seconds (по умолчанию <code>%c10</code>)
* <code>-%B</code> — tolerant requests (accept bogus responses on some servers, but not standard!) (<code>--tolerant</code>)

=== Основные режимы работы ===

* <code>-w</code>, <code>--mirror</code> — make a mirror of site(s) (default)
* <code>-iC2</code>, <code>--update</code> — update a mirror, without confirmation
** <code>-i</code> — continue an interrupted mirror using the cache
** <code>-C</code> — create/use a cache for updates and retries (<code>C0</code> no cache, <code>C1</code> cache is prioritary, <code>C2</code> test update before)

Параметры при обновлении:

* <code>-%s</code> — update hacks: various hacks to limit re−transfers when updating (identical size, bogus response..) (<code>--updatehack</code>)

== Установка корректных прав на файлы и папки ==

sudo chmod -R 664 * && find * -type d -exec chmod 755 {} \;

== Масовое переименование расширений файлов ==

Массовое рекурсивное переименование файлов с расширением <code>.shtml</code> в <code>.html</code>:

— тестирование:

find . -name "*.shtml" | rename -v -n "s/\.shtml$/.html/"

— выполнение переименования:

find . -name "*.shtml" | rename -v "s/\.shtml$/.html/"

Дополнительно: заменить во всех .html файлах упоминание <code>.shtml</code> на <code>.html</code>:

<source lang="bash">find . -name "*.html" -exec sh -c 'sed -E "s/\.shtml/\.html/g" "{}" > tmp && mv tmp "{}"' \;</source>

== Конвертирование из win-1251 в UTF-8 ==

Кнвертировать все файлы <code>.html</code> во вложенных папках:

find . -type f -name '*.shtml' | while read i; do iconv -f WINDOWS-1251 -t UTF-8 "$i" > tmp; mv tmp "$i"; done

Заменить в файлах <code>.html</code> строку указанием кодировки '''windows-1251''' на '''UTF-8''':

find . -type f -name "*.html" -exec sh -c 'sed "s/windows-1251/UTF-8/g" "{}" > tmp && mv tmp "{}"' \;

Объединенная команда — конвертирует все <code>.html</code> файлы из windows-1251 в utf-8 и заменяет упоминание кодировки в тексте:

find . -type f -name "*.html" -exec sh -c 'iconv -f WINDOWS-1251 -t UTF-8 "{}" > tmp && sed "s/windows-1251/UTF-8/g" tmp > "{}" && rm tmp' \;

== Удаление комментариев HTTrack ==

Убрать <code><nowiki></nowiki></code>:

<source lang="bash">
find . -type f -name "*.html" -exec sed -i 's///g' {} \;
</source>

Убрать <code><nowiki></nowiki></code>:

<source lang="bash">find . -type f -name "*.html" -exec sed -i 's///g' {} \;</source>

Убрать <code><nowiki></nowiki></code>:

<source lang="bash">find . -type f -name "*.html" -exec sed -i 's///g' {} \;</source>

== Удаление счетчиков ==

<source lang="bash">find . -type f -name "*.html" -exec sed -i '//,//d' {} \;</source>

<source lang="bash">find . -type f -name "*.html" -exec sed -i '//,//d' {} \;</source>

== Обработка ссылок в тексте ==

Если в помощью [[Redirect | редиректов Nginx]] будет настроено скрытие расширений <code>.html</code>, то в тексте всех HTML файлов нужно заменить:

— убрать <code>.html</code>:

find . -name "*.html" -exec sh -c 'sed -E "s/(href=\"\S+)\.html\"/\1\"/g" "{}" > tmp && mv tmp "{}"' \;

find . -name "*.html" -exec sh -c 'perl -pi -e "s/(href=\"\S+)\.html\"/\1\"/g" "{}"' \;

<div class="note">Разница в скорости выполнения между sed+mv и perl незначительна - на около 6 тыс файлов: 9m42.449s для sed и 9m44.052s для perl.</div>

— убрать закрывающий слеш <code>/</code>:

find . -name "*.html" -exec sh -c 'sed -E "s/(href=\"\S+)\/\"/\1\"/g" "{}" > tmp && mv tmp "{}"' \;

find . -name "*.html" -exec sh -c 'perl -pi -e "s/(href=\"\S+)\/\"/\1\"/g" "{}"' \;

<div class="note">
Следующий код некорректный, потому что в некоторых директориях ссылка без слеша - это ссылка на файлы в этой же директории, и добавление слеша ломает ссылки.

— добавить открывающий слеш, если ссылка начинается не со слеша или http (делается с помощью не sed, а perl, потому что sed не умеет look-ahead): '''(протестировать избегание двух точек в начале (?!\.\.))'''

find . -name "*.html" -exec sh -c 'perl -pi -e "s/href=\"(?!http)(?!\/)(?!\.\.)(\S+)\"/href=\"\/\1\"/g" "{}"' \;
</div>

== Копирование только .html файлов ==

Копирование только <code>*.html</code> файлов с сохранением структуры директорий:

find . -name "*.html" | cpio -updm /path/to/destdir

== См. также ==

* [[Wget]]
* [[Кодировка текста]]

Mirror Site - Історія редагувань

Romych в 08:11, 26 червня 2025

>Zina: /* Конвертирование из win-1251 в UTF-8 */