Создание автономной зеркальной копии сайта с помощью Wget в Windows и Linux
Иногда вам нужно получить доступную для просмотра копию веб-сайта, чтобы вы могли получить к нему доступ в автономном режиме, подключить USB-накопитель или даже загрузить на свой смартфон и прочитать его во время полета или путешествия. Хотя в современных браузерах и операционных системах легко сохранить веб-страницу в формате PDF, обработка каждой отдельной страницы может раздражать. А вот и wget.
Wget — это менеджер загрузок с открытым исходным кодом. Это консольное приложение, разработанное в первую очередь для Linux, но успешно перенесенное на другие ОС, включая Windows и MacOS.
Если вы не знакомы с wget, вам обязательно стоит попробовать. Это очень мощно. Он позволяет получать файлы с веб-сайтов, используя HTTP, HTTPS и FTP, Интернет-протоколы, которые мы используем в наши дни. Его поведение контролируется аргументами командной строки.
Wget поддерживает множество опций для получения файлов при медленных или нестабильных соединениях, в том числе повторные попытки, продолжение с того места, где оно осталось, и многое другое. Он поддерживает файл robots.txt, поэтому может работать как поисковый робот. Он может извлекать только измененные файлы, поддерживает подстановочные знаки, ограничения типов файлов и обычные расширения.
Wget поддерживает рекурсивное извлечение веб-сайтов в формате HTML и FTP-серверов, что позволяет вам создавать зеркало веб-сайта. Вот как это можно сделать.
Прежде чем продолжить, вам необходимо получить приложение wget.
СОДЕРЖАНИЕ Получить Wget в Windows Получите Wget в Linux Debian / Ubuntu / Mint: CentOS / Redhat Arch Linux Пустота Linux Чтобы сделать автономную копию сайта с помощью Wget,
Получить Wget в Windows
Обычно я использую двоичные файлы из этих источников:
- Вечно скучный
- SourceForge
Оба делают свое дело.
Получите Wget в Linux
Используйте менеджер пакетов вашего дистрибутива. Некоторые примеры (запустите их как root):
Debian / Ubuntu / Mint:
apt install wget
CentOS / Redhat
ням установить wget
Arch Linux
pacman -Sy wget
Пустота Linux
xbps-install -S wget
Чтобы сделать автономную копию сайта с помощью Wget,
- Откройте командную строку / терминал.
- В Windows введите полный путь к файлу wget.exe.
- В Linux введите просто wget.
- Теперь введите следующие аргументы, чтобы получить следующую команду: wget —mirror —convert-links —adjust-extension —page-Requisites —no-parent https://site-to-download.com
- Заменить https://site-to-download.com часть с фактическим URL-адресом сайта, который вы хотите сделать зеркалом.
Вы сделали!
Вот переключатели, которые мы используем:
- —зеркало — применяет ряд параметров, чтобы сделать загрузку рекурсивной.
- — нет родителей — Не сканировать родительский каталог, чтобы получить только часть сайта.
- —convert-links — заставляет все ссылки корректно работать с офлайн-копией.
- —page-реквизиты — загрузите файлы JS и CSS, чтобы сохранить исходный стиль страницы при просмотре локального зеркала.
- —adjust-extension — добавляет соответствующие расширения (например, html, css, js) к файлам, если они были получены без них.
Вот и все.
