Установка интерпретатора RUBY и скрипта wayback_machine_downloader для загрузки архивных копий сайтов

Здравствуйте, уважаемые читатели! Последние годы из интернета по разным причинам стали пропадать различные любительские сайты с бесплатных хостингов. Сайт может быть как повреждён по вине недобросовестных хостеров, так и безжалостно порезан при смене владельца ресурса, а может быть банально без сожаления заброшен самим автором. Нередко пропавшие либо повреждённые сайты любителей были весьма интересными, а иногда несли и сегодня актуальную техническую информацию...

К счастью, имеется весьма прогрессивный ресурс - Internet Archive: Wayback Machine, который денно и нощно собирает резервные копии различных интернет-ресурсов по всей планете! И правда, набрав имя неработающего сайта в адресной строке веб-архива можно получить целую биографию уже без вести пропавшего ресурса! Однако, веб-архив не только имеет невысокое быстродействие, но даже просто загрузить весь сайт командой wget не так-то просто - повреждаются ссылки внутренних переходов. А последнее время и вовсе большую часть архива wget просто не видит.

Но не всё так беспросветно и глухо - есть простая скриптовая программа на интерпретируемом языке ruby, которая поможет загрузить архивную копию сайта с нормально работающими внутренними переходами.

Главное, нужно обязательно выставить точную дату, иначе при установке скрипта вылезет ошибка сертификата! Поскольку в микрокомпьютере сохранение часов не предусмотрено, то сразу после перезагрузки аппарат будет абсолютно уверен, что на дворе только что наступил Новый 1970 Год:

Потом можно уже устанавливать интерпретатор ruby:

Наконец, остаётся установить сам инструмент - скриптовый загрузчик wayback_machine_downloader:

Вот и всё! Теперь можно спокойно загружать работающие архивные копии сайтов.

Для сохранения копии сайта http://site.narod.ru в папку /site.narod.ru раздела /mnt/usbflash3 нужно запустить скрипт, предварительно указав сайт и место сохранения:

wayback_machine_downloader httр://site.narod.ru -d /mnt/usbflash3/site.narod.ru

Напоследок, опции wayback_machine_downloader:

-d, --directory PATH	Каталог для сохранения загруженных файлов. По умолчанию это ./websites/ плюс домен загруженного сайта.
-s, --all-timestamps	Загрузить все файлы из архива
-f, --from TIMESTAMP	Только файлы или после поддерживаемого снимка, например 20060716231334
-t, --to TIMESTAMP	Только файлы или до поддерживаемого снимка, например 20100916231334
-e, --exact-url	Только URL адреса.
-o, --only ONLY_FILTER	Ограничить скачивание URL адресов, соответствующих этому фильтру. Используйте // для фильтрации регулярными выражениями.
-x, --exclude EXCLUDE_FILTER	Сбросить скачивание URL адресов, соответствующих этому фильтру. Используйте // для фильтрации регулярными выражениями.
-a, --all	Расширить загрузку до скачивания файлов ошибок (40x и 50x) и перенаправлений (30x)
-c, --concurrency NUMBER	Количество различных файлов для одновременной загрузки
-p, --maximum-snapshot NUMBER	Максимальное число снимков страниц для рассмотрения
-l, --list	Только список ссылок в формате json c временными метками
-v, --version	Отобразить версию

Удачных раскопок!

Обновлено - 10.12.2018. Установщик apt-get предварительно настроен для минимизации количества устанавливаемых пакетов.

Обновлено - 24.11.2019. Добавлено описание опций wayback_machine_downloader.

Благодарю за внимание, доброго здоровья!

Сайт работает на микрокомпьютере