WebHTTrack Website Copier

Offline prohlížeč webu, který umožňuje stáhnout webové stránky přímo z Internetu do lokálního adresáře, rekurzivně sestavit všechny adresáře, získat html, obrázky a další soubory. Používá webové rozhraní s průvodcem.

Uspořádá původní web relativně do struktury odkazů. Jednoduše stačí v prohlížeči otevřít "zrcadlenou" stránku a můžete tento web procházet tak jako kdybyste byli online. HTTrack umí také aktualizovat jednou zrcadlené stránky a pokračovat v přerušeném stahování. WebHTTrack je plně konfigurovatelný a má integrovaný systém nápovědy.

Instalace

sudo apt-get install webhttrack

Terminál:

sudo apt-get install httrack
httrack --ext-depth=1 http://example.com

Nastavení

  1. Odkazy:
    • Stáhnout nejprve HTML soubory!
  2. Pavouk
    • žádná pravidla podle robots.txt

U drupalu v souboru settings.php zakomentujte (nastavte relativně) $base_url.

Další možnosti:

  • příkaz wget - stažení offline verze webu
    • zapnutí ukládání přípon souborů např. html yes
    • wget -mkp -e html_extension=On www.example.com
      • m — kopie (--mirror)
      • r — načíst rekurzivně
      • k — převést externí odkazy obsažené v dokumentu na lokální
      • K — uložení originálních souborů (před konverzí)
      • p — stáhnout vše (inline obrázky, zvuky a odkazované styly)
      • np — pouze obsah směrem "dolů" (--no-parent)
      • N — zapnout časové "razítko" (pouze obnoví místní kopii, pokud se změnil vzdálený obsah)
      • -l 2 — maximální úroveň zanoření 2 (level 2)
    • spoždění 5 sekund mezi požadavky (snížení zátěže na připojení)
    • wget -mk -w 5 www.example.com
    • pouze obsah směrem "dolů" (ve výchozím stavu se stahuje i nadřazený obsah)
    • wget -mknp www.example.com/subfolder
    • další příklad použití (některé volby jsou již zahrnuty v parametru m --mirror)
    • wget -rkpN -l 2 www.example.com
    • wget for Mac OS X
      • rozbalte wget.zip např. do /usr/local/bin
  • FOSSwire
  • Windows (Cygwin, GnuWin32)