Estoy buscando una araña web para Ubuntu como esta Webripper - Calluna Software . Puede descargar un sitio completo como puede hacerlo con
wget -r -m example.com
pero la característica que estoy buscando es que puede ingresar un término de búsqueda como "Linux" y busca en la Web y los descarga. ¿Hay algún programa en Ubuntu como este?
Respuestas:
Dale una oportunidad a httrack (CLI) o webhttrack (interfaz web), está en el repositorio del universo. No estoy seguro acerca de la función de término de búsqueda que describe, pero ofrece un montón de opciones fácilmente configurables.
http://packages.ubuntu.com/de/oneiric/webhttrack
HTTrack Website Copier - Navegador sin conexión de software libre (GNU GPL)
Puedes probar http ripper .
Aquí hay algunas características publicadas en el sitio web:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
Captura de pantalla
Mire un tutorial, del desarrollador del propio httpripper:
Enlace de descarga:
Funcionó para mí en Ubuntu 11.10 x64
Hay módulos adecuados en el CPAN de Perl. Solo necesitas un poco de scripts de Perl.
En particular, eche un vistazo al módulo WWW: Mechanize en el módulo WWW: Mechanize .