Un rastreador simple que usa Cheerio
Esta es mi fórmula para hacer un rastreador simple en Node.js. Es la razón principal para querer hacer la manipulación DOM en el lado del servidor y probablemente es la razón por la que llegó aquí.
Primero, use requestpara descargar la página a analizar. Cuando se complete la descarga, manipúlela cheerioy comience a manipular DOM al igual que con jQuery.
Ejemplo de trabajo:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Este ejemplo imprimirá en la consola todas las preguntas principales que se muestran en la página de inicio de SO. Es por eso que amo a Node.js y su comunidad. No podría ser más fácil que eso :-)
Instalar dependencias:
solicitud de instalación de npm cheerio
Y ejecute (suponiendo que el script anterior esté en el archivo crawler.js):
nodo crawler.js
Codificación
Algunas páginas tendrán contenido que no esté en inglés en una determinada codificación y deberá decodificarlo UTF-8. Por ejemplo, una página en portugués brasileño (o cualquier otro idioma de origen latino) probablemente se codificará en ISO-8859-1(también conocido como "latin1"). Cuando se necesita decodificación, le digo que requestno interprete el contenido de ninguna manera y en su lugar lo uso iconv-litepara hacer el trabajo.
Ejemplo de trabajo:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Antes de ejecutar, instale dependencias:
solicitud de instalación de npm iconv-lite cheerio
Y luego finalmente:
nodo crawler.js
Enlaces siguientes
El siguiente paso sería seguir los enlaces. Digamos que desea enumerar todos los carteles de cada pregunta principal en SO. Primero debe enumerar todas las preguntas principales (ejemplo anterior) y luego ingresar cada enlace, analizando la página de cada pregunta para obtener la lista de usuarios involucrados.
Cuando comienzas a seguir enlaces, puede comenzar un infierno de devolución de llamada . Para evitar eso, debe usar algún tipo de promesas, futuros o lo que sea. Siempre mantengo asíncrono en mi cinturón de herramientas. Entonces, aquí hay un ejemplo completo de un rastreador que usa asíncrono:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Antes de correr:
npm solicitud de instalación async cheerio
Ejecute una prueba:
nodo crawler.js
Salida de muestra:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
Y eso es lo básico que debes saber para comenzar a hacer tus propios rastreadores :-)
Bibliotecas utilizadas