¿Cuál es la mejor manera de excluir los bots del recuento de vistas?

Mi sitio web cuenta las visitas de visitantes en ciertas páginas. Me di cuenta de que Google y otros Bots están "haciendo clic" en mi sitio como locos y algunas de las páginas obtienen conteos de visitas poco realistas (en comparación con los producidos por humanos).

Solicito las mejores prácticas para excluir esos bots de mis recuentos de vistas. Obviamente, un simple "agente de usuario" contiene "bot" no lo hará.

No creo que haya una solución de prueba de bala ni la necesito.

Nota: estoy usando PHP + MySQL.

Me alegra que sepas que no habrá una forma a prueba de balas para lograr esto. Eso significa que su perspectiva es al menos realista.

Como JavaScript no es una opción, diría que te quedan:

• Verifique en el agente de usuario la palabra "bot" en él. Eso atrapará a la mayoría de ellos.

• Compile una lista de bots conocidos y filtéelos en función de algún tipo de identificador único, probablemente su agente de usuario.

• Ponga un enlace oculto en el pie de página de su sitio web que enlace a una página que recopile agentes de usuario y / o direcciones IP. Los usuarios no verán esto, pero los bots sí. Entonces, cualquiera que visite esa página será un bot. Grabarlos y luego bloquearlos de sus estadísticas.

Hay tres formas bastante simples:

1. Utilice Google Analytics, que procesará y manejará todos los datos por usted, y le presentará estadísticas detalladas de los visitantes y cómo llegaron a su sitio. Esta es, con mucho, la solución más fácil.
2. Use Javascript para hacer el conteo. Cuando la página se haya cargado, genere una solicitud AJAX para su script de conteo. Los robots y las arañas no ejecutan Javascript.
3. La detección de "bot" en la cadena del agente de usuario es bastante confiable. Alternativamente, podría apegarse a bots conocidos solo como Googlebot, Yahoo, MSNbot, etc. Verificar estos tres debería cubrir el 99% de su tráfico de bot. Esta página tiene algunas otras, pero parece bastante desactualizada.

ACTUALIZACIÓN: el robot de Google y algunos bots principales no ejecuten JavaScript en estos días. Entonces, usar la opción # 2 solo ya no es viable. Sin embargo, esto significa que usarlo junto con el n. ° 3 debería ser bastante confiable, ya que puede excluir fácilmente a la mayoría de los bots utilizando JS, luego, en el lado del servidor, excluya los bots principales como Googlebot que ejecutan JS.

Además, como se menciona en los comentarios, puede intentar usar la API de Google Analytics para mostrar las vistas de cada página.

Si usa Javascript para contar las vistas, la mayoría de los bots no lo ejecutarán, por lo que no se incluirán en sus recuentos de vistas. Esta respuesta puede estar cerca de lo que desea /programming/1973448/how-can-i-count-a-page-views

Mi enfoque implica dos pases:

1. Filtre solo los navegadores web y las consolas haciendo coincidir el inicio de la cadena del agente de usuario con Mozilla|Opera|PSP|Bunjalloo|wii. Gracias a la suplantación del agente de usuario, esta comprobación detectará casi todos los navegadores
2. Excluir bots mediante cadenas de detención comunes bot|crawl|slurp|spider

Entonces, si se pasa el primer paso, asumimos que es un navegador y que hay un visitante real detrás de él. Como descubrí, algunos bots fingen ser Mozillacompatibles y comienzan su cadena de agente de usuario con él. Es por eso que el segundo pase puede ser útil y eliminarlos.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Solo uso la exclusión de análisis de agente de usuario simple. Se deshace del 99% de los bots que entran en mis páginas.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Puede usar una imagen como contador, en este caso no contará los bots y el nombre de la página se pasa como una consulta con el nombre de la imagen

Estoy usando esto en img.php que actualiza la vista de página en la base de datos:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);