¿Alguien sabe cómo Google o Yahoo realizan búsquedas de palabras clave en cantidades muy grandes de datos? ¿Qué tipo de base de datos o tecnologías emplean para esto?
Tarda unos pocos milisegundos, pero tienen más de mil millones de páginas indexadas.
Respuestas:
Estoy seguro de que hay una combinación de cosas:
gran cantidad de datos: los datos se distribuyen y replican en muchos nodos y diferentes centros de datos
Palomas .
El corazón de la tecnología de búsqueda de Google es PigeonRank ™ , un sistema para clasificar páginas web desarrollado por los fundadores de Google Larry Page y Sergey Brin en la Universidad de Stanford:
Sobre la base del trabajo innovador de BF Skinner, Page y Brin razonaron que los grupos de palomas (PC) de bajo costo podrían usarse para calcular el valor relativo de las páginas web más rápido que los editores humanos o los algoritmos basados en máquinas. Y aunque Google tiene docenas de ingenieros trabajando para mejorar todos los aspectos de nuestro servicio a diario, PigeonRank continúa proporcionando la base de todas nuestras herramientas de búsqueda web.
Por qué el PigeonRank ™ patentado de Google funciona tan bien
El éxito de PigeonRank se basa principalmente en la capacidad de entrenamiento superior de la paloma doméstica (Columba livia) y su capacidad única de reconocer objetos independientemente de la orientación espacial. La paloma gris común puede distinguir fácilmente entre elementos que muestran solo las diferencias más pequeñas, una capacidad que le permite seleccionar sitios web relevantes de entre miles de páginas similares.
Al recolectar bandadas de palomas en grupos densos, Google puede procesar consultas de búsqueda a velocidades superiores a los motores de búsqueda tradicionales, que generalmente dependen de aves rapaces, gallinas empolladoras o aves acuáticas de movimiento lento para hacer sus clasificaciones de relevancia.
Cuando se envía una consulta de búsqueda a Google, se enruta a una cooperativa de datos donde monitorea las páginas de resultados flash a velocidades increíbles . Cuando una de las palomas en el grupo observa un resultado relevante , golpea una barra de acero recubierta de goma con su pico, que asigna a la página un valor de PigeonRank de uno. Por cada picotazo, el PigeonRank aumenta . Las páginas que reciben la mayor cantidad de picotazos se devuelven en la parte superior de la página de resultados del usuario y los demás resultados se muestran en orden jerárquico.
Es importante tener en cuenta un par de cosas sobre google:
Su base de datos es BigTable patentada : fue diseñada a medida por GOOGLE para adaptarse exactamente a sus necesidades
Su base de datos patentada está construida sobre su sistema de archivos patentado, Google File System , que fue diseñado, nuevamente por GOOGLE , para ser fácilmente expandible utilizando hardware común. Como Aaron mencionó en su respuesta, tienen una gran cantidad de servidores promedio en lugar de una pequeña cantidad de servidores muy potentes.
Almacenan tablas individuales en varias máquinas como una forma de hacer que el acceso sea más rápido: su software sabe qué datos están en qué máquina y, en lugar de pasar por un disco para localizarlos, puede ir directamente al servidor con la información relevante.
Google no utiliza la tecnología tradicional de bases de datos relacionales. Desarrolló su propia tecnología, redujo la tabla grande y el mapa. Los trabajos de investigación originales están aquí: Big Table y Map / Reduce . También es interesante la tabla de cadenas ordenadas SSTable .
Tecnología similar ahora se utiliza en hadoop y las bases de datos NoSQL .
Lea " In The Plex: cómo piensa, trabaja y da forma nuestra vida " a Steven Levy . Este libro es una lectura fascinante sobre todas las cosas de Google y discute a alto nivel algunas de las tecnologías e ingeniería detrás de la búsqueda. Aaron lo resume muy bien en su respuesta y el libro de Levy le dará más detalles sobre cómo lo hacen.