¿Cuáles son las alternativas ahora que la API de búsqueda web de Google ha quedado en desuso? [cerrado]

La API de Google Web Search ha quedado en desuso y reemplazada por la API de búsqueda personalizada (consulte http://code.google.com/apis/websearch/ ).

Quería buscar en toda la web, pero parece que con la nueva API solo se pueden buscar sitios personalizados.

¿Hay alguna forma de buscar en toda la web mediante programación? Pude consultar la antigua API usando JSON desde un programa Java.

Podrías enviarlos como lo hace un navegador y luego analizar el html, eso es lo que siempre he hecho, incluso para cosas como Youtube.

Sí, Google Custom Search ahora ha sustituido a la antigua API de búsqueda, pero se puede seguir utilizando Google Custom Search para buscar en toda la web , aunque los pasos no son evidentes a partir de la configuración de búsqueda personalizado.

Para crear un motor de búsqueda personalizado de Google que busque en toda la web:

1. Desde la página de inicio de Búsqueda personalizada de Google ( http://www.google.com/cse/ ), haga clic en Crear un motor de búsqueda personalizado.
2. Escriba un nombre y una descripción para su motor de búsqueda.
3. En Definir su motor de búsqueda, en el cuadro Sitios para buscar, ingrese al menos una URL válida (por ahora, simplemente ingrese www.anyurl.com para pasar esta pantalla. Más sobre esto más adelante).
4. Seleccione la edición CSE que desee y acepte los Términos de servicio, luego haga clic en Siguiente. Seleccione la opción de diseño que desee y luego haga clic en Siguiente.
5. Haga clic en cualquiera de los enlaces en la sección Pasos siguientes para navegar a su Panel de control.
6. En el menú de la izquierda, en Panel de control, haga clic en Conceptos básicos.
7. En la sección Preferencias de búsqueda, seleccione Buscar en toda la web pero haga hincapié en los sitios incluidos.
8. Haz clic en Guardar cambios.
9. En el menú de la izquierda, en Panel de control, haga clic en Sitios.
10. Elimine el sitio que ingresó durante el proceso de configuración inicial.

Ahora su motor de búsqueda personalizado buscará en toda la web.

Precios

• La Búsqueda personalizada de Google te ofrece 100 consultas por día de forma gratuita.
• Después de eso, paga $ 5 por 1000 consultas.
• Hay un máximo de 10,000 consultas por día.

Fuente: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

• La calidad de búsqueda es mucho más baja que la búsqueda normal de Google (sin sinónimos, "inteligencia", etc.)
• Parece que Google incluso planea cerrar este servicio por completo.

La Búsqueda personalizada de Google (como se recomienda en las respuestas mejor calificadas) funciona bien, pero es muy costosa, en comparación con sus competidores (a continuación) o en comparación con otras API de Google. Tiene un pequeño nivel gratuito (100 consultas / día) y un precio muy alto de $ 5 por 1000 consultas.

Ofrecen la opción de actualizar a Site Search, que tiene precios ligeramente mejores, pero está destinado a buscar un sitio (el suyo), por lo que es realmente algo bastante diferente, no una actualización.

Las principales alternativas parecen ser:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Que tiene un nivel gratuito de 5000q / mes, y precios que comienzan en 5 consultas por centavo, y sin límite estricto.

ACTUALIZACIÓN: a finales de 2016, esta API se cerró a favor de su contraparte de Azure "API de búsqueda de servicios cognitivos Bing":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Vea aquí una tabla de precios, que comienza en US $ 3 / m para 1,000 transacciones. A menos que me falte algo, es bastante caro.

ACTUALIZACIÓN DE LA API DE BOSS Search de Yahoo : se suspendió el 31 de marzo de 2016. http://developer.yahoo.com/boss/search/
Con precios que comienzan en alrededor de 12 consultas / centavo para búsquedas web completas.

Y algunos que no he escuchado antes:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[descontinuado - como se señala a continuación]

Hay un poco de discusión sobre algunos de estos en esta publicación SO .
[se cerró por estar fuera de tema y ahora se ha ido]

Aquí hay una opción en la parte inferior del Panel de control de búsqueda personalizada: "Sitios para buscar" , puede elegir "Buscar en toda la web pero enfatizar los sitios incluidos"

Faroo tiene una API de búsqueda web gratuita

Acabo de encontrar esto desde Common Crawl.

http://www.commoncrawl.org/

¡Puede ser la respuesta que todos estamos buscando!

Hay una nota en la parte superior de los documentos :

Nota: La API de Google Web Search ha quedado en desuso oficialmente a partir del 1 de noviembre de 2010. Continuará funcionando según nuestra política de desaprobación , pero la cantidad de solicitudes que puede hacer por día será limitada. Por lo tanto, lo alentamos a pasar a la nueva API de búsqueda personalizada .

La política de desaprobación dice que continuarán ejecutando la API durante 3 años. Entonces, si ya tiene una aplicación que usa la API anterior, no tiene que apresurarse a cambiar las cosas todavía. Si está escribiendo una nueva aplicación, use la API de búsqueda personalizada . Vea mi respuesta aquí para saber cómo hacer esto en Python, pero la idea es la misma para cualquier idioma.

Hay una API Java gratuita llamada JFreeWebSearch que utiliza el ya mencionado Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Puede crear un motor de búsqueda personalizado "en todas partes" directamente desde la página de inicio de Búsqueda personalizada de Google ( http://www.google.com/cse/ ). Simplemente debe hacer clic en "avanzado", al agregar un nuevo motor. Allí puede proporcionar el tipo de sitio Schema.org. ' Cosa ' es el tipo más genérico, que cubre toda la web.

Gigablast ofrece una API de búsqueda web barata: http://www.gigablast.com/searchfeed.html