Cuán (il) legal es obtener datos de una API 100% accesible pero no "expuesta"

Encontré un sitio web que proporciona una gran tabla filtrable con datos actualizados sobre las ciudades de un país. Este sitio utiliza un enfoque de desplazamiento infinito para cargar las filas de la tabla.

Al explorar el sitio utilizando las Herramientas para desarrolladores de Chrome, descubrí que realiza solicitudes AJAX a alguna URL interna para obtener los datos. Esta URL incluye muchos parámetros de consulta correspondientes a los filtros.

Traté de acceder a esa URL directamente en mi navegador y obtengo todos los datos en un buen formato JSON. Incluso puedo jugar con los filtros para obtener los datos concretos que necesito. Esta URL es realmente accesible, así que no necesito hacer nada hacky , solo llamo una URL que está allí en la red.

Entonces mi pregunta es: ¿qué tan legal o ilegal es para mí usar esa URL para recuperar los datos para mis propios fines?

Nota : No quiero crear el mismo tipo de lista de ciudades, pero quiero usar esos datos para crear un pequeño juego en línea, potencialmente para ganar un poco de dinero ...

NOTAS IMPORTANTES sobre algunas respuestas y comentarios

Este es solo un escenario de ejemplo, no estoy buscando un lugar para obtener datos sobre ciudades. Si lo desea, considere un sitio web con datos sobre el rendimiento actualizado de los jugadores de fútbol en una temporada.

En cuanto al país concreto, nuevamente, no estoy pensando en una legislación en particular, si conoces un país donde es claramente (il) legal, será información útil.

Déjame ser claro. Hay una cosa que sé bastante bien, es la ley de derechos de autor. No soy abogado, sin embargo, el conocimiento de los derechos de autor fue un requisito constante de mi consultoría durante 30 años. Como beneficio adicional, consulté principalmente a empresas de telecomunicaciones y, a menudo, trabajé con datos de suscriptores y análisis de datos y presentación de dichos datos para la venta y reutilización. Al menos, estoy especialmente calificado para responder esta pregunta en este foro.

Explicaré esto lo mejor que pueda por: uno, definiendo los versos propietarios medios ordinarios; dos, definir la excepción del caso citado y otras consideraciones relacionadas con los derechos de autor; y tres, siendo claro en la respuesta.

Déjame aclarar algunos derechos de autor. El ejemplo de una guía telefónica es un nombre inapropiado. Cuando recibe un teléfono, ha celebrado un contrato privado como ciudadano privado con una empresa privada y la información resultante, hecha pública o no, es información privada y, por lo tanto, el contenido de una guía telefónica es propiedad (preste atención a esta palabra) simplemente porque no se puede obtener generalmente a través de ningún otro medio, excepto a través de las fuentes de datos de la compañía, los datos del suscriptor. Si los datos se pueden derivar a través de medios ordinarios, como caminar y escribir números de casas y nombres de calles, entonces esos son datos disponibles públicamente y claros para usar. Esto no quiere decir que los números de teléfono no se puedan obtener por medios ordinarios. Puede ser.

Para aclarar más. Para citar de: http://www.lib.umich.edu/copyright/facts-and-data

En ningún caso la protección de los derechos de autor para una obra original de autor se extiende a ninguna idea, procedimiento, proceso, sistema, método de operación, concepto, principio o descubrimiento, independientemente de la forma en que se describe, explica, ilustra o incorpora. en tal trabajo.

Este párrafo es engañoso. Esta excepción descrita en este párrafo está cubierta por patentes y otras leyes. Los derechos de autor solo se extienden a la creación de una obra.

Los:

Doctrina del “sudor de la frente”

... se refiere a cualquier actividad, como ir de casa en casa y recopilar los datos manualmente. Esta es la definición de medios ordinarios. Es posible llamar a las puertas y solicitar los mismos datos telefónicos. Solo en la medida en que pueda recopilar los hechos por medios ordinarios es que los datos o parte de los datos de propiedad pública.

La forma habitual de utilizar los datos telefónicos es: uno, obtener los datos originales por medios legales; y dos, aplicar la doctrina del uso justo. Esto implicaría obtener una copia de la guía telefónica directamente de la compañía, que puede ser gratuita o con cargo, y organizar los hechos de una manera diferente para crear un nuevo trabajo. ¿Has intentado obtener una guía telefónica de Seattle cuando estás en Chicago? Descubrirá que la compañía telefónica probablemente le cobrará una tarifa sorprendente por ello. Sin embargo, si usted es un suscriptor telefónico en Seattle y solicita una guía telefónica de Seattle, la tarifa sería mucho menor o incluso gratuita. He tenido que hacer esto muchas veces. Hay personas cuyo trabajo es simplemente obtener guías telefónicas de telecos en persona y pagar la tarifa si es necesario.

El fallo citado en el caso Feist Publications v. Rural Telephoneen el enlace anterior (en esta respuesta) depende de dos hechos: uno, que los datos del operador cooperativo rural como monopolio local debían ponerse a disposición del público mediante un acuerdo operativo; y dos, que la presentación del trabajo tenía derechos de autor y no los hechos contenidos debido al hecho n. ° 1. Por lo tanto, solo dentro de parámetros estrechos se puede considerar este caso como un caso precedente y se debe descartar. Por lo general, no se requiere que los datos de suscriptor de una empresa privada se hagan públicos por acuerdo. Debe recordar que las cooperativas rurales se establecen como fideicomisos / entidades públicas para el bien público y son propiedad del público y / o miembros de la cooperativa y, por lo tanto, operan bajo restricciones legales que permiten su aprobación para operar o existir. Cada caso es diferente.

En los primeros días de la compañía Bell Telephone, se requería que la compañía tuviera el monopolio de hacer públicos los datos telefónicos a menos que el suscriptor lo restringiera. Cuando la compañía Bell se dividió en las pequeñas Bells, Bell Atlantic, Bell South, etc., a estas compañías todavía se les exigía como monopolios hacer públicos los datos telefónicos como se definió anteriormente. Pero con la desregulación y de hecho con VoIP, celular y otras opciones, los monopolios son raros. Solo en escenarios de monopolio se puede hacer el argumento citado anteriormente.

Continuando citando el enlace de arriba (en esta respuesta):

El hecho de que los datos no estén protegidos por derechos de autor no significa que no existan otras consideraciones legales que puedan entrar en juego cuando desee utilizar el conjunto de datos de otra persona.

Mantén esto en mente.

Cualquier conjunto de datos y su presentación, independientemente del origen de los datos, es un trabajo en sí mismo. La presentación pública de los hechos, independientemente de los medios, es una obra en sí misma.

Dado que no está obteniendo los datos a través de medios ordinarios, a pesar de que los datos se hacen públicos, e independientemente del origen original de los datos, no es libre de usar como lo describió y podría ser acusado penalmente y ser considerado civilmente responsable por posible infracción de los derechos de autor, así como por traspaso criminal y uso ilícito de computadoras y otros equipos de comunicaciones que normalmente no están autorizados y pueden estar sujetos a los estatutos de RICO.

¿Es legal usar? ¡No! ¡Absolutamente no! No se obtuvo por medios ordinarios ni es probable que la intención del operador del sitio web exponga datos de propiedad. La ausencia de una AUP (política de uso aceptable) no lo ayudará. Hay suposiciones hechas bajo la ley en cuanto al "hombre razonable", "estándar razonable" y "suposición razonable" que protege al propietario del sitio web en este caso. No es razonable que una persona inteligente use una "vulnerabilidad en el diseño / creación" del sitio web para obtener datos para otro uso. Además, si el sitio se beneficia de sus actividades, entran en juego más protecciones.

Una cosa que no parece muy clara en las otras respuestas aquí ...

Si es "legal" o no, ante todo, depende del país. Si estamos hablando de los Estados Unidos, por ejemplo, entonces usar los datos en sí no es ilegal. Sin embargo, le aconsejaría que use los datos reales del Censo de los EE. UU. Ofrecen toneladas de datos a través de lo que llaman productos TIGER. Este conjunto de datos es el mismo conjunto de datos que utilizan los profesionales de SIG para poblar mapas de Bing, mapas de Google, etc.

Sin embargo, aunque los datos pueden estar disponibles libremente, eso no significa necesariamente que los datos de esta API expuesta estén legalmente disponibles. Usted dice que está en forma JSON, lo que sugiere que ha sido 'masajeado' desde su formato original a este formato, y que ese formato personalizado podría pertenecer a la propiedad intelectual. Ese, Creo, sería ilegal de usar a menos que tenga la licencia para usarlo. Al igual que otros aquí, no soy un abogado, pero la empresa ni siquiera necesita señalarlo y llamarlo hacker. Los datos de propiedad son datos de propiedad, incluso si se entregan involuntariamente. Debe comunicarse con la empresa y hacerles saber que toda esta información está expuesta al mundo exterior, y solicitar permiso para usarla. Sin hacer eso, y teniendo esta pregunta sobre el intercambio de pila como evidencia, sería fácil construir un caso en su contra. Básicamente has dicho: "Esto no parece legítimo, pero de todos modos me gusta y quiero ganar dinero con eso". Nuevamente, no soy abogado, pero esa no parece ser una excelente manera de comenzar un juicio.

Sin embargo, si le interesan los nombres de ciudades y otros datos geográficos, casi todos están disponibles gratuitamente, independientemente del país. Lo último que supe es que EE. UU. Publica la mayor cantidad de datos, pero hay datos disponibles para prácticamente todos los países. Dudo en decir todo solo porque soy un programador y probar que una declaración de "para todos" es difícil ... si elige un país arbitrario, lo más probable es que los datos estén disponibles. Si tiene en mente un país específico, diríjase a GIS Stack Exchange . Lo principal que está buscando se llama "shapefiles", así que haga una pregunta como "¿Dónde puedo obtener shapefiles para __________?" También hay OpenStreetMapque es un mapa de código abierto No estoy seguro de lo fácil que es obtener sus datos de shapefile, pero si puede obtenerlos de ellos (y no veo por qué no podría hacerlo, puede ejecutar mapas sin conexión basados ​​localmente información almacenada), entonces tiene todos los datos que necesita y está en claro legalmente. Tendrá que pasar tiempo masajeando las cantidades masivas de datos a lo que desea, pero los archivos de forma siempre están bien definidos y son fáciles de analizar.

Si bien closetnoc ha discutido el problema de los datos en sí, existe una preocupación legal más amplia: no está autorizado para acceder a la API que ofrece los datos.

La base para la mayoría de las leyes de delitos informáticos implica la noción de "acceso no autorizado a un sistema informático". No debe confundir esta referencia a la autorización en el sentido legal con el concepto de autorización cuando se trata de control de acceso. El propietario de un sistema no tiene que asegurar su sistema para que el acceso a él sea ilegal, de la misma forma que usted sigue invadiendo cuando ingresa a una casa con una puerta desbloqueada.

En este caso, la aparente falta de seguridad no implica una autorización para usarlo. El concepto de internet tiene pocos precedentes hasta ahora en la jurisprudencia, pero se puede imaginar el uso del protocolo HTTP 80 para implicar una autorización pública para ver un sitio web. Por el contrario, los protocolos RPC en segundo plano (incluso si pueden ejecutarse en solicitudes HTTP) no se consideran disponibles públicamente a menos que el operador publique el servicio como tal, otorgando autorización para su uso a terceros.

Por lo tanto, el uso continuo de la API para recuperar datos sería ilegal. El acto de tomar un volcado de datos de la API para construir su propio conjunto de datos también sería ilegal. Si el uso de los datos después de eso es ilegal es un área gris gigante, pero closetnoc ha cubierto la mayoría de las preocupaciones.

Por supuesto, si modifica el volcado de datos después del hecho para que sea irreconocible, será casi imposible demostrar que cometió un delito. Pero si tiene tantos problemas, ¿por qué no obtener los datos de una fuente legal?

Probablemente depende de la naturaleza de los datos. Los datos puros (piense en el directorio telefónico) no pueden tener derechos de autor . Entonces, una lista de ciudades de una API debería ser un juego justo para copiar y mostrar a los usuarios. Sin embargo, si esa API tiene descripciones de la ciudad, esas descripciones estarían bajo la ley de derechos de autor y no podría usarlas sin violar los derechos de autor.

Si puede copiar legalmente los datos, recomendaría copiarlos en su propio sitio para evitar que su uso de API se cierre prematuramente.

(IANAL, y las leyes y normas varían ampliamente en todo el mundo, pero ciertas cosas tienden a permanecer consistentes debido a los tratados de PI. Si tiene un problema profesional fuera de su especialidad, consulte con un profesional).

En general, legalmente, una API no se considera "destinada al consumo público" a menos que esté documentada activamente como una API pública, con términos de servicio específicos. El hecho de que el público pueda llegar a la API no lo hace público.

En los casos en que el estado de los datos en sí no es de dominio público absoluto, y en algunos casos donde claramente es de dominio público, la intención de la entidad que proporciona la API es muy importante. Si el operador del sitio web pretendía que la API se usara para alimentar una página web dinámica o una aplicación móvil (por nombrar dos ejemplos comunes), cualquier otro uso está "no autorizado" a menos que esté específicamente autorizado en alguna parte. Si el consumidor previsto era un fragmento de código dinámico en una página web específica, con el fin de colocar píxeles entendibles por humanos en una pantalla de una manera específica (con suerte) agradable y útil, cualquier otro uso no está autorizado.

La capacidad técnica de ingresar a un edificio a través de una ventana abierta sin abrir ni romper nada no lo protegerá de ser arrestado por allanamiento criminal ...

Además, casi nunca es aconsejable jugar juegos de "habilidad técnica" versus juegos de "intención original" con un abogado de propiedad intelectual. Por lo menos, recuerde que los abogados que constantemente pierden esos casos no siguen cobrando por ellos.

De lo que estás hablando probablemente esté bien. Estás hipervinculando a la información y luego transformándola.

En Perfect 10, Inc. v. Amazon.com, Inc., [19] el Noveno Circuito consideró nuevamente si el uso de la miniatura de un motor de búsqueda de imágenes era un uso justo. Aunque los hechos estuvieron algo más cercanos que en el caso Arriba Soft, el tribunal consideró que el uso del infractor acusado era justo porque era "altamente transformador". El tribunal explicó:

Concluimos que la naturaleza significativamente transformadora del motor de búsqueda de Google, particularmente a la luz de su beneficio público, supera los usos comerciales y de reemplazo de Google en las miniaturas en este caso. ... También somos conscientes de la dirección de la Corte Suprema de que "cuanto más transformador sea el nuevo trabajo, menor será la importancia de otros factores, como el comercialismo, que pueden pesar en contra de un hallazgo de uso justo".

Además, el tribunal abordó específicamente el estado de copyright de la vinculación, en la primera decisión de apelación de los Estados Unidos de hacerlo:

Google no ... muestra una copia de las imágenes fotográficas infractoras de tamaño completo a los efectos de la Ley de Derechos de Autor cuando Google enmarca las imágenes vinculadas en línea que aparecen en la pantalla de la computadora de un usuario. Debido a que las computadoras de Google no almacenan las imágenes fotográficas, Google no tiene una copia de las imágenes a los efectos de la Ley de Derechos de Autor. En otras palabras, Google no tiene ningún "objeto material ... en el que se repare una obra ... y desde el cual la obra pueda ser percibida, reproducida o comunicada de otra manera" y, por lo tanto, no puede comunicar una copia.En lugar de comunicar una copia de la imagen, Google proporciona instrucciones HTML que dirigen el navegador de un usuario a la computadora del editor de un sitio web que almacena la imagen fotográfica a tamaño completo. Proporcionar estas instrucciones HTML no es equivalente a mostrar una copia. Primero, las instrucciones HTML son líneas de texto, no una imagen fotográfica. En segundo lugar, las instrucciones HTML no provocan que las imágenes infractoras aparezcan en la pantalla de la computadora del usuario. El HTML simplemente da la dirección de la imagen al navegador del usuario. El navegador luego interactúa con la computadora que almacena la imagen infractora. Es esta interacción la que hace que aparezca una imagen infractora en la pantalla de la computadora del usuario. Google puede facilitar el acceso del usuario a las imágenes infractoras. Sin embargo, dicha asistencia solo plantea problemas de responsabilidad contributiva y no constituye una infracción directa de los derechos de visualización del propietario de los derechos de autor. … Si bien los enlaces y el encuadre en línea pueden hacer que algunos usuarios de computadoras crean que están viendo una sola página web de Google, la Ley de derechos de autor, a diferencia de la Ley de marcas comerciales, no protege al titular de los derechos de autor contra actos que causan confusión al consumidor.

Estado de la ley de EE. UU. Después de Arriba Soft and Perfect 10

El caso Arriba Soft representaba la proposición de que la vinculación profunda y la reproducción real en copias de tamaño reducido (o la preparación de obras derivadas de tamaño reducido) eran excusables como uso justo porque el uso del trabajo por parte del acusado no desviaba en realidad o potencialmente el comercio de el mercado desde el primer trabajo; y también proporcionó al público una función muy útil que anteriormente no estaba disponible, del tipo que la ley de derechos de autor existe para promover (encontrar la información deseada en la Web). El caso de Perfect 10 involucraba consideraciones similares, pero estaba involucrado un mayor equilibrio de intereses. La conducta fue excusada porque el valor para el público de la función útil que de otro modo no estaría disponible superaba el impacto en Perfect 10 del posible uso de Google.

Además, en Perfect 10, el tribunal estableció un precedente de gran alcance a favor de la vinculación y el encuadre, que el tribunal dio un pase completo bajo los derechos de autor. Concluyó que "los enlaces y marcos en línea pueden hacer que algunos usuarios de computadoras crean que están viendo una sola página web de Google, [pero] la Ley de Derechos de Autor ... no protege al titular de los derechos de autor contra actos que causen confusión al consumidor".

El énfasis es mío. linky

Simplemente está utilizando un hipervínculo, no está haciendo una copia, no está mostrando una copia, no está perjudicando los intereses comerciales y la está transformando altamente. Yo diría que tienes todos los elementos necesarios para estar bien. Pero, IANAL.

Es legal siempre y cuando no tenga que ingresar una contraseña para obtenerla, pero algunas compañías menos sofisticadas pueden reclamar piratería y de todos modos recurrir a un abogado. Debes estar preparado para defenderte. Usted será declarado no culpable, ya que están publicando sus datos al público, pero podría costar defenderse. Los fiscales y policías difieren de las corporaciones. Esto sucede a menudo en avisos de seguridad, donde alguien notificará a una empresa sobre un agujero de seguridad y luego la empresa los acusará de piratería. La compañía también es libre de cambiar la API sin previo aviso, posiblemente rompiendo su aplicación.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Detente si has escuchado esto antes: un entusiasta de la tecnología se vuelve un poco entusiasta al buscar agujeros de seguridad, encuentra una vulnerabilidad significativa, presenta la información y luego se hacen amenazas legales y personales.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

El intruso estaba al acecho en algún lugar del campus del MIT, descargando artículos de revistas académicas por cientos de miles.