Preguntas etiquetadas con large-datasets

Tengo un CSV que contiene 200 millones de observaciones con el siguiente formato: id,x1,y1,x2,y2,day,color 1,"-105.4652334","39.2586939","-105.4321296","39.2236632","Monday","Black" 2,"-105.3224523","39.1323299","-105.4439944","39.3352235","Tuesday","Green" 3,"-104.4233452","39.0234355","-105.4643990","39.1223435","Wednesday","Blue" Para cada conjunto de coordenadas (x1 / y1 y x2 / y2), quiero asignar el Área del Censo de EE. UU. O el Bloque del Censo en el que se encuentra (descargué el …

35 postgis  spatialite  point-in-polygon  large-datasets  optimization 

¿Existen bases de datos gratuitas o con precios razonables para los EE. UU. Que puedan buscarse y devolver información de latitud y longitud?

34 geocoding  large-datasets 

A menudo me encuentro en una situación en la que no me importa si mi herramienta produce o no una nueva clase de entidad, pero me importa cuánto tiempo lleva combinar todos mis grandes conjuntos de datos. ¿Se tarda más en producir una nueva clase de entidad utilizando la herramienta …

12 arcgis-desktop  arcgis-10.0  merge  performance  large-datasets 

Tengo un gran conjunto de puntos de datos que esencialmente representan la costa del mundo. No sé la resolución exacta, pero diría que está cerca de 5-10 m. Imagine un conjunto de puntos que representan una costa irregular. Con una resolución de 1 m, vemos todos los detalles y necesitamos …

12 vector  algorithm  scale  generalization  large-datasets 

Para "fines de alquiler", tengo que especificar los recursos informáticos que necesito del centro informático de mi universidad. Tengo muy poca idea de qué pedir. Teniendo en cuenta la siguiente información, ¿puede sugerir algo? Este es el clúster computacional: "Un servidor de diez blades con cada blade que consta de …

9 large-datasets  hardware-recommendations 

Tengo una gran nube de puntos (archivo LAS) y estoy tratando de diluir esto usando una técnica compleja. Sé que es posible diluir una nube de puntos utilizando técnicas simples, como extraer cada enésimo punto. Sin embargo, la nube de puntos con la que estoy trabajando es más densa en …

8 lidar  software-recommendations  large-datasets  las  point-cloud 

¿Cómo se puede calcular un ráster de manera eficiente (en Python), dado un conjunto que consiste en miles de millones de cuadros delimitadores (leídos secuencialmente de un archivo), y dado que los valores de ráster para cada celda deben dar el número de cuadros delimitadores superpuestos? Para una trama 4000 …

8 raster  polygon  extents  large-datasets  heat-map 

El problema que enfrento tiene los siguientes antecedentes: Estamos geocodificando un inmenso directorio de registros. Es algo que supera los 100 millones de direcciones. He dividido las direcciones en una razón geográfica tan pequeña como creo que es factible, afirma. Aun así, un solo estado puede tener más de 5 …

8 arcgis-10.0  geoprocessing  geocoding  large-datasets 

Tengo un conjunto de sitios en los miles. No todos los usuarios ven los mismos Sitios en el mapa, por lo tanto, ACL. Los datos se almacenan en una base de datos no GIS (mssql, ora, etc.) y ahora se recuperan con una consulta SQL estándar y se devuelven al …

8 openlayers-2  wms  security  large-datasets 

Tengo una consulta PostGIS que devolverá varios millones de filas: SELECT t1.id AS id1, t2.id AS id2, ABS(t1.mean_h - t2.mean_h) AS h_diff, ST_Distance(t1.the_geom, t2.the_geom) AS dist FROM tas_ponds as t1, tas_ponds as t2 WHERE (t1.gid > t2.gid) AND ST_DWithin(t1.the_geom, t2.the_geom, 17000) Cuando corro psql, me sale un out of memory …

8 postgis  sql  large-datasets