Preguntas etiquetadas con bigdata

¿Cuál sería la forma más eficiente de insertar millones de registros? Por ejemplo, 50 millones de un marco de datos de Spark a tablas de Postgres. He hecho esto desde la chispa a MSSQL en el pasado haciendo uso de la opción de copia masiva y tamaño de lote que …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Estoy tratando de mostrarle a mi hijo cómo se puede usar la codificación para resolver un problema planteado por un juego, así como ver cómo R maneja los grandes datos. El juego en cuestión se llama "Lucky 26". En este juego, los números (1-12 sin duplicados) se colocan en 12 …

15 r  bigdata  permutation 

Estoy explorando el comportamiento de Spark al unir una tabla consigo misma. Estoy usando Databricks. Mi escenario ficticio es: Leer una tabla externa como marco de datos A (los archivos subyacentes están en formato delta) Defina el marco de datos B como el marco de datos A con solo ciertas …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake