Preguntas etiquetadas con pandas

Tengo un gran marco de datos con muchas columnas, muchas de las cuales son de tipo datetime.datetime. El problema es que muchos también tienen tipos mixtos, que incluyen, por ejemplo, datetime.datetimevalores y Nonevalores (y potencialmente otros valores no válidos): 0 2017-07-06 00:00:00 1 2018-02-27 21:30:05 2 2017-04-12 00:00:00 3 2017-05-21 …

14 python  pandas 

Estoy muy confundido con los diferentes métodos de indexación que se usan ilocen los pandas. Digamos que estoy tratando de convertir un Dataframe 1-d en un Dataframe 2-d. Primero tengo el siguiente marco de datos 1-d a_array = [1,2,3,4,5,6,7,8] a_df = pd.DataFrame(a_array).T Y voy a convertir eso en un Dataframe …

13 python  pandas  dataframe 

Creé un diccionario de marco de datos de pandas: d[k] = pd.DataFrame(data=data[i]) Así que supongo que d[k]es un marco de datos de pandas correcto. Entonces for k in d.keys(): d[k].to_excel (file_name) Entonces tengo el error: TypeError: got invalid input value of type <class 'xml.etree.ElementTree.Element'>, expected string or Element Estoy usando …

13 python  pandas  export-to-excel 

Tengo un DataFrame de pandas del formulario: id start_time sequence_no value 0 71 2018-10-17 20:12:43+00:00 114428 3 1 71 2018-10-17 20:12:43+00:00 114429 3 2 71 2018-10-17 20:12:43+00:00 114431 79 3 71 2019-11-06 00:51:14+00:00 216009 100 4 71 2019-11-06 00:51:14+00:00 216011 150 5 71 2019-11-06 00:51:14+00:00 216013 180 6 92 2019-12-01 …

13 python  pandas  numpy  dataframe 

Planteamiento del problema Estoy buscando una forma eficiente de generar productos cartesianos binarios completos (tablas con todas las combinaciones de Verdadero y Falso con un cierto número de columnas), filtradas por ciertas condiciones exclusivas. Por ejemplo, para tres columnas / bits n=3obtendríamos la tabla completa df_combs = pd.DataFrame(itertools.product(*([[True, False]] * …

12 python  pandas  dataframe 

Recientemente comencé a recibir un montón de errores en varios pysparktrabajos que se ejecutan en clústeres EMR. Los erros son java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at org.apache.spark.sql.execution.python.EvalPythonExec$$anonfun$doExecute$1.apply(EvalPythonExec.scala:127)... Todos …

12 pandas  apache-spark  pyspark  pyarrow 

Digamos que tengo el siguiente marco de datos (una columna de enteros y una columna con una lista de enteros) ... ID Found_IDs 0 12345 [15443, 15533, 3433] 1 15533 [2234, 16608, 12002, 7654] 2 6789 [43322, 876544, 36789] Y también una lista separada de ID ... bad_ids = [15533, …

11 python  python-3.x  pandas  dataframe 

Tengo un marco de datos con cada fila que tiene un valor de lista. id list_of_value 0 ['a','b','c'] 1 ['d','b','c'] 2 ['a','b','c'] 3 ['a','b','c'] Tengo que calcular una puntuación con una fila y contra todas las otras filas Por ejemplo: Step 1: Take value of id 0: ['a','b','c'], Step 2: …

11 python  pandas  numpy 

Tengo un marco de datos como este: ORDER_NO 2401 2504 2600 2020020 2019-12-04 2019-12-10 2019-12-12 2020024 2019-12-25 NaN 2019-12-20 2020034 NaN NaN 2019-12-20 2020020 2019-12-12 2019-12-15 2019-12-18 Estoy creando XML a partir del marco de datos anterior. Quiero eliminar el valor nulo que se rellena en el XML. Mi código …

11 python-3.x  pandas  loops  dataframe  itertools 

Tengo ese DataFrame: df = pd.DataFrame(data={ 'col0': [11, 22,1, 5] 'col1': ['aa:a:aaa', 'a:a', 'a', 'a:aa:a:aaa'], 'col2': ["foo", "foo", "foobar", "bar"], 'col3': [True, False, True, False], 'col4': ['elo', 'foo', 'bar', 'dupa']}) Quiero obtener la longitud de la lista después de dividir en ":" en col1, luego quiero sobrescribir los valores si …

11 python  pandas  apply 

Estoy tratando de dividir una columna usando expresiones regulares, pero parece que no puedo dividir correctamente. Estoy tratando de tomar todas las MAYÚSCULAS finales y moverlas a una columna separada. Así que obtengo todos los CAPS que son 2-4 CAPS seguidos. Sin embargo, solo sale de la 'Name'columna mientras la …

11 python  regex  pandas 

Tengo un archivo txt con datos en este formato. Las primeras 3 líneas se repiten una y otra vez. name=1 grade=A class=B name=2 grade=D class=A Me gustaría generar los datos en un formato de tabla, por ejemplo: name | grade | class 1 | A | B 2 | D …

11 python  pandas  dataframe 

Tengo un marco de datos de pandas como tal: parent child parent_level child_level A B 0 1 B C 1 2 B D 1 2 X Y 0 2 X D 0 2 Y Z 2 3 Esto representa un árbol que se ve así A X / / \ …

11 python  pandas 

Estoy trabajando con un DataFrame que tiene la siguiente estructura: import pandas as pd df = pd.DataFrame({'group':[1,1,1,2,2,2,2,3,3,3], 'brand':['A','B','X','C','D','X','X','E','F','X']}) print(df) group brand 0 1 A 1 1 B 2 1 X 3 2 C 4 2 D 5 2 X 6 2 X 7 3 E 8 3 F 9 3 …

10 python  pandas  dataframe 

Tengo datos de una serie temporal. Generando datos date_rng = pd.date_range('2019-01-01', freq='s', periods=400) df = pd.DataFrame(np.random.lognormal(.005, .5,size=(len(date_rng), 3)), columns=['data1', 'data2', 'data3'], index= date_rng) s = df['data1'] Quiero crear una línea en zig-zag que conecte entre los máximos locales y los mínimos locales, que satisfaga la condición de que en el …

10 python  pandas  time-series  technical-indicator