¿Cómo importo un archivo CSV a una tabla MySQL?

Tengo un CSV de diario de eventos no normalizado de un cliente que estoy tratando de cargar en una tabla MySQL para poder refactorizar en un formato correcto. Creé una tabla llamada 'CSVImport' que tiene un campo para cada columna del archivo CSV. El CSV contiene 99 columnas, por lo que esta fue una tarea bastante difícil en sí misma:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

No hay restricciones en la tabla, y todos los campos contienen valores VARCHAR (256), excepto las columnas que contienen recuentos (representados por INT), sí / no (representado por BIT), precios (representados por DECIMAL) y borrones de texto ( representado por TEXTO).

Traté de cargar datos en el archivo:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

Toda la mesa está llena de NULL.

Creo que el problema es que los borrones de texto contienen más de una línea, y MySQL está analizando el archivo como si cada nueva línea correspondiera a una fila de databazse. Puedo cargar el archivo en OpenOffice sin ningún problema.

El archivo clientdata.csv contiene 2593 líneas y 570 registros. La primera línea contiene nombres de columna. Creo que está delimitado por comas, y el texto aparentemente está delimitado con comillas dobles.

ACTUALIZAR:

En caso de duda, lea el manual: http://dev.mysql.com/doc/refman/5.0/en/load-data.html

Agregué información a la LOAD DATAdeclaración de que OpenOffice era lo suficientemente inteligente como para inferir, y ahora carga la cantidad correcta de registros:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

Pero todavía hay muchos NULLregistros completos , y ninguno de los datos que se cargaron parece estar en el lugar correcto.

El núcleo de su problema parece coincidir con las columnas del archivo CSV con las de la tabla.

Muchos clientes gráficos MySQL tienen cuadros de diálogo de importación muy agradables para este tipo de cosas.

Mi favorito para el trabajo es HeidiSQL basado en Windows . Te da una interfaz gráfica para construir el LOAD DATAcomando; puedes reutilizarlo programáticamente más tarde.

Captura de pantalla: cuadro de diálogo "Importar archivo de texto"

Para abrir el cuadro de diálogo Importar archivo de texto ", vaya a Tools > Import CSV file:

Use mysqlimport para cargar una tabla en la base de datos:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

Lo encontré en http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/

Para hacer que el delimitador sea una pestaña, use --fields-terminated-by='\t'

La forma más simple en la que he importado más de 200 filas es debajo del comando en la ventana sql phpmyadmin

Tengo una tabla simple de país con dos columnas CountryId, CountryName

aquí hay datos .csv

Aquí está el comando:

LOAD DATA INFILE 'c:/country.csv' 
INTO TABLE country 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS

Tenga en cuenta una cosa, nunca aparezca, en la segunda columna, de lo contrario su importación se detendrá

Sé que la pregunta es antigua , pero me gustaría compartir esto

Utilicé este método para importar más de 100K registros ( ~ 5 MB ) en 0.046 segundos

Así es como lo haces:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Es muy importante incluir la última línea, si tiene más de un campo, es decir, normalmente omite el último campo (MySQL 5.6.17)

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Luego, suponiendo que tenga la primera fila como título para sus campos, es posible que también desee incluir esta línea

IGNORE 1 ROWS

Esto es lo que parece si su archivo tiene una fila de encabezado.

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

phpMyAdmin puede manejar la importación CSV. Aquí están los pasos:

1. Prepare el archivo CSV para que los campos estén en el mismo orden que los campos de la tabla MySQL.

2. Elimine la fila del encabezado del CSV (si corresponde), de modo que solo los datos estén en el archivo.

3. Vaya a la interfaz phpMyAdmin.

4. Seleccione la tabla en el menú de la izquierda.

5. Haz clic en el botón Importar en la parte superior.

6. Busque el archivo CSV.

7. Seleccione la opción "CSV usando LOAD DATA".

8. Ingrese "," en los "campos terminados por".

9. Ingrese los nombres de las columnas en el mismo orden en que están en la tabla de la base de datos.

10. Haga clic en el botón Ir y ya está.

Esta es una nota que preparé para mi uso futuro, y compartir aquí si alguien más puede beneficiarse.

Puede solucionar esto enumerando las columnas en su declaración LOAD DATA. Del manual :

LOAD DATA INFILE 'persondata.txt' INTO TABLE persondata (col1,col2,...);

... así que en su caso debe enumerar las 99 columnas en el orden en que aparecen en el archivo csv.

Intenta esto, funcionó para mí

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS aquí ignora la primera fila que contiene los nombres de campo. Tenga en cuenta que para el nombre de archivo debe escribir la ruta absoluta del archivo.

La línea de comando mysql es propensa a demasiados problemas en la importación. Así es como lo haces:

• use Excel para editar los nombres de encabezado para no tener espacios
• guardar como .csv
• use el navegador gratuito Navicat Lite Sql para importar y crear automáticamente una nueva tabla (asígnele un nombre)
• abra la nueva tabla inserte una columna de número automático principal para ID
• cambie el tipo de las columnas como lo desee.
• ¡hecho!

Si está utilizando MySQL Workbench (actualmente versión 6.3) puede hacer esto de la siguiente manera:

1. Haga clic derecho en "Tablas";
2. Asistente de importación de datos de tabla elegida;
3. Elija su archivo csv y siga las instrucciones (también se puede usar JSON); Lo bueno es que puede crear una nueva tabla basada en el archivo csv que desea importar o cargar datos en una tabla existente

Veo algo extraño Estás usando para ESCAPAR el mismo carácter que usas para ENCERRAR. Por lo tanto, el motor no sabe qué hacer cuando encuentra un '"' y creo que es por eso que nada parece estar en el lugar correcto. Creo que si elimina la línea de ESCAPE, debería funcionar muy bien.

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

A menos que analice (manualmente, visualmente, ...) su CSV y encuentre qué personaje usa para escapar. A veces es '\'. Pero si no lo tiene, no lo use.

Otra solución es utilizar la herramienta csvsql de la increíble suite csvkit .

Ejemplo de uso:

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

Esta herramienta puede inferir automáticamente los tipos de datos (comportamiento predeterminado), crear una tabla e insertar los datos en la tabla creada. --overwriteLa opción se puede utilizar para descartar la tabla si ya existe.--insertopción: para llenar la tabla del archivo.

Para instalar la suite

pip install csvkit

Requisitos previos: python-dev , libmysqlclient-dev,MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python

Cómo importar archivos csv a tablas sql

Archivo de ejemplo: Overseas_trade_index CSV de datos

Pasos:

1. Necesito crear una tabla para overseas_trade_index.

2. Necesita crear columnas relacionadas con el archivo csv.

   Consulta SQL:

   ( id int not null primary key auto_increment,
   series_reference varchar (60),
   period varchar (60),
   data_value decimal(60,0),
   status varchar (60),
   units varchar (60),
   magnitude int(60),
   subject text(60),
   group text(60),
   series_title_1 varchar (60),
   series_title_2 varchar (60),
   series_title_3 varchar (60),
   series_title_4 varchar (60),
   series_title_5 varchar (60),
    );

3. Necesita conectar la base de datos mysql en la terminal.

   =>show databases;
   =>use database;
   =>show tables;

4. Ingrese este comando para importar los datos csv a las tablas mysql.

   load data infile '/home/desktop/Documents/overseas.csv' into table trade_index fields terminated by ',' lines terminated by '\n' (series_reference,period,data_value,status,units,magnitude,subject,series_title1,series_title_2,series_title_3,series_title_4,series_title_5);

5. Encuentre estos datos del índice de comercio exterior en sqldatabase:

   select * from trade_index;

Si está utilizando una máquina Windows con una hoja de cálculo Excel cargada, el nuevo complemento mySql para Excel es fenomenal. La gente de Oracle realmente hizo un buen trabajo con ese software. Puede hacer la conexión de la base de datos directamente desde Excel. Ese complemento analizará sus datos y configurará las tablas para usted en un formato consistente con los datos. Tenía algunos archivos de datos csv monstruosos para convertir. Esta herramienta fue un gran ahorro de tiempo.

http://dev.mysql.com/downloads/windows/excel/

Puede realizar actualizaciones desde Excel que se completarán en la base de datos en línea. Esto funcionó extremadamente bien con los archivos mySql creados en el alojamiento compartido GoDaddy ultra económico. (Tenga en cuenta que cuando cree la tabla en GoDaddy, debe seleccionar algunas configuraciones no estándar para permitir el acceso fuera del sitio de la base de datos ...)

Con este complemento, tiene una interactividad pura entre su hoja de cálculo XL y el almacenamiento de datos mySql en línea.

Yo uso mysql workbench para hacer el mismo trabajo.

1. crear nuevo esquema
2. abrir esquema creado recientemente
3. haga clic derecho en "Tablas" y seleccione "Asistente de importación de datos de tabla"
4. proporcione la ruta del archivo csv y el nombre de la tabla y finalmente configure su tipo de columna porque el asistente estableció el tipo de columna predeterminado en función de sus valores.

Nota: eche un vistazo al archivo de registro de mysql workbench en busca de errores utilizando "tail -f [mysqlworkbenchpath] /log/wb*.log"

Aquí hay una muestra de la captura de pantalla del archivo de Excel:

Guardar como y elegir .csv.

Y tendrá, como se muestra a continuación, la captura de pantalla de datos .csv si abre con notepad ++ o cualquier otro bloc de notas.

Asegúrese de eliminar el encabezado y tener una alineación de columna en .csv como en la tabla mysql. Reemplace folder_name por su nombre de carpeta

CARGAR DATOS LOCAL INFILE
'D: /folder_name/myfilename.csv' EN LA TABLA CAMPOS DE CORREO TERMINADOS POR ',' (fname, lname, correo electrónico, teléfono);

Si es un gran dato, ¡puede tomar café y cargarlo!

Eso es todo lo que necesitas.

En caso de que use Intellij https://www.jetbrains.com/datagrip/features/importexport.html

Consulta PHP para importar archivos csv a la base de datos mysql

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

** Datos de archivo CSV de muestra **

name,mobile,email
Christopher Gritton,570-686-3439,ChristopherKGritton@inbound.plus
Brandon Wilson,541-309-5149,BrandonMWilson@inbound.plus
Craig White,516-795-8065,CraigJWhite@inbound.plus
David Whitney,713-214-3966,DavidCWhitney@inbound.plus

Cambie el nombre del servidor, el nombre de usuario, la contraseña, el nombre de base de datos, la ruta de su archivo, el nombre de la tabla y el campo que está en su base de datos que desea insertar

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>