¿Cómo puedo eliminar filas duplicadas?

¿Cuál es la mejor manera de eliminar filas duplicadas de una SQL Servertabla bastante grande (es decir, más de 300,000 filas)?

Las filas, por supuesto, no serán duplicados perfectos debido a la existencia del RowIDcampo de identidad.

Mi mesa

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Suponiendo que no hay GROUP BYvalores nulos, las columnas únicas y SELECTel MIN (or MAX)RowId como la fila para mantener. Luego, simplemente elimine todo lo que no tenía una ID de fila:

DELETE FROM MyTable
LEFT OUTER JOIN (
   SELECT MIN(RowId) as RowId, Col1, Col2, Col3 
   FROM MyTable 
   GROUP BY Col1, Col2, Col3
) as KeepRows ON
   MyTable.RowId = KeepRows.RowId
WHERE
   KeepRows.RowId IS NULL

En caso de que tenga un GUID en lugar de un entero, puede reemplazar

MIN(RowId)

con

CONVERT(uniqueidentifier, MIN(CONVERT(char(36), MyGuidColumn)))

Otra posible forma de hacerlo es

; 

--Ensure that any immediately preceding statement is terminated with a semicolon above
WITH cte
     AS (SELECT ROW_NUMBER() OVER (PARTITION BY Col1, Col2, Col3 
                                       ORDER BY ( SELECT 0)) RN
         FROM   #MyTable)
DELETE FROM cte
WHERE  RN > 1;

Estoy usando lo ORDER BY (SELECT 0)anterior, ya que es arbitrario qué fila conservar en caso de empate.

Para conservar el último en RowIDorden, por ejemplo, podría usarORDER BY RowID DESC

Planes de ejecucion

El plan de ejecución para esto es a menudo más simple y más eficiente que el de la respuesta aceptada, ya que no requiere la autounión.

Esto no es siempre el caso, sin embargo. Un lugar donde se GROUP BYpodría preferir la solución son las situaciones en las que se elegiría un agregado de hash en lugar de un agregado de flujo.

La ROW_NUMBERsolución siempre dará el mismo plan, mientras que la GROUP BYestrategia es más flexible.

Los factores que podrían favorecer el enfoque agregado de hash serían

• No hay índice útil en las columnas de partición
• relativamente menos grupos con relativamente más duplicados en cada grupo

En las versiones extremas de este segundo caso (si hay muy pocos grupos con muchos duplicados en cada uno), también se podría considerar simplemente insertar las filas para mantenerlas en una nueva tabla, luego TRUNCATEcopiar el original y copiarlo de nuevo para minimizar el registro en comparación con eliminar un Muy alta proporción de las filas.

Hay un buen artículo sobre la eliminación de duplicados en el sitio de soporte de Microsoft. Es bastante conservador: hacen que hagas todo en pasos separados, pero debería funcionar bien en tablas grandes.

He usado autouniones para hacer esto en el pasado, aunque probablemente podría ser mejorado con una cláusula HAVING:

DELETE dupes
FROM MyTable dupes, MyTable fullTable
WHERE dupes.dupField = fullTable.dupField 
AND dupes.secondDupField = fullTable.secondDupField 
AND dupes.uniqueField > fullTable.uniqueField

La siguiente consulta es útil para eliminar filas duplicadas. La tabla en este ejemplo tiene IDcomo columna de identidad y las columnas que tienen datos duplicados son Column1, Column2y Column3.

DELETE FROM TableName
WHERE  ID NOT IN (SELECT MAX(ID)
                  FROM   TableName
                  GROUP  BY Column1,
                            Column2,
                            Column3
                  /*Even if ID is not null-able SQL Server treats MAX(ID) as potentially
                    nullable. Because of semantics of NOT IN (NULL) including the clause
                    below can simplify the plan*/
                  HAVING MAX(ID) IS NOT NULL) 

El uso de secuencias de comandos siguientes espectáculos de GROUP BY, HAVING, ORDER BYen una consulta y devuelve los resultados con la columna duplicado y su recuento.

SELECT YourColumnName,
       COUNT(*) TotalCount
FROM   YourTableName
GROUP  BY YourColumnName
HAVING COUNT(*) > 1
ORDER  BY COUNT(*) DESC 

delete t1
from table t1, table t2
where t1.columnA = t2.columnA
and t1.rowid>t2.rowid

Postgres:

delete
from table t1
using table t2
where t1.columnA = t2.columnA
and t1.rowid > t2.rowid

DELETE LU 
FROM   (SELECT *, 
               Row_number() 
                 OVER ( 
                   partition BY col1, col1, col3 
                   ORDER BY rowid DESC) [Row] 
        FROM   mytable) LU 
WHERE  [row] > 1 

Esto eliminará filas duplicadas, excepto la primera fila

DELETE
FROM
    Mytable
WHERE
    RowID NOT IN (
        SELECT
            MIN(RowID)
        FROM
            Mytable
        GROUP BY
            Col1,
            Col2,
            Col3
    )

Consulte ( http://www.codeproject.com/Articles/157977/Remove-Duplicate-Rows-from-a-Table-in-SQL-Server )

Preferiría CTE para eliminar filas duplicadas de la tabla del servidor sql

recomiendo seguir este artículo :: http://codaffection.com/sql-server-article/delete-duplicate-rows-in-sql-server/

manteniendo original

WITH CTE AS
(
SELECT *,ROW_NUMBER() OVER (PARTITION BY col1,col2,col3 ORDER BY col1,col2,col3) AS RN
FROM MyTable
)

DELETE FROM CTE WHERE RN<>1

sin guardar original

WITH CTE AS
(SELECT *,R=RANK() OVER (ORDER BY col1,col2,col3)
FROM MyTable)
 
DELETE CTE
WHERE R IN (SELECT R FROM CTE GROUP BY R HAVING COUNT(*)>1)

Para obtener filas duplicadas:

SELECT
name, email, COUNT(*)
FROM 
users
GROUP BY
name, email
HAVING COUNT(*) > 1

Para eliminar las filas duplicadas:

DELETE users 
WHERE rowid NOT IN 
(SELECT MIN(rowid)
FROM users
GROUP BY name, email);      

Rápido y sucio para eliminar filas duplicadas exactas (para tablas pequeñas):

select  distinct * into t2 from t1;
delete from t1;
insert into t1 select *  from t2;
drop table t2;

Prefiero la solución subquery \ having count (*)> 1 a la combinación interna porque me resultó más fácil de leer y fue muy fácil convertirla en una instrucción SELECT para verificar qué se eliminaría antes de ejecutarla.

--DELETE FROM table1 
--WHERE id IN ( 
     SELECT MIN(id) FROM table1 
     GROUP BY col1, col2, col3 
     -- could add a WHERE clause here to further filter
     HAVING count(*) > 1
--)

SELECT  DISTINCT *
      INTO tempdb.dbo.tmpTable
FROM myTable

TRUNCATE TABLE myTable
INSERT INTO myTable SELECT * FROM tempdb.dbo.tmpTable
DROP TABLE tempdb.dbo.tmpTable

Pensé en compartir mi solución, ya que funciona en circunstancias especiales. En mi caso, la tabla con valores duplicados no tenía una clave externa (porque los valores se duplicaron de otra base de datos).

begin transaction
-- create temp table with identical structure as source table
Select * Into #temp From tableName Where 1 = 2

-- insert distinct values into temp
insert into #temp 
select distinct * 
from  tableName

-- delete from source
delete from tableName 

-- insert into source from temp
insert into tableName 
select * 
from #temp

rollback transaction
-- if this works, change rollback to commit and execute again to keep you changes!!

PD: cuando trabajo en cosas como esta, siempre uso una transacción, esto no solo garantiza que todo se ejecute en su conjunto, sino que también me permite probar sin arriesgar nada. Pero, por supuesto, deberías hacer una copia de seguridad de todos modos solo para estar seguro ...

Esta consulta mostró muy buen rendimiento para mí:

DELETE tbl
FROM
    MyTable tbl
WHERE
    EXISTS (
        SELECT
            *
        FROM
            MyTable tbl2
        WHERE
            tbl2.SameValue = tbl.SameValue
        AND tbl.IdUniqueValue < tbl2.IdUniqueValue
    )

eliminó 1M de filas en poco más de 30 segundos de una tabla de 2M (50% de duplicados)

Usando CTE. La idea es unirse en una o más columnas que formen un registro duplicado y luego eliminar lo que desee:

;with cte as (
    select 
        min(PrimaryKey) as PrimaryKey
        UniqueColumn1,
        UniqueColumn2
    from dbo.DuplicatesTable 
    group by
        UniqueColumn1, UniqueColumn1
    having count(*) > 1
)
delete d
from dbo.DuplicatesTable d 
inner join cte on 
    d.PrimaryKey > cte.PrimaryKey and
    d.UniqueColumn1 = cte.UniqueColumn1 and 
    d.UniqueColumn2 = cte.UniqueColumn2;

Otra solución fácil se puede encontrar en el enlace pegado aquí . Éste es fácil de entender y parece ser efectivo para la mayoría de los problemas similares. Sin embargo, es para SQL Server, pero el concepto utilizado es más que aceptable.

Estas son las partes relevantes de la página vinculada:

Considere estos datos:

EMPLOYEE_ID ATTENDANCE_DATE
A001    2011-01-01
A001    2011-01-01
A002    2011-01-01
A002    2011-01-01
A002    2011-01-01
A003    2011-01-01

Entonces, ¿cómo podemos eliminar esos datos duplicados?

Primero, inserte una columna de identidad en esa tabla utilizando el siguiente código:

ALTER TABLE dbo.ATTENDANCE ADD AUTOID INT IDENTITY(1,1)  

Use el siguiente código para resolverlo:

DELETE FROM dbo.ATTENDANCE WHERE AUTOID NOT IN (SELECT MIN(AUTOID) _
    FROM dbo.ATTENDANCE GROUP BY EMPLOYEE_ID,ATTENDANCE_DATE) 

Aquí hay otro buen artículo sobre la eliminación de duplicados .

Discute por qué es difícil: " SQL se basa en álgebra relacional, y los duplicados no pueden ocurrir en álgebra relacional, porque los duplicados no están permitidos en un conjunto. "

La solución de la tabla temporal y dos ejemplos de mysql.

En el futuro, lo evitará a nivel de base de datos o desde la perspectiva de una aplicación. Sugeriría el nivel de la base de datos porque su base de datos debería ser responsable de mantener la integridad referencial, los desarrolladores solo causarán problemas;)

Oh, por supuesto. Usa una tabla temporal. Si desea una declaración única, no muy eficaz que "funcione", puede ir con:

DELETE FROM MyTable WHERE NOT RowID IN
    (SELECT 
        (SELECT TOP 1 RowID FROM MyTable mt2 
        WHERE mt2.Col1 = mt.Col1 
        AND mt2.Col2 = mt.Col2 
        AND mt2.Col3 = mt.Col3) 
    FROM MyTable mt)

Básicamente, para cada fila de la tabla, la sub-selección encuentra el RowID superior de todas las filas que son exactamente como la fila en consideración. Entonces terminas con una lista de RowID que representan las filas "originales" no duplicadas.

Tenía una tabla donde necesitaba preservar filas no duplicadas. No estoy seguro de la velocidad o la eficiencia.

DELETE FROM myTable WHERE RowID IN (
  SELECT MIN(RowID) AS IDNo FROM myTable
  GROUP BY Col1, Col2, Col3
  HAVING COUNT(*) = 2 )

Utilizar este

WITH tblTemp as
(
SELECT ROW_NUMBER() Over(PARTITION BY Name,Department ORDER BY Name)
   As RowNumber,* FROM <table_name>
)
DELETE FROM tblTemp where RowNumber >1

La otra forma es crear una nueva tabla con los mismos campos y con índice único . Luego mueva todos los datos de la tabla anterior a la nueva tabla . SQL Server automáticamente ignora (también hay una opción sobre qué hacer si habrá un valor duplicado: ignorar, interrumpir o algo) valores duplicados. Entonces tenemos la misma tabla sin filas duplicadas. Si no desea un índice único, después de la transferencia de datos puede soltarlo .

Especialmente para tablas más grandes , puede usar DTS (paquete SSIS para importar / exportar datos) para transferir todos los datos rápidamente a su nueva tabla indexada de forma única. Para 7 millones de filas, solo lleva unos minutos.

Al utilizar la consulta a continuación, podemos eliminar registros duplicados basados ​​en la columna única o en la columna múltiple. la consulta a continuación se elimina en base a dos columnas. el nombre de la tabla es: testingy los nombres de columnaempno,empname

DELETE FROM testing WHERE empno not IN (SELECT empno FROM (SELECT empno, ROW_NUMBER() OVER (PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)
or empname not in
(select empname from (select empname,row_number() over(PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)

1. Crear una nueva tabla en blanco con la misma estructura.

2. Ejecute una consulta como esta

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) > 1

3. Luego ejecute esta consulta

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) = 1

Esta es la forma más fácil de eliminar registros duplicados

 DELETE FROM tblemp WHERE id IN 
 (
  SELECT MIN(id) FROM tblemp
   GROUP BY  title HAVING COUNT(id)>1
 )

http://askme.indianyouth.info/details/how-to-dumplicate-record-from-table-in-using-sql-105

Mencionaría este enfoque, así como puede ser útil, y funciona en todos los servidores SQL: a menudo solo hay uno: dos duplicados, y se conocen los ID y el recuento de duplicados. En este caso:

SET ROWCOUNT 1 -- or set to number of rows to be deleted
delete from myTable where RowId = DuplicatedID
SET ROWCOUNT 0

Desde el nivel de aplicación (desafortunadamente). Estoy de acuerdo en que la forma correcta de evitar la duplicación es a nivel de la base de datos mediante el uso de un índice único, pero en SQL Server 2005, un índice puede ser de solo 900 bytes, y mi campo varchar (2048) elimina eso.

No sé qué tan bien funcionaría, pero creo que podrías escribir un disparador para hacer cumplir esto, incluso si no pudieras hacerlo directamente con un índice. Algo como:

-- given a table stories(story_id int not null primary key, story varchar(max) not null)
CREATE TRIGGER prevent_plagiarism 
ON stories 
after INSERT, UPDATE 
AS 
    DECLARE @cnt AS INT 

    SELECT @cnt = Count(*) 
    FROM   stories 
           INNER JOIN inserted 
                   ON ( stories.story = inserted.story 
                        AND stories.story_id != inserted.story_id ) 

    IF @cnt > 0 
      BEGIN 
          RAISERROR('plagiarism detected',16,1) 

          ROLLBACK TRANSACTION 
      END 

Además, varchar (2048) me suena sospechoso (algunas cosas en la vida son 2048 bytes, pero es bastante raro); ¿Realmente no debería ser varchar (max)?

Otra forma de hacer esto: -

DELETE A
FROM   TABLE A,
       TABLE B
WHERE  A.COL1 = B.COL1
       AND A.COL2 = B.COL2
       AND A.UNIQUEFIELD > B.UNIQUEFIELD 

DELETE
FROM
    table_name T1
WHERE
    rowid > (
        SELECT
            min(rowid)
        FROM
            table_name T2
        WHERE
            T1.column_name = T2.column_name
    );

CREATE TABLE car(Id int identity(1,1), PersonId int, CarId int)

INSERT INTO car(PersonId,CarId)
VALUES(1,2),(1,3),(1,2),(2,4)

--SELECT * FROM car

;WITH CTE as(
SELECT ROW_NUMBER() over (PARTITION BY personid,carid order by personid,carid) as rn,Id,PersonID,CarId from car)

DELETE FROM car where Id in(SELECT Id FROM CTE WHERE rn>1)

Desea obtener una vista previa de las filas que está a punto de eliminar y mantener el control sobre cuál de las filas duplicadas mantener. Ver http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/

with MYCTE as (
  SELECT ROW_NUMBER() OVER (
    PARTITION BY DuplicateKey1
                ,DuplicateKey2 -- optional
    ORDER BY CreatedAt -- the first row among duplicates will be kept, other rows will be removed
  ) RN
  FROM MyTable
)
DELETE FROM MYCTE
WHERE RN > 1