Encontrar columnas vacías de una tabla en PostgreSQL


17

¿Qué consulta devolvería el nombre de las columnas de una tabla donde todas las filas son NULL?


¿Te refieres a una tabla en particular, o todas las tablas en un esquema?
Jack Douglas

1
¿Por qué necesitarías hacer eso? Parece que tiene demasiadas columnas / tablas y debería repensar su diseño.
eevar

Respuestas:


13

banco de pruebas:

create role stack;
create schema authorization stack;
set role stack;

create table my_table as 
select generate_series(0,9) as id, 1 as val1, null::integer as val2;

create table my_table2 as 
select generate_series(0,9) as id, 1 as val1, null::integer as val2, 3 as val3;

función:

create function has_nonnulls(p_schema in text, p_table in text, p_column in text)
                returns boolean language plpgsql as $$
declare 
  b boolean;
begin
  execute 'select exists(select * from '||
          p_table||' where '||p_column||' is not null)' into b;
  return b;
end;$$;

consulta:

select table_schema, table_name, column_name, 
       has_nonnulls(table_schema, table_name, column_name)
from information_schema.columns
where table_schema='stack';

resultado:

 table_schema | table_name | column_name | has_nonnulls
--------------+------------+-------------+--------------
 stack        | my_table   | id          | t
 stack        | my_table   | val1        | t
 stack        | my_table   | val2        | f
 stack        | my_table2  | id          | t
 stack        | my_table2  | val1        | t
 stack        | my_table2  | val2        | f
 stack        | my_table2  | val3        | t
(7 rows)

Además, puede obtener una respuesta aproximada consultando el catálogo: si null_fraces cero, eso indica que no hay valores nulos, pero debe verificarse dos veces con los datos 'reales':

select tablename, attname, null_frac from pg_stats where schemaname='stack';

 tablename | attname | null_frac
-----------+---------+-----------
 my_table  | id      |         0
 my_table  | val1    |         0
 my_table  | val2    |         1
 my_table2 | id      |         0
 my_table2 | val1    |         0
 my_table2 | val2    |         1
 my_table2 | val3    |         0
(7 rows)

1
Esta es una vieja pregunta, pero las personas que usan extensiones espaciales (postgis) deben tener en cuenta que las columnas espaciales vacías no aparecen pg_statssi están vacías en la creación de la tabla. Descubrí esto hoy cuando hago algunas tareas de limpieza. Descubrí que algunas tablas históricas espaciales se habían importado usando ogr2ogr. si no hay una columna espacial en los datos que se importan, ogr2ogrcrea una columna de geometría llena de <NULL>. Mi pg_statsno tiene columnas de geometría de las tablas espaciales importadas (tiene todas las otras columnas para esas tablas). Bastante extraño, pensé.
GT.

6

En Postgresql, puede obtener los datos directamente de las estadísticas:

vacuum analyze; -- if needed

select schemaname, tablename, attname
from pg_stats
where most_common_vals is null
and most_common_freqs is null
and histogram_bounds is null
and correlation is null
and null_frac = 1;

Es posible que obtenga algunos falsos positivos, por lo que es necesario volver a verificar después de encontrar a los candidatos.


¿Necesita alguna otra condición que no sea null_frac=1?
Jack Douglas

No estoy seguro. null_frac presumiblemente es real, por lo que podría ser que se redondea a 1 en algunos casos extraños. Pero incluso con 1 de cada 10k filas, daría lugar a algo que encaja.
Denis de Bernardy

1

Le mostraré mi solución en T-SQL, trabajando para SQL Server 2008. No estoy familiarizado con PostgreSQL, pero espero que encuentre alguna guía en mi solución.

-- create test table
IF object_id ('dbo.TestTable') is not null
    DROP table testTable
go
create table testTable (
    id int identity primary key clustered,
    nullColumn varchar(100) NULL,
    notNullColumn varchar(100) not null,
    combinedColumn varchar(100) NULL,
    testTime datetime default getdate()
);
go

-- insert test data:
INSERT INTO testTable(nullColumn, notNullColumn, combinedColumn)
SELECT NULL, 'Test', 'Combination'
from sys.objects
union all
SELECT NULL, 'Test2', NULL
from sys.objects

select *
from testTable

-- FIXED SCRIPT FOR KNOWN TABLE (known structure) - find all completely NULL columns
select sum(datalength(id)) as SumColLength,
    'id' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(nullColumn)) as SumColLength,
    'nullColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(notNullColumn)) as SumColLength,
    'notNullColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(combinedColumn)) as SumColLength,
    'combinedColumn' as ColumnName
from dbo.testTable
UNION ALL
select sum(datalength(testTime)) as SumColLength,
    'testTime' as ColumnName
from dbo.testTable

-- DYNAMIC SCRIPT (unknown structure) - find all completely NULL columns
declare @sql varchar(max) = '', @tableName sysname = 'testTable';

SELECT @sql +=
        'select sum(datalength(' + c.COLUMN_NAME + ')) as SumColLength,
    ''' + c.COLUMN_NAME + ''' as ColumnName
from ' + c.TABLE_SCHEMA + '.' + c.TABLE_NAME --as StatementToExecute
+ '
UNION ALL
'
FROM INFORMATION_SCHEMA.COLUMNS c
WHERE c.TABLE_NAME = @tableName;

SET @sql = left(@sql, len(@sql)-11)
print @sql;
exec (@sql);

En resumen, lo que hice fue crear una tabla de prueba con 5 columnas, generando ID y testTime por identidad y función getdate (), mientras que las 3 columnas varchar son las de interés. Uno tendrá solo valores NULL, uno no tendrá NULL, el otro será una columna combinada. El resultado final del script será que el script informará que la columna nullColumn tiene todas las filas NULL.

La idea era calcular la función DATALENGTH para cada columna (calcula el número de bytes para una expresión dada). Así que calculé el valor de DATALENGTH para cada fila de cada columna e hice una SUMA por columna. Si la SUMA por columna es NULL, entonces la columna completa tiene filas NULL, de lo contrario, hay algunos datos dentro.

Ahora tiene que encontrar la traducción para PostgreSQL y esperamos que un colega pueda ayudarlo con eso. O tal vez hay una buena vista del sistema que mostrará lo tonto que soy por reinventar la rueda :-).


1

Necesita consultar el catálogo de información para dicha información:

SELECT column_name FROM information_schema.columns WHERE table_name='your_table'

le da las tablas coincidentes para sus columnas.

No tengo una instalación de Postgres actualmente disponible, pero el resto debería ser simple

   loop over the results of the above query and foreach result
        send a COUNT(*) to the table
        if the count is null, give back the column,
                 else ignore it
   end foreach

Esto está funcionando, pero es un enfoque iterativo :-). Prefiero el enfoque basado en conjuntos.
Marian

0

Después de combinar varios recursos, se me ocurrió esta función y consulta para encontrar todas las columnas vacías en todas las tablas de la base de datos

CREATE OR REPLACE FUNCTION public.isEmptyColumn(IN table_name varchar, IN column_name varchar)
RETURNS boolean AS $$
declare 
    count integer;
BEGIN
    execute FORMAT('SELECT COUNT(*) from %s WHERE %s IS NOT NULL', table_name, quote_ident(column_name)) into count;
    RETURN (count = 0);
END; $$
LANGUAGE PLPGSQL; 


SELECT s.table_name, s.column_name
FROM information_schema.columns s
WHERE (s.table_schema LIKE 'public') AND
      (s.table_name NOT LIKE 'pg_%') AND
      (public.isEmptyColumn(s.table_name, s.column_name))

Disfruta :)

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.