Saltar a contenido

app.services.analisis_tabla

Analizar una tabla: lee la estructura de una tabla Oracle y cómo están hoy sus datos, y propone reglas de calidad listas para guardar como suite (la misma idea que el «profiling» de Great Expectations o Soda, pero con las reglas del asistente).

  • Solo ejecuta SELECT (diccionario de datos USER_/ALL_TAB_COLUMNS y conteos sobre la tabla), a través del mismo ejecutor y la misma política de SQL que cualquier caso. No se permite en PRODUCTION: allí las filas se ocultan y no se podría perfilar.
  • Las propuestas describen el estado ACTUAL de los datos («hoy no hay vacíos en EMAIL»): sirven para detectar cuando algo cambia, no prueban que los datos de hoy sean correctos. La persona revisa y elige cuáles guardar.
  • La tabla y las columnas se validan como identificadores simples (app/services/rule_templates.py); los nombres de tabla viajan como parámetros enlazados en las consultas al diccionario. Las columnas con nombres raros (minúsculas, espacios) se omiten.

MAX_COLUMNAS = 25 module-attribute

MAX_VALORES_LISTA = 5 module-attribute

TIPOS_NUMERICOS = ('NUMBER', 'INTEGER', 'INT', 'FLOAT', 'BINARY_FLOAT', 'BINARY_DOUBLE', 'DECIMAL', 'NUMERIC', 'REAL', 'SMALLINT') module-attribute

TIPOS_SIN_PERFIL = ('CLOB', 'NCLOB', 'BLOB', 'LONG', 'RAW', 'XMLTYPE', 'BFILE', 'JSON') module-attribute

PISTAS_UNICO = re.compile('(^ID$|_ID$|^COD|CODIGO|CODE|EMAIL|CORREO|DNI|RUC|SKU|USUARIO|USERNAME|LOGIN|PLACA|SERIE)', re.I) module-attribute

PISTAS_NO_NEGATIVO = re.compile('(PRECIO|PRICE|MONTO|AMOUNT|IMPORTE|TOTAL|CANTIDAD|QTY|STOCK|SALDO|EDAD|AGE|COSTO|COST)', re.I) module-attribute

AnalisisError

Bases: ValueError

Problema que se muestra tal cual a la persona usuaria.

analizar(executor, tabla)

Perfila la tabla con el ejecutor ya creado (la conexión la abre el ejecutor y la cierra quien llama).

nombre_de_caso(regla, p)

proponer(t, total, columnas)

Reglas sugeridas a partir del perfil. Las «recomendadas» vienen marcadas para guardarlas con un clic.

guardar_como_suite(db, project_id, nombre_suite, descripcion, propuestas)

Crea un caso por propuesta (el SQL se vuelve a generar en el servidor) y una suite que los agrupa.