app.services.analisis_tabla¶
Analizar una tabla: lee la estructura de una tabla Oracle y cómo están hoy sus datos, y propone reglas de calidad listas para guardar como suite (la misma idea que el «profiling» de Great Expectations o Soda, pero con las reglas del asistente).
- Solo ejecuta SELECT (diccionario de datos USER_/ALL_TAB_COLUMNS y conteos sobre la tabla), a través del mismo ejecutor y la misma política de SQL que cualquier caso. No se permite en PRODUCTION: allí las filas se ocultan y no se podría perfilar.
- Las propuestas describen el estado ACTUAL de los datos («hoy no hay vacíos en EMAIL»): sirven para detectar cuando algo cambia, no prueban que los datos de hoy sean correctos. La persona revisa y elige cuáles guardar.
- La tabla y las columnas se validan como identificadores simples (app/services/rule_templates.py); los nombres de tabla viajan como parámetros enlazados en las consultas al diccionario. Las columnas con nombres raros (minúsculas, espacios) se omiten.
MAX_COLUMNAS = 25
module-attribute
¶
MAX_VALORES_LISTA = 5
module-attribute
¶
TIPOS_NUMERICOS = ('NUMBER', 'INTEGER', 'INT', 'FLOAT', 'BINARY_FLOAT', 'BINARY_DOUBLE', 'DECIMAL', 'NUMERIC', 'REAL', 'SMALLINT')
module-attribute
¶
TIPOS_SIN_PERFIL = ('CLOB', 'NCLOB', 'BLOB', 'LONG', 'RAW', 'XMLTYPE', 'BFILE', 'JSON')
module-attribute
¶
PISTAS_UNICO = re.compile('(^ID$|_ID$|^COD|CODIGO|CODE|EMAIL|CORREO|DNI|RUC|SKU|USUARIO|USERNAME|LOGIN|PLACA|SERIE)', re.I)
module-attribute
¶
PISTAS_NO_NEGATIVO = re.compile('(PRECIO|PRICE|MONTO|AMOUNT|IMPORTE|TOTAL|CANTIDAD|QTY|STOCK|SALDO|EDAD|AGE|COSTO|COST)', re.I)
module-attribute
¶
AnalisisError
¶
Bases: ValueError
Problema que se muestra tal cual a la persona usuaria.
analizar(executor, tabla)
¶
Perfila la tabla con el ejecutor ya creado (la conexión la abre el ejecutor y la cierra quien llama).
nombre_de_caso(regla, p)
¶
proponer(t, total, columnas)
¶
Reglas sugeridas a partir del perfil. Las «recomendadas» vienen marcadas para guardarlas con un clic.
guardar_como_suite(db, project_id, nombre_suite, descripcion, propuestas)
¶
Crea un caso por propuesta (el SQL se vuelve a generar en el servidor) y una suite que los agrupa.