Comprender el procesamiento por lotes de archivos

El procesamiento por lotes de archivos de DQE le permite validar, estandarizar, enriquecer, limpiar o deduplicar grandes volúmenes de datos a partir de archivos CSV intercambiados a través de un servidor SFTP seguro.

Este artículo explica cómo funciona el procesamiento por lotes de archivos, desde la preparación del archivo hasta la recuperación del archivo de salida.

Quién debe leer este artículo

Utilice este artículo si necesita entender cómo DQE procesa archivos de datos mediante un flujo de trabajo por lotes.

Esto se aplica cuando sus datos se procesan mediante un intercambio de archivos, especialmente para casos de uso relacionados con Standalone, Salesforce, Microsoft Dynamics o proyectos de procesamiento de archivos dedicados.

Nota: Este artículo cubre el procesamiento por lotes de archivos mediante SFTP. No se aplica a las llamadas API en tiempo real.

Qué hace el procesamiento por lotes de archivos

El procesamiento por lotes de archivos permite a DQE procesar un conjunto de datos automáticamente. Según su configuración, DQE puede aplicar uno o más servicios de calidad de datos a su archivo.

El procesamiento habitual puede incluir:

• estandarización de direcciones postales;
• deduplicación;
• enriquecimiento de datos;
• detección de mudanzas;
• limpieza de datos;
• estandarización de campos;
• procesamiento específico configurado para su proyecto.

Cómo funciona el proceso

Un proceso por lotes de archivos suele seguir estos pasos:

1. Prepara un archivo CSV utilizando el formato esperado.
2. Sube el archivo a la carpeta de entrada SFTP dedicada.
3. DQE comprueba el formato del archivo y procesa los registros según la configuración acordada.
4. DQE genera un archivo de salida que contiene los datos originales y columnas de resultados adicionales de DQE.
5. Recupera el archivo procesado desde la carpeta de salida SFTP.

Flujo de procesamiento

Archivo CSV
   ↓
SFTP /IN
   ↓
Cadena de procesamiento DQE
   ↓
Servicios de calidad de datos
(RNVP, teléfono, correo electrónico, B2B, deduplicación, etc.)
   ↓
Archivo CSV procesado
   ↓
SFTP /OUT

Archivo de entrada

El archivo de entrada es el archivo CSV que proporciona a DQE para su procesamiento. Su estructura debe coincidir con las especificaciones definidas para su proyecto.

En general, el archivo debe:

• utilizar el formato CSV;
• utilizar codificación UTF-8 sin firma;
• utilizar un punto y coma (;) como separador;
• incluir una fila de encabezado;
• incluir una línea por registro;
• mantener el orden de columnas esperado;
• incluir un identificador único para cada registro.

Las columnas exactas requeridas dependen de los servicios incluidos en su configuración de procesamiento.

Transferencia de archivos mediante SFTP

Los archivos se intercambian a través de un servidor SFTP seguro. Según su configuración, la plataforma SFTP puede estar alojada por DQE o por su organización tras la validación de DQE.

Para un flujo de trabajo SFTP estándar alojado por DQE:

• los archivos de entrada se suben a la carpeta /IN;
• los archivos procesados se recuperan desde la carpeta /OUT.

Los datos de conexión se proporcionan por separado durante la configuración del proyecto.

Archivo de salida

Tras el procesamiento, DQE devuelve un archivo CSV de salida. Este archivo suele contener los datos originales más columnas adicionales de DQE.

Estas columnas adicionales le ayudan a entender:

• qué registros se procesaron correctamente;
• qué valores se estandarizaron o corrigieron;
• qué registros requieren revisión;
• qué códigos de error o calidad se devolvieron;
• qué datos de enriquecimiento se añadieron.

Las columnas de salida exactas dependen de los servicios DQE habilitados para su proyecto.

Procesamiento manual y automatizado

El procesamiento por lotes de archivos puede gestionarse como un proceso puntual o como un proceso recurrente automatizado.

Con el procesamiento automatizado, el flujo de trabajo de subida y recuperación sigue siendo similar:

1. Deposita los archivos en la carpeta de entrada.
2. La cadena de procesamiento DQE recupera y procesa los archivos automáticamente.
3. DQE deposita los archivos procesados en la carpeta de salida.
4. Recupera los archivos procesados.

Buenas prácticas

• Conserve siempre el archivo original hasta que se haya validado el archivo procesado.
• Utilice un identificador único para cada registro para que los resultados puedan asociarse con los datos de origen.
• No cambie los nombres o el orden de las columnas esperados sin validar el cambio con DQE.
• Compruebe los archivos rechazados y los registros cuando un archivo no se procese como se esperaba.
• Revise las columnas de salida de DQE antes de actualizar los datos de producción.

Próximos pasos

• Comprender las columnas de salida de DQE
• Preparar el archivo de entrada para el procesamiento por lotes de archivos
• Subir y recuperar archivos por lotes mediante SFTP
• Comprender las carpetas de procesamiento por lotes automatizado