Introducción a Spring Batch. Toma 2

Fuente: spring.io

 

Esta es la segunda parte de Introducción a Spring Batch. Toma 1 donde se explicaron algunos conceptos básicos sobre jobs de Spring Batch y se describió lo mínimo necesario para usar Spring Batch en una aplicación. ¡Continuamos!

 

5. Transaccionalidad

Un step se puede declarar como tasklet-oriented o chunk-oriented:

  • Step tasklet-oriented: Podemos definir una tarea simple con el método tasklet() que se caracteriza porque se crea una transacción por cada elemento. En caso de fallo de escritura, la transacción se revierte.
  • Step chunk-oriented: Un chunk es un conjunto de elementos que se leen y se procesan por separado pero se persisten juntos. El número de elementos por chunk se indica en la definición del step con el método chunk(). Con este tipo de steps, se crea una transacción por cada chunk.

Nos podría interesar elegir procesamiento chunk-oriented para maximizar el uso de la RAM o beneficiarnos de la transaccionalidad (por ejemplo, haciendo rollback de la escritura de 10 elementos que deberían ir juntos). Por otra parte, también nos podría interesar escribir un conjunto de elementos a la vez (p. ej, enviar a un endpoint que recibe un array de elementos).

Como siempre, con Spring Boot no es necesario declarar el transactionManager ya que es inyectado automáticamente por el framework.

En el siguiente commit, se ha declarado un ItemReader que lee un archivo CSV y un ItemWriter que muestra cada objeto Persona. También se ha cambiado la definición del step para establecer un chunk de 2 elementos.

Las implementaciones de FlatFileItemReader, DelimitedLineTokenizer, DefaultLineMapper y FieldSetMapper ofrecidas por Spring nos ayudan a leer un CSV en unas pocas líneas.

 

6. Tolerancia a fallos

Los componentes ItemReader, ItemProcessor e ItemWriter lanzarán excepciones en caso de error. Podemos evitar que ante una excepción rompa la aplicación con el método skipLimit() indicando el número de excepciones a saltar. Además los tipos de excepciones tienen que definirse usando el método skip() (tantas veces como sea necesario).

Para trabajar con los elementos saltados (que han provocado una excepción) se puede implementar SkipListener. Un ejemplo sería imprimir la entrada errónea o guardarla en otro CSV.

En el tercer commit, se ha introducido un error de lectura “-“ en el CSV y un error de escritura (lanzando la excepción IllegalArgumentException). Se ha incluido el método faultTolerant() en el step con un límite de 2 excepciones FlatFileParseException, FlatFileFormatException e IllegalArgumentException.

Como el límite es 2, el job se ejecutará correctamente saltando los 2 errores introducidos. Como ejercicio, podríamos añadir otro error al archivo CSV y ver cómo falla el job.

 

7. Reintentos

Es posible reintentar una acción que ha fallado previamente (tanto la lectura como el procesamiento o la escritura). En el cuarto commit se ha añadido una llamada al método retryLimit(1) para reintentar las excepciones del tipo IllegalArgumentException.

Es conveniente utilizar un límite para los reintentos ya que es posible que la misma excepción continúe sucediendo cada vez que se ejecute el mismo proceso.

 

8. Logs y estadísticas

El método StepBuilderFactory#listener() recibe cualquier tipo de listener como por ejemplo ChunkListener, StepListener, RetryListener… Todos estos pueden utilizarse para registrar el progreso (escribir logs) de un step. Como apoyo para escribir estos logs, podemos utilizar el contexto del step o del job para guardar timestamps o cualquier otro tipo de información.

Centrándonos en registrar el progreso de un job, definiendo JobBuilderFactory podemos usar el método .listener() pasando como argumento una instancia de JobExecutionListener.

La clase StepExecution tiene un método getSummary() que devuelve cierta información tras la ejecución del step, como por ejemplo:

El campo status devuelve un valor del enumerado BatchStatus y puede ser mapeado al código de finalización de la aplicación.

El campo exitStatus devuelve un valor del enumerado ExitStatus y representa el estado de finalización del step. Este valor no siempre es equivalente al valor del campo status. Además es posible personalizarlo para proporcionar más información y con ello, por ejemplo, definir un flujo condicional en el que el inicio de un step dependa del valor del campo exitStatus del step anterior.

En cualquier caso, Spring Batch permite definir flujos de steps donde un step se ejecuta  de manera condicional teniendo en cuenta el estado de finalización del step anterior.

En este commit se han definido unos cuantos listeners para registrar cada acción ocurrida durante el procesamiento batch. Además se ha añadido un atributo “timing” al contexto del chunk para medir el tiempo transcurrido durante el procesamiento de cada chunk.

 

9. Parando y re-arrancando un proceso batch

Spring Batch nos proporciona el bean JobOperator con los siguientes métodos:

  • getRunningExecutions(“jobName”) que devuelve una lista de ids de los jobs que se están ejecutando.
  • stop() que para la ejecución del step en cuanto se termina de ejecutar el código escrito en el mismo.
  • restart() que continúa la ejecución a partir del siguiente step.

 

10. Administración web

El proyecto Spring Cloud Data Flow proporciona una interfaz web y una CLI para administrar los jobs y streams que proceden de los proyectos Spring Cloud Task y Spring Cloud Stream. El objetivo del proyecto Spring Cloud Task es el de integrar los jobs de Spring Batch como microservicios en la nube.

Para convertir un proyecto en Spring Batch a uno de Spring Cloud Task únicamente es necesario añadir la dependencia y la anotación @EnableTask.

 

Aquí podemos encontrar los pasos necesarios para ejecutar un job dentro del Spring Cloud Data Flow:

Lo más común es registrar la aplicación con la URI de Maven (maven://) para que Spring Cloud Data Flow se descargue el artefacto del repositorio. Otros tipos de aplicaciones que se pueden registrar son sinks y sources.

Podemos consultar las estadísticas de los jobs accediendo a: http://localhost:9393/dashboard/index.html#/jobs/executions/1

Y las estadísticas de los steps en: http://localhost:9393/dashboard/index.html#/jobs/executions/1/1

Sin duda merece la pena darle una oportunidad a Spring Cloud Data Flow, tiene cosas muy chulas como por ejemplo, una herramienta visual para pintar el flujo de datos entre los distintos microservicios.

Es posible definir el directorio en el que se almacenarán los logs de la aplicación. No obstante, aunque no especifiquemos ninguna ruta, en el log de Spring Cloud Data Flow podremos distinguir una primera línea que comienza con “Logs will be in ” indicando la carpeta temporal elegida por Spring para este propósito.

En este commit podemos ver lo fácil que es convertir un proyecto Spring Cloud Data Flow:

 

11. Particionamiento

Existen diferentes estrategias para escalar un proceso batch ya sea de manera multihilo o multiproceso.

El particionamiento de un step es una de ellas y permite ejecutar steps en máquinas remotas o en hilos locales. Consiste en definir un step maestro (master step) que delegará el trabajo particionado en steps esclavos (slave steps). Para usar el particionamiento de steps es necesario definir tanto la estrategia de particionado como los esclavos.

El step maestro utilizará una implementación de Partitioner para escribir en el contexto de ejecución toda la información que necesitará cada esclavo para procesar su partición de datos.

En este último commit se ha añadido un segundo archivo CSV y se ha definido un bean CustomMultiResourcePartitioner que utilizará un step maestro para escribir el nombre del archivo CSV en cada contexto. Cada esclavo recibe un contexto diferente por parte del maestro.

Los dos esclavos se ejecutan en hilos diferentes porque se ha declarado un taskExecutor con el DSL del StepBuilderFactory.

Además, se ha utilizado la anotación @StepScope para recuperar el nombre del archivo guardado en el contexto usando el Spring Expression Language.

 

12. Extra:

Spring Batch proporciona múltiples implementaciones para facilitar el desarrollo de procesos batch. Aquí puedes encontrar una lista de ellas:

View story at Medium.com

Esta segunda toma de la introducción a Spring Batch es una traducción del artículo publicado en el blog de Fintonic Product Team.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s