Cambiando el chip hacia event-driven

Ni falta hace que escriba sobre las ventajas que proporciona el paradigma event-driven en el que los componentes de software reaccionan a eventos a los que se han suscrito previamente. El productor está desacoplado del consumidor y se pueden añadir consumidores conforme se necesitan nuevos tratamientos del evento.

Además, el dominio de los eventos va a crecer y dotar de más significado al código: Se puede tener un evento UserToPurchaseInsurance y un evento InsurancePurchased que semánticamente es más significativo que tener un objeto Insurance con un malvado campo status.

descarga

Event-driven sin broker de mensajería parece un poco engorro. Sin embargo, Spring facilita mucho el trabajo ya que despliega una infraestructura de publicación y suscripción a eventos para los beans registrados en el contexto. Si se da el caso de trabajar en un monolito sin broker de mensajería, los eventos de aplicación de Spring pueden ser un buen inicio para refactorizar algunas partes del código a una arquitectura orientada a eventos.

Este código incluiría 4 dependencias:

  • al proveedor de seguros,
  • al servicio que envía emails,
  • al repositorio y
  • al servicio que roba el coche asegurado:
if (insuranceProvider.purchase(insurance)) {
    sendEmail(insurance);
    persist(insurance);
    stealCar(insurance);
}

Podría convertirse en este otro código que tendría como dependencias el proveedor de seguros y el publicador de eventos. Como se indicó anteriormente, desacoplando productor de los N consumidores.

if (insuranceProvider.purchase(insurance)) {
    publishEvent(InsurancePurchasedEvent.from(insurance));
}

Los puntos de entrada de los consumidores en este caso serían tres listeners:

@Component
public class InsurancePurchasedEmailEventListener {
    @EventListener
    public void sendAnEmail(InsurancePurchased insurancePurchased) {}
}
@Component
public class InsurancePurchasedPersistenceEventListener {
    @EventListener
    public void persistInsurance(InsurancePurchased insurancePurchased) {}
}
@Component
public class InsurancePurchasedThiefEventListener {
    @EventListener
    public void stealTheCar(InsurancePurchased insurancePurchased) {}
}

Esta entrada surge tras haber leído el artículo Spring Events de Baeldung en el que explican exactamente cómo publicar el evento y recuerdan que por defecto los eventos son recogidos por los listeners en el mismo hilo, por lo que la ejecución no continuará hasta que se procese el evento por todos los listeners. Este comportamiento se puede alterar definiendo un bean ApplicationEventMulticaster.

Anuncios

Introducción a Spring Batch. Toma 2

Fuente: spring.io

 

Esta es la segunda parte de Introducción a Spring Batch. Toma 1 donde se explicaron algunos conceptos básicos sobre jobs de Spring Batch y se describió lo mínimo necesario para usar Spring Batch en una aplicación. ¡Continuamos!

 

5. Transaccionalidad

Un step se puede declarar como tasklet-oriented o chunk-oriented:

  • Step tasklet-oriented: Podemos definir una tarea simple con el método tasklet() que se caracteriza porque se crea una transacción por cada elemento. En caso de fallo de escritura, la transacción se revierte.
  • Step chunk-oriented: Un chunk es un conjunto de elementos que se leen y se procesan por separado pero se persisten juntos. El número de elementos por chunk se indica en la definición del step con el método chunk(). Con este tipo de steps, se crea una transacción por cada chunk.

Nos podría interesar elegir procesamiento chunk-oriented para maximizar el uso de la RAM o beneficiarnos de la transaccionalidad (por ejemplo, haciendo rollback de la escritura de 10 elementos que deberían ir juntos). Por otra parte, también nos podría interesar escribir un conjunto de elementos a la vez (p. ej, enviar a un endpoint que recibe un array de elementos).

Como siempre, con Spring Boot no es necesario declarar el transactionManager ya que es inyectado automáticamente por el framework.

En el siguiente commit, se ha declarado un ItemReader que lee un archivo CSV y un ItemWriter que muestra cada objeto Persona. También se ha cambiado la definición del step para establecer un chunk de 2 elementos.

Las implementaciones de FlatFileItemReader, DelimitedLineTokenizer, DefaultLineMapper y FieldSetMapper ofrecidas por Spring nos ayudan a leer un CSV en unas pocas líneas.

 

6. Tolerancia a fallos

Los componentes ItemReader, ItemProcessor e ItemWriter lanzarán excepciones en caso de error. Podemos evitar que ante una excepción rompa la aplicación con el método skipLimit() indicando el número de excepciones a saltar. Además los tipos de excepciones tienen que definirse usando el método skip() (tantas veces como sea necesario).

Para trabajar con los elementos saltados (que han provocado una excepción) se puede implementar SkipListener. Un ejemplo sería imprimir la entrada errónea o guardarla en otro CSV.

En el tercer commit, se ha introducido un error de lectura “-“ en el CSV y un error de escritura (lanzando la excepción IllegalArgumentException). Se ha incluido el método faultTolerant() en el step con un límite de 2 excepciones FlatFileParseException, FlatFileFormatException e IllegalArgumentException.

Como el límite es 2, el job se ejecutará correctamente saltando los 2 errores introducidos. Como ejercicio, podríamos añadir otro error al archivo CSV y ver cómo falla el job.

 

7. Reintentos

Es posible reintentar una acción que ha fallado previamente (tanto la lectura como el procesamiento o la escritura). En el cuarto commit se ha añadido una llamada al método retryLimit(1) para reintentar las excepciones del tipo IllegalArgumentException.

Es conveniente utilizar un límite para los reintentos ya que es posible que la misma excepción continúe sucediendo cada vez que se ejecute el mismo proceso.

 

8. Logs y estadísticas

El método StepBuilderFactory#listener() recibe cualquier tipo de listener como por ejemplo ChunkListener, StepListener, RetryListener… Todos estos pueden utilizarse para registrar el progreso (escribir logs) de un step. Como apoyo para escribir estos logs, podemos utilizar el contexto del step o del job para guardar timestamps o cualquier otro tipo de información.

Centrándonos en registrar el progreso de un job, definiendo JobBuilderFactory podemos usar el método .listener() pasando como argumento una instancia de JobExecutionListener.

La clase StepExecution tiene un método getSummary() que devuelve cierta información tras la ejecución del step, como por ejemplo:

El campo status devuelve un valor del enumerado BatchStatus y puede ser mapeado al código de finalización de la aplicación.

El campo exitStatus devuelve un valor del enumerado ExitStatus y representa el estado de finalización del step. Este valor no siempre es equivalente al valor del campo status. Además es posible personalizarlo para proporcionar más información y con ello, por ejemplo, definir un flujo condicional en el que el inicio de un step dependa del valor del campo exitStatus del step anterior.

En cualquier caso, Spring Batch permite definir flujos de steps donde un step se ejecuta  de manera condicional teniendo en cuenta el estado de finalización del step anterior.

En este commit se han definido unos cuantos listeners para registrar cada acción ocurrida durante el procesamiento batch. Además se ha añadido un atributo “timing” al contexto del chunk para medir el tiempo transcurrido durante el procesamiento de cada chunk.

 

9. Parando y re-arrancando un proceso batch

Spring Batch nos proporciona el bean JobOperator con los siguientes métodos:

  • getRunningExecutions(“jobName”) que devuelve una lista de ids de los jobs que se están ejecutando.
  • stop() que para la ejecución del step en cuanto se termina de ejecutar el código escrito en el mismo.
  • restart() que continúa la ejecución a partir del siguiente step.

 

10. Administración web

El proyecto Spring Cloud Data Flow proporciona una interfaz web y una CLI para administrar los jobs y streams que proceden de los proyectos Spring Cloud Task y Spring Cloud Stream. El objetivo del proyecto Spring Cloud Task es el de integrar los jobs de Spring Batch como microservicios en la nube.

Para convertir un proyecto en Spring Batch a uno de Spring Cloud Task únicamente es necesario añadir la dependencia y la anotación @EnableTask.

 

Aquí podemos encontrar los pasos necesarios para ejecutar un job dentro del Spring Cloud Data Flow:

Lo más común es registrar la aplicación con la URI de Maven (maven://) para que Spring Cloud Data Flow se descargue el artefacto del repositorio. Otros tipos de aplicaciones que se pueden registrar son sinks y sources.

Podemos consultar las estadísticas de los jobs accediendo a: http://localhost:9393/dashboard/index.html#/jobs/executions/1

Y las estadísticas de los steps en: http://localhost:9393/dashboard/index.html#/jobs/executions/1/1

Sin duda merece la pena darle una oportunidad a Spring Cloud Data Flow, tiene cosas muy chulas como por ejemplo, una herramienta visual para pintar el flujo de datos entre los distintos microservicios.

Es posible definir el directorio en el que se almacenarán los logs de la aplicación. No obstante, aunque no especifiquemos ninguna ruta, en el log de Spring Cloud Data Flow podremos distinguir una primera línea que comienza con “Logs will be in ” indicando la carpeta temporal elegida por Spring para este propósito.

En este commit podemos ver lo fácil que es convertir un proyecto Spring Cloud Data Flow:

 

11. Particionamiento

Existen diferentes estrategias para escalar un proceso batch ya sea de manera multihilo o multiproceso.

El particionamiento de un step es una de ellas y permite ejecutar steps en máquinas remotas o en hilos locales. Consiste en definir un step maestro (master step) que delegará el trabajo particionado en steps esclavos (slave steps). Para usar el particionamiento de steps es necesario definir tanto la estrategia de particionado como los esclavos.

El step maestro utilizará una implementación de Partitioner para escribir en el contexto de ejecución toda la información que necesitará cada esclavo para procesar su partición de datos.

En este último commit se ha añadido un segundo archivo CSV y se ha definido un bean CustomMultiResourcePartitioner que utilizará un step maestro para escribir el nombre del archivo CSV en cada contexto. Cada esclavo recibe un contexto diferente por parte del maestro.

Los dos esclavos se ejecutan en hilos diferentes porque se ha declarado un taskExecutor con el DSL del StepBuilderFactory.

Además, se ha utilizado la anotación @StepScope para recuperar el nombre del archivo guardado en el contexto usando el Spring Expression Language.

 

12. Extra:

Spring Batch proporciona múltiples implementaciones para facilitar el desarrollo de procesos batch. Aquí puedes encontrar una lista de ellas:

View story at Medium.com

Esta segunda toma de la introducción a Spring Batch es una traducción del artículo publicado en el blog de Fintonic Product Team.

Habilidades de un desarrollador

Extraído de un hilo (#MUSTREAD) escrito por Jen Simmons el 2 de julio en el que se dirige a los desarrolladores que les puede frustrar no saberlo todo.

En los tweets recomienda reforzar las habilidades que considera que son esenciales para un desarrollador:

1. Saber identificar el desconocimiento.

2. Saber encontrar las cosas y leer documentación.

3. Tener voluntad para probar, probar y probar hasta que las cosas salen.

4. Acostumbrarse y sentirse cómodo con el miedo al desconocimiento.

Introducción a Spring Batch. Toma 1

1. ¿Qué es un proceso batch?

Un proceso batch es una tarea automática para procesar un gran de volumen de datos. Este proceso se puede ejecutar sin interacción humana y repetirse periódicamente.

Qué no es un proceso batch: no es una tarea programada (un cron). Es bastante común programar un proceso batch, pero no es necesario hacerlo.

2. ¿Qué debemos tener en cuenta con un proceso batch?

  • Transaccionalidad porque queremos hacer roll back cuando los datos han sido invalidados.
  • Tolerancia a fallos porque no queremos que la aplicación termine cuando ocurra una excepción.
  • Reintentos porque… sometimes shit happens.
  • Logs y estadísticas porque de vez en cundo necesitamos saber qué ocurre dentro del proceso batch.
  • Parada y arranque de los procesos batch.
  • Administración web porque mola.
  • Particionamiento porque el trabajo puede ser compartido entre diferentes máquinas.

Cada uno de estos aspectos será comentado más tarde. He preparado unos cuantos commits en un repo para repasar todos estos puntos mostrando las diferencias en el código.

3. Conceptos de Spring Batch

Spring Batch es un proyecto que nos proporciona un framework para desarrollar aplicaciones batch. Este proyecto tiene un largo recorrido y es el resultado de la contribución de varias empresas con mucha experiencia en procesamiento batch.

Jobs, Steps, ItemReader, ItemProcessor and ItemWriter:

Fuente: Spring Batch Reference Documentation https://docs.spring.io/spring-batch/trunk/reference/html/domain.html

En Spring Batch se ejecutan jobs que se dividen en steps. Cada step tiene un componente para obtener los objetos (ItemReader), otro para procesarlos (ItemProcessor) y uno más para persistirlos (ItemWriter). El componente de procesamiento de datos es opcional.

Normalmente necesitaremos una instancia de JobBuilderFactory para declarar el Job y un StepBuilderFactory  para declarar el Step. No hay problema, Spring nos proporciona ambas.

JobExecution y JobLauncher

Un job puede ejecutarse por una instancia de JobLauncher. Durante su ejecución la información es almacenada y compartida en el JobExecutionContext y el StepExecutionContext.

El JobLauncher devuelve un JobExecution que nos da información sobre la ejecución, como por ejemplo el resultado de la misma: COMPLETED, FAILED…

JobInstance, JobParameters y RunIdIncrementer

JobInstance es la combinación de un Job y sus JobParameters. Una de las reglas de Spring Batch es que no se puede volver a ejecutar un Job si su JobExecution tiene estado COMPLETED. Sin embargo, se puede utilizar un RunIdIncrementer para ejecutar el mismo job varias veces ya que éste modifica internamente sus parámetros.

JobRepository

Spring Batch gestiona por sí sólo una base de datos con información sobre la ejecución de los jobs instanciando un bean de JobRepository. Para ello sólo necesitamos declarar la dependencia de H2 en el entorno de desarrollo.

4. Requisitos mínimos para comprobar que todo esto funciona

  • Dependencia de Spring Boot Starter Batch (aquí es donde reside toda la magia).
  • Dependencia del driver de la base de datos.
  • Anotación @EnableBatchProcessing en la clase de configuración de Spring.
  • Bean que define del job.
  • Bean que define el step con una tarea que escriba un mensaje “Reading…”. Cuando esa tarea devuelva un null indicará el fin de la fuente de datos y por tanto que el job ha terminado.
@Bean
public Job job(Step step1) throws Exception {
    return jobBuilderFactory.get("job1")
        .incrementer(new RunIdIncrementer())
        .start(step1)
        .build();
}

@Bean
public Step step1() {
    return stepBuilderFactory.get("step1")
        .tasklet(new Tasklet() {
            public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) {
                System.out.println("Reading...");
                return null;
            }
        })
        .build();
}

Puedes clonar el repo que he preparado para este post y ver el código añadido en el primer commit para ejecutar Spring Batch con lo mínimo necesario.

Este artículo es una traducción del que escribí hace unos meses en el blog de Fintonic Engineering.

SOLID + IntelliJ IDEA

De los tan famosos principios SOLID hay 2 que quiero tratar:

– S de Single Responsibility Principle

Nos recuerda que mantengamos las work units (para mí son las clases) con una única responsabilidad. Este concepto puede sonar un poco abstracto y yo pienso en responsabilidad como motivos para cambiar. En cuanto me huelo que el código que estoy escribiendo va a ser extendido más adelante, trato de separarlo de lo que ya conozco (que no se modifica con demasiada frecuencia).

– I de Interface Segregation

Nos recuerda que mantengamos las interfaces con el menor número de métodos posible ya que quien extiende/herede está obligado a implementarlos todos. Así, los métodos tienen que ser muy cohesivos entre sí y, por supuesto, las interfaces más bonitas son las @FunctionalInterface.

Ahora bien, partirse el pecho por estos principios es duro y cansa. La mayoría del tiempo uno va con tanta prisa que extender código significa escribir más abajo de la clase sin pararse a pensar que quizás vaya siendo hora de trocear.

Afortunadamente el IDE es nuestro amigo y podemos reducir mucho el esfuerzo utilizando la opción de refactorizacion Delegate (en IDEA) que no es más que crear un delegado dueño del código que se quiere sacar de la clase.

El ejemplo -más tonto imposible- es una clase CalculatorImpl con los métodos add() y multiply(). Intuimos que el método add() va a crecer, va a ganar importancia por sí solo y puede que se reutilice en otra parte del código. Motivos suficientes para extraerlo a una clase Adder.

public class CalculatorImpl implements Calculator {

    @Override
    public Long add(Long a, Long b) {
        return a + b;
    }

    @Override
    public Long multiply(Long a, Long b) {
        long product = a;
        for (int i = 1; i < b; i++) {
            product = add(product, a);
        }
        return product;
    }
}

Paso 1: Ctrl + T > Delegate… y escribimos el nombre de la nueva clase: AdderImpl.

  • El método en rojo indica que depende del método toBeSubtracted() y es necesario llevarlo también a la clase AdderImpl por lo que lo marcamos. En caso de no hacerlo, el delegado incluiría un campo de tipo CalculatorImpl para acceder al método.
  • El método en color azul indica que sus dependencias están satisfechas y que su código se modifica referenciando a la nueva clase AdderImpl.
  • La dependencia en campos estáticos no está analizada pero como sabemos que el método add() depende de toBeAdded lo marcamos para que lo mueva.

Ventana Delegate... de IntelliJ

Paso 2: Eliminamos el método toBeSubtracted() que no se ha eliminado de la clase CalculatorImpl.

Paso 3: Corregimos el error que se marca en @Override de AdderImpl con la opción Extract method ‘add’ to new interface y creamos la interface Adder.

Paso 4: Sobre AdderImpl Ctrl + T > Use Interface Where Possible para que la referencia en CalculatorImpl sea a la interfaz Adder. De paso, renombramos el campo con Shift + F6 a adder.

public class CalculatorImpl implements Calculator {

    private final Adder adder = new AdderImpl();

    @Override
    public Long add(Long a, Long b) {
        return adder.add(a, b);
    }

    @Override
    public Long multiply(Long a, Long b) {
        long product = a;
        for (int i = 1; i < b; i++) {
            product = adder.add(product, a);
        }
        return product;
    }
}

La magia definitiva sería que se pudiese implementar una interfaz directamente al delegar uniendo los pasos 1 y 4. Pero lo mismo es demasiado pedir…

Los enums siguen molando

Escribí hace tiempo una entrada en la que hacía público mi amor hacia los enums. A día de hoy creo que no los uso lo suficiente y voy poco a poco aprendiendo cosas nuevas. Con todo esto, no me ha quedado otra que escribir una segunda parte: Los enums siguen molando.

Una característica por la que los enums son conocidos y se suelen usar es la imposibilidad de invocar al constructor (ni con reflection) por lo que son buenos candidatos para utilizarlos como singletons.

En Effective Java, el autor define los métodos constant-specific methods como las implementaciones de un método abstracto en el enum. Esto permite asociar comportamiento a los elementos que se definen. Y obliga a definir el comportamiento por cada elemento nuevo.

public enum PiecesToClean {
    LIVING_ROOM {
        @Override public void clean() {
            System.out.println("Cleaning the living room");
        }
    },
    KITCHEN {
        @Override public void clean() {
            System.out.println("Cleaning the kitchen");
        }
    },
    BATH_ROOM {
        @Override public void clean() {
            System.out.println("Cleaning the bath room");
        }
    };

    public abstract void clean();
}

Por otra parte, Joshua Bloch propone el strategy enum pattern en el que los diferentes comportamientos de los enums son definidos en el constructor de cada elemento. De esta forma, el compilador nos obliga a definir el comportamiento para cada constante pero además contamos con la flexibilidad del patrón strategy a la hora de escribir diferentes comportamientos reutilizables para cada enum.

public enum PiecesToClean {
    LIVING_ROOM(CleaningStrategy.SHALLOW),
    KITCHEN(CleaningStrategy.DEEP),
    BATH_ROOM(CleaningStrategy.DEEP);

    private final CleaningStrategy cleaningStrategy;

    PiecesToClean(CleaningStrategy cleaningStrategy) {
        this.cleaningStrategy = cleaningStrategy;
    }

    public void clean() {
        cleaningStrategy.clean();
    }
}
public enum CleaningStrategy {
    SHALLOW() {
        @Override public void clean() {
            System.out.println("Cleaning fast");
        }
    },
    DEEP() {
        @Override public void clean() {
            System.out.println("Cleaning with love");
        }
    };

    public abstract void clean();
}

En el mismo capítulo también se propone lanzar una excepción para el caso por defecto en los bloques switch sobre el enum ya que el autor pone en evidencia el peligro de los enums en bloques switch teniendo en cuenta que se puede añadir un elemento nuevo pero olvidar añadir en los bloques switch (diseminados por todo el código) el caso para esa constante, por lo que aplicará el caso por defecto.

switch (piece) {
   case LIVING_ROOM:
      piece.clean(); break;
   case KITCHEN:
      piece.clean(); break;
   case BATH_ROOM:
      piece.clean(); break;
   default:
      throw new IllegalArgumentException("You should have defined this use case");
}

Mi compi Jorge me enseñó el otro día cómo utilizaba un enum para implementar un Predicate de Java 8. Cada elemento del enum es una regla de negocio y cada uno implementa test() para determinar si se cumple la regla.

public enum BusinessRule implements Predicate {
    RULE_1() {
        @Override public boolean test(DomainObjectUnderRules domainObjectUnderRules) {
            // logic to test rule 1
        }
    },
    RULE_2 {
        @Override public boolean test(DomainObjectUnderRules domainObjectUnderRules) {
            // logic to test rule 2
        }
    };
}

A parte de impresionarme esta forma de usar enums entendí que Java 8 está facilitando mucho el uso de los enumerados, sobre todo, en los casos en los que el enum recibe una lambda en el constructor.

Para terminar, en el libro se recuerda que en Java 7 se introdujo EnumMap que es una implementación de mapas especialmente desarrollada para enums, muy compacta y muy eficiente y cuyo uso no es muy extendido.

 

Desactivar autoconfiguración de Mongo en tests de integración con Spring Boot

Puede interesar, escribiendo un test, querer levantar el contexto de Spring sin instanciar ciertos componentes como la capa de acceso a datos. De esta manera, se prueba cierta integración sin pasar horas definiendo mocks.

Spring Boot utiliza la propiedad spring.autoconfigure.exclude para excluir clases @Configuration y no instanciar los beans declarados en su interior. Se puede definir esta propiedad para desactivar la autoconfiguración de Spring Boot Data Mongo. Las clases que instancian los componentes necesarios para utilizar una base de datos Mongo son:

– org.springframework.boot.autoconfigure.data.mongo.MongoDataAutoConfiguration
– org.springframework.boot.autoconfigure.mongo.MongoAutoConfiguration

Se puede utilizar la anotación @TestPropertySource para inyectar las propiedades al contexto de Spring que se levanta al ejecutar el test con la anotación @SpringBootTest.

Por último, habría que inyectar un mock de mongoTemplate a los componentes que lo usen.

Y para muestra, un ejemplo insultántemente tonto:

@RunWith(SpringRunner.class)
@SpringBootTest
@TestPropertySource(properties = "spring.autoconfigure.exclude=
org.springframework.boot.autoconfigure.data.mongo.MongoDataAutoConfiguration,
org.springframework.boot.autoconfigure.mongo.MongoAutoConfiguration")
public class DemoApplicationTests {

    @Configuration
    static class TestConfiguration {
        @MockBean private MongoTemplate mongoTemplate;
    }

    @Test
    public void integrationTestNotNeedingRepository() {
        Assert.assertTrue(true);
    }
}