Batchtoepassingen

In bepaalde scenario's is het nodig om gegevens te verwerken op vaste tijdstippen, bij voorkeur zonder tussenkomst van een menselijke gebruiker. Bijvoorbeeld wanneer uw bedrijfsactiviteit afhankelijk is van gegevens die elke nacht door een partner worden geleverd in de vorm van een groot bestand.

Veronderstel dat de aangeleverde gegevens in een formaat staan dat niet rechtstreeks ingeladen kan worden in de doeltoepassing. Een typische oplossing bestaat er dan in om een ETL-mechanisme toe te passen op de gegevens: het lijn per lijn extraheren, transformeren en inladen van het bestand in uw infrastructuur.

Afhankelijk van de grootte van de dataset en de complexiteit van de handelingen die erop moeten gebeuren (validatie, filteren, combineren met eigen data, aggregeren, ...) kan dit al snel een proces worden dat meerdere uren in beslag neemt. Bovendien kan gedurende deze tijd uw systeem een zwaardere belasting ondergaan dan normaal en bestaat het risico dat eindgebruikers een vertraging van de toepassing merken.

Daarom moeten batchtoepassingen zorgvuldig ontworpen worden en moeten er op voorhand maatregelen ingebouwd worden om de negatieve effecten voor eindgebruikers te minimaliseren.

Batchtechnologie is naar alle waarschijnlijkheid de meest volgroeide van de verschillende software technologiŽen. Dankzij tientallen jaren van batchsystemen die uiteenlopende taken hebben uitgevoerd werd veel ervaring opgedaan en gedocumenteerd, om er vervolgens 'best practices' uit te destilleren.