Co je dávkové zpracování pracovní zátěže?
Dávkové zpracování pracovní zátěže označuje skupiny úloh (dávky), které jsou naplánovány ke zpracování ve stejnou dobu. Dávkové úlohy se tradičně zpracovávají během dávkových oken, tedy v obdobích, kdy je celkové využití procesoru nízké (obvykle přes noc). Důvody jsou dva:
- Dávkové úlohy mohou vyžadovat vysoké nároky na CPU, čímž zabírají prostředky, které jsou během pracovního dne potřebné pro jiné provozní procesy
- Dávkové úlohy se obvykle používají ke zpracování transakcí a k vytváření sestav, například shromažďování všech záznamů o prodeji, které byly vytvořeny v průběhu pracovního dne
Dnes se dávkové zpracování provádí prostřednictvím plánovačů úloh, systémů dávkového zpracování, řešení pro automatizaci pracovních úloh a aplikací nativních pro operační systémy. Nástroj pro dávkové zpracování přijímá vstupní data, zohledňuje systémové požadavky a koordinuje plánování pro velkoobjemové zpracování. Dávkové zpracování se od proudového zpracování liší tím, že dávkové zpracování vyžaduje nekontinuální informace.
Historie dávkového zpracování
Dávkové zpracování má kořeny v prehistorii počítačů. Již v roce 1890 používal americký Úřad pro sčítání lidu elektromechanický tabulátor k zaznamenávání informací ze sčítání lidu v USA. Herman Hollerith, který tabulátor vynalezl, pak založil společnost, z níž se posléze stala IBM.
V polovině 20. století se dávkové úlohy prováděly pomocí dat vyděrovaných na kartách. V 60. letech 20. století, s rozvojem multiprogramování, začaly počítačové systémy spouštět více dávkových úloh najednou a zpracovávat data z magnetické pásky místo z děrných štítků.
S rozvojem a zvyšováním výkonu mainframů se spouštělo více dávkových úloh, a proto byly vyvinuty aplikace, které zajišťovaly, aby se dávkové úlohy spouštěly pouze tehdy, když je k dispozici dostatek zdrojů, aby se zabránilo zpoždění. Díky tomu vznikly moderní systémy dávkového zpracování.
Příklady dávkového zpracování
Případy použití dávkového zpracování lze nalézt v bankách, nemocnicích, účetnictví a v jakémkoli jiném prostředí, kde je třeba zpracovat velký soubor dat. Například generování sestav spuštěné po uzavření obchodu, kdy byly dokončeny všechny transakce kreditními kartami. Společnosti poskytující veřejné služby shromažďují data o spotřebě zákazníků a spouštějí dávkové procesy pro stanovení vyúčtování.
V jiném případě použití spouští společnost spravující finanční data přes noc dávkové procesy, které poskytují finanční výkazy přímo bankám a finančním institucím, jimž slouží.
Výhody a nevýhody dávkového zpracování
Dávkové zpracování je užitečné, protože poskytuje metodu zpracování velkého množství dat bez obsazení klíčových výpočetních zdrojů. Pokud poskytovatel zdravotní péče potřebuje aktualizovat fakturační záznamy, může být nejlepší spustit dávku přes noc, kdy budou nároky na zdroje nízké.
Podobně dávkové zpracování pomáhá omezit prostoje tím, že úlohy provádí v době, kdy jsou k dispozici výpočetní zdroje.
Nástroje pro dávkové zpracování však mají často omezený rozsah a možnosti. K integraci dávkového systému s novými zdroji dat jsou často zapotřebí vlastní skripty, což může vyvolávat obavy o kybernetickou bezpečnost, pokud jsou součástí systému citlivá data. Tradiční dávkové systémy mohou být také špatně vybaveny pro zpracování procesů, které vyžadují data v reálném čase, například proudové zpracování nebo zpracování transakcí.
Udržuje vaše datové centrum krok s podnikáním?
Prozkoumejte, jak můžete překonat složitost datového centra pomocí podnikového řešení pro plánování úloh.
Moderní systémy dávkového zpracování
Moderní systémy dávkového zpracování poskytují řadu funkcí, které týmům usnadňují správu velkoobjemových úloh. Mohou zahrnovat automatizaci založenou na událostech, omezení a monitorování v reálném čase. Tyto moderní funkce pomáhají zajistit, aby se dávky prováděly pouze tehdy, když jsou k dispozici všechna potřebná data, čímž se snižují zpoždění a chyby.
Pro další snížení zpoždění obsahují moderní systémy dávkového zpracování algoritmy pro vyrovnávání zátěže, které zajišťují, aby dávky nebyly odesílány na servery s nedostatkem paměti nebo nedostatečným počtem dostupných procesorů.
Mimochodem, pokročilé možnosti plánování data/času umožňují plánovat dávky při zohlednění vlastních svátků, fiskálních kalendářů, více časových pásem a mnoho dalšího.
Vzhledem k rostoucí potřebě dat v reálném čase a rostoucí složitosti moderního zpracování dat se však mnoho IT organizací rozhoduje pro platformy pro automatizaci pracovních úloh a orchestraci, které poskytují pokročilé nástroje pro správu a integraci dat.
Dávkové zpracování přechází do cloudu
Moderní IT oddělení je rozmanité, distribuované a dynamické. Namísto spoléhání se na homogenní mainframy a lokální datová centra se dávkové procesy provozují v hybridních prostředích. Má to dobrý důvod.
Jak již bylo zmíněno, dávkové procesy jsou často náročné na zdroje. Dnes, s nárůstem velkých dat a online transakcí, může dávková zátěž vyžadovat poměrně hodně. Využití cloudové infrastruktury dává IT oddělení možnost poskytovat výpočetní zdroje na základě poptávky namísto instalace fyzických serverů, které by po velkou část dne pravděpodobně byly nečinné.
Objem dat, která musí IT oddělení spravovat, aby vyhovělo obchodním potřebám, neustále roste a nástroje pro dávkové pracovní zátěže se vyvíjejí, aby těmto potřebám vyhověly. IT oddělení například nemá zdroje potřebné k ručnímu provádění každého procesu ETL nebo k ruční konfiguraci, poskytování a odebírání virtuálních počítačů. Místo toho se k automatizaci a orchestraci těchto úloh do komplexních procesů používají nástroje pro dávkovou zátěž.
Například nástroj pro automatizaci a orchestraci lze použít k přesunu dat do a z různých komponent clusteru Hadoop v rámci komplexního procesu, který zahrnuje zajištění virtuálních počítačů, spuštění úloh ETL do platformy BI a následné doručení těchto zpráv e-mailem.
S rostoucí závislostí organizací na cloudových zdrojích a aplikacích se schopnost orchestrace plánování úloh a dávkového zatížení napříč různými platformami stane kritickou.
Orchestrace dávkové pracovní zátěže
Automatizační a orchestrační nástroje jsou stále více rozšiřitelné a několik řešení pro automatizaci pracovní zátěže již poskytuje univerzální konektory a low-code adaptéry REST API, které umožňují integrovat prakticky jakýkoli nástroj nebo technologii bez nutnosti skriptování.
To je důležité, protože místo toho, aby plánovače úloh, automatizační nástroje a dávkové procesy běžely v silách, může IT oddělení používat nástroj pro orchestraci pracovní zátěže k centrální správě, monitorování a řešení problémů se všemi dávkovými úlohami.
Nástroje pro orchestraci IT mohou například automaticky generovat a ukládat soubory protokolů pro každou dávkovou instanci, což umožňuje IT oddělení rychle identifikovat hlavní příčiny, když se objeví problémy. Monitorování a upozorňování v reálném čase umožňují IT reagovat na zpoždění, selhání a neúplné spuštění nebo jim předcházet, což zrychluje dobu odezvy v případě výskytu problémů.
Stále častější jsou také automatické restarty a automatické opravné pracovní postupy, přičemž dávkové úlohy lze prioritizovat tak, aby byly v době spuštění k dispozici zdroje.
Rozšiřitelné nástroje pro dávkové úlohy navíc umožňují konsolidovat starší skripty a dávkové aplikace, což IT oddělení umožňuje zjednodušit a snížit provozní náklady.
Budoucnost dávkového zpracování
Tradiční nástroje pro plánování dávek ustoupily vysoce výkonným platformám pro automatizaci a orchestraci, které poskytují rozšiřitelnost potřebnou pro řízení změn. Umožňují IT pracovat v hybridních a multicloudových prostředích a mohou výrazně snížit potřebu lidských zásahů.
Agoritmy strojového učení se používají k inteligentnímu přidělování virtuálních počítačů dávkovým úlohám, aby se snížil čas prostoje a nečinné zdroje. To má zásadní význam pro týmy spravující velkoobjemové úlohy nebo s velkým počtem virtuálních či cloudových serverů.
Pomocí strojového učení běžícího v reálném čase lze rezervovat další zdroje, pokud hrozí překročení pracovní zátěže kritické z hlediska SLA. To zahrnuje zajištění dalších virtuálních nebo cloudových strojů na základě dynamické poptávky. Ve spojení s automatickou nápravou to představuje výkonný nástroj, který zajistí, že nedojde ke zpoždění dodávky služeb koncovému uživateli nebo externímu zákazníkovi.
Z dlouhodobého hlediska se IT stává rozmanitějším a distribuovanějším a typy pracovních zátěží, za které je IT zodpovědné, se budou nadále rozšiřovat. Dozrávání nových technologií – umělá inteligence, internet věcí, edge computing – bude na týmy IT vyvíjet nový tlak, aby rychle integrovaly nové aplikace a technologie.
IT se rychle mění, ale některé věci, například dávkové zpracování, zůstávají stejné.
Jste připraveni zjistit, jak usnadňujeme automatizaci pracovní zátěže?
Naplánujte si ukázku a sledujte, jak naši odborníci spouštějí úlohy odpovídající vašim případům použití v ActiveBatch. Získejte odpovědi na své otázky a zjistěte, jak snadné je vytvářet a udržovat úlohy v ActiveBatch
Brian McHugh
.