- Ce este procesarea încărcăturii de lucru pe loturi?
- O istorie a procesării pe loturi
- Exemple de procesare pe loturi
- Avantaje și dezavantaje ale procesării pe loturi
- Sisteme moderne de procesare pe loturi
- Procesarea pe loturi se duce în cloud
- Orchestrarea sarcinilor de lucru pe loturi
- Viitorul procesării pe loturi
- Brian McHugh
Ce este procesarea încărcăturii de lucru pe loturi?
Procesarea încărcăturii de lucru pe loturi se referă la grupuri de lucrări (loturi) care sunt programate să fie procesate în același timp. În mod tradițional, sarcinile de lucru pe loturi sunt procesate în timpul ferestrelor de loturi, perioade de timp în care utilizarea generală a procesorului este scăzută (de obicei, peste noapte). Motivul pentru acest lucru este dublu:
- Cărțile de lucru pe loturi pot necesita un număr mare de unități centrale de procesare, ocupând resurse care sunt necesare pentru alte procese operaționale în timpul zilei de lucru
- Cărțile de lucru pe loturi sunt utilizate de obicei pentru a procesa tranzacții și pentru a produce rapoarte, de exemplu, reunind toate înregistrările de vânzări care au fost create pe parcursul zilei de lucru
În prezent, procesarea pe loturi se face prin intermediul programatorilor de lucrări, sistemelor de procesare pe loturi, soluțiilor de automatizare a sarcinilor de lucru și aplicațiilor native pentru sistemele de operare. Instrumentul de procesare pe loturi primește datele de intrare, ține cont de cerințele sistemului și coordonează programarea pentru procesarea de volum mare. Procesarea pe loturi diferă de procesarea în flux prin faptul că procesarea pe loturi necesită informații necontinue.
O istorie a procesării pe loturi
Procesarea pe loturi își are rădăcinile în preistoria calculatoarelor. Încă din 1890, Biroul de recensământ al Statelor Unite a folosit un tabulator electromecanic pentru a înregistra informațiile de la recensământul american. Herman Hollerith, care a inventat tabulatorul, a continuat să fondeze compania care, la rândul său, a devenit IBM.
Până la mijlocul secolului XX, lucrările pe loturi erau executate folosind date perforate pe carduri. În anii 1960, odată cu dezvoltarea multiprogramării, sistemele de calculatoare au început să ruleze mai multe lucrări pe loturi în același timp, pentru a procesa date de pe bandă magnetică în loc de carduri perforate.
Cum mainframe-urile au evoluat și au devenit mai puternice, au fost rulate mai multe lucrări pe loturi și astfel au fost dezvoltate aplicații pentru a se asigura că lucrările pe loturi se execută numai atunci când există suficiente resurse, pentru a preveni întârzierile. Acest lucru a ajutat la apariția sistemelor moderne de procesare pe loturi.
Exemple de procesare pe loturi
Cazurile de utilizare a procesării pe loturi pot fi găsite în bănci, spitale, contabilitate și în orice alt mediu în care trebuie procesat un set mare de date. De exemplu, generațiile de rapoarte se execută după închiderea activității, când toate tranzacțiile cu carduri de credit au fost finalizate. Companiile de utilități colectează date privind utilizarea clienților și execută procese pe loturi pentru a determina facturarea.
Într-un alt caz de utilizare, o companie de gestionare a datelor financiare execută procese pe loturi peste noapte care furnizează rapoarte financiare direct băncilor și instituțiilor financiare pe care le deservesc.
Avantaje și dezavantaje ale procesării pe loturi
Procesarea pe loturi este utilă deoarece oferă o metodă de procesare a unor cantități mari de date fără a ocupa resurse de calcul cheie. Dacă un furnizor de servicii medicale trebuie să actualizeze înregistrările de facturare, ar putea fi cel mai bine să ruleze un lot peste noapte, când solicitările asupra resurselor vor fi scăzute.
În mod similar, procesarea pe loturi ajută la reducerea timpului de nefuncționare prin executarea lucrărilor atunci când resursele de calcul sunt disponibile.
Totuși, instrumentele de procesare pe loturi sunt adesea limitate în ceea ce privește domeniul de aplicare și capacitatea. Adesea sunt necesare scripturi personalizate pentru a integra sistemul de procesare pe loturi cu noi surse de date, ceea ce poate ridica probleme de securitate cibernetică în cazul în care sunt incluse date sensibile. Sistemele tradiționale de procesare pe loturi pot fi, de asemenea, prost echipate pentru a gestiona procesele care necesită date în timp real, de exemplu procesarea fluxurilor sau procesarea tranzacțiilor.
Centrul dumneavoastră de date ține pasul cu afacerile?
Explorați modul în care puteți depăși complexitatea centrului de date cu o soluție de programare a lucrărilor de întreprindere.
Sisteme moderne de procesare pe loturi
Sistemele moderne de procesare pe loturi oferă o gamă de capabilități care facilitează gestionarea de către echipe a volumelor mari de lucru. Acestea pot include automatizarea bazată pe evenimente, constrângeri și monitorizare în timp real. Aceste capacități moderne ajută la asigurarea faptului că loturile se execută numai atunci când toate datele necesare sunt disponibile, reducând întârzierile și erorile.
Pentru a reduce și mai mult întârzierile, sistemele moderne de procesare pe loturi includ algoritmi de echilibrare a încărcăturii pentru a se asigura că sarcinile de lucru pe loturi nu sunt trimise către servere cu memorie redusă sau cu un număr insuficient de procesoare disponibile.
Între timp, capacitățile avansate de programare a datei/orei fac posibilă programarea loturilor în timp ce se ține cont de sărbătorile personalizate, calendarele fiscale, mai multe fusuri orare și multe altele.
Cu toate acestea, din cauza nevoii din ce în ce mai mari de date în timp real și a complexității crescânde a procesării moderne a datelor, multe organizații IT optează pentru platforme de automatizare și orchestrare a volumului de lucru care oferă instrumente avansate de gestionare și integrare a datelor.
Procesarea pe loturi se duce în cloud
Departamentul IT modern este divers, distribuit și dinamic. În loc să se bazeze pe mainframe-uri omogene și centre de date on-premise, procesele batch sunt rulate în medii hibride. Există un motiv întemeiat pentru acest lucru.
După cum am menționat mai devreme, procesele batch sunt frecvent consumatoare de resurse. Astăzi, odată cu creșterea volumului de date mari și a tranzacțiilor online, sarcinile de lucru batch pot necesita destul de mult. Folosirea infrastructurii cloud oferă IT-ului posibilitatea de a furniza resurse de calcul în funcție de cerere, în loc să fie nevoit să instaleze servere fizice care, pentru o bună parte din zi, ar fi probabil inactive.
Cantitatea de date pe care IT-ul trebuie să o gestioneze pentru a satisface nevoile de afaceri continuă să crească, iar instrumentele pentru sarcini de lucru pe loturi evoluează pentru a răspunde acestor nevoi. De exemplu, IT nu dispune de resursele necesare pentru a executa manual fiecare proces ETL sau pentru a configura, aproviziona și deproviziona manual VM-urile. În schimb, instrumentele pentru sarcini de lucru pe loturi sunt utilizate pentru a automatiza și orchestra aceste sarcini în procese end-to-end.
De exemplu, un instrument de automatizare și orchestrare poate fi utilizat pentru a muta datele în și din diverse componente ale unui cluster Hadoop ca parte a unui proces end-to-end care include provizionarea VM-urilor, rularea de sarcini ETL într-o platformă BI și apoi livrarea acestor rapoarte prin e-mail.
Pe măsură ce organizațiile devin din ce în ce mai dependente de resursele și aplicațiile bazate pe cloud, capacitatea de a orchestra programarea lucrărilor și sarcinile de lucru pe loturi între platforme disparate va deveni critică.
Orchestrarea sarcinilor de lucru pe loturi
Uneltele de automatizare și orchestrare sunt din ce în ce mai extensibile, mai multe soluții de automatizare a sarcinilor de lucru oferind deja conectori universali și adaptoare REST API low-code care fac posibilă integrarea practic a oricărui instrument sau tehnologie fără scripting.
Acest lucru este important, deoarece, în loc să aibă planificatoare de lucrări, instrumente de automatizare și procese batch care rulează în silozuri, IT poate utiliza un instrument de orchestrare a volumului de lucru pentru a gestiona, monitoriza și depana toate lucrările batch în mod centralizat.
Instrumentele de orchestrare IT pot, de exemplu, să genereze și să stocheze automat fișiere jurnal pentru fiecare instanță batch, permițând IT să identifice rapid cauzele principale atunci când apar probleme. Monitorizarea și alertarea în timp real fac posibil ca IT să răspundă sau să prevină întârzierile, eșecurile și execuțiile incomplete, accelerând timpii de răspuns atunci când apar probleme.
Repornirile automate și fluxurile de lucru de remediere automată sunt, de asemenea, din ce în ce mai frecvente, în timp ce lucrările pe loturi pot fi prioritizate pentru a se asigura că resursele sunt disponibile la momentul execuției.
În plus, instrumentele extensibile pentru sarcini de lucru pe loturi fac posibilă consolidarea scripturilor și a aplicațiilor pe loturi moștenite, permițând IT-ului să simplifice și să reducă costurile operaționale.
Viitorul procesării pe loturi
Instrumentele tradiționale de programare pe loturi au făcut loc unor platforme de automatizare și orchestrare de înaltă performanță care oferă extensibilitatea necesară pentru a gestiona schimbările. Acestea permit IT-ului să opereze în medii hibride și multi-cloud și pot reduce drastic nevoia de intervenție umană.
Agoritmii de învățare mecanică sunt utilizați pentru a aloca în mod inteligent mașinile virtuale la sarcinile de lucru pe loturi pentru a reduce timpii slabi și resursele inactive. Acest lucru este esențial pentru echipele care gestionează rulări de volum mare de sarcini de lucru sau cu un număr mare de servere virtuale sau bazate pe cloud.
Cu învățarea automată care rulează în timp real, pot fi rezervate resurse suplimentare în cazul în care o sarcină de lucru critică din punct de vedere SLA riscă să fie depășită. Acest lucru include provizionarea de mașini virtuale sau bazate pe cloud suplimentare pe baza cererii dinamice. Împreună cu remedierea automată, acest lucru oferă un instrument puternic pentru a se asigura că livrarea serviciilor nu este întârziată pentru utilizatorul final sau clientul extern.
Pe termen lung, IT-ul devine mai divers și mai distribuit, iar tipurile de sarcini de lucru de care este responsabil IT-ul vor continua să se extindă. Maturarea noilor tehnologii -inteligența artificială, IoT, edge computing- va pune noi presiuni asupra echipelor IT pentru a integra rapid noi aplicații și tehnologii.
IT se schimbă rapid, dar unele lucruri, cum ar fi procesarea pe loturi, rămân la fel.
Pregătiți să vedeți cum facilităm automatizarea sarcinilor de lucru?
Programați o demonstrație pentru a vedea cum experții noștri execută sarcini care se potrivesc cu cazurile dumneavoastră de utilizare în ActiveBatch. Obțineți răspunsurile la întrebările dvs. și aflați cât de ușor este să vă construiți și să vă mențineți joburile în ActiveBatch
