- Mi a kötegelt munkaterhelés-feldolgozás?
- A kötegelt feldolgozás története
- Példák a kötegelt feldolgozásra
- A kötegelt feldolgozás előnyei és hátrányai
- Modern kötegelt feldolgozó rendszerek
- A kötegelt feldolgozás a felhőbe kerül
- Batch-munkaterhelés orchestrálása
- A kötegelt feldolgozás jövője
- Brian McHugh
Mi a kötegelt munkaterhelés-feldolgozás?
A kötegelt munkaterhelés-feldolgozás olyan feladatok (kötegek) csoportjait jelenti, amelyek feldolgozását egyidejűleg ütemezik. Hagyományosan a kötegelt munkaterheléseket kötegelt ablakokban dolgozzák fel, olyan időszakokban, amikor az általános CPU-használat alacsony (jellemzően éjszakai). Ennek két oka van:
- A kötegelt munkaterhelések magas CPU-igényűek lehetnek, és olyan erőforrásokat foglalnak le, amelyek az üzleti nap folyamán más működési folyamatokhoz szükségesek
- A kötegelt munkaterhelések jellemzően tranzakciók feldolgozására és jelentések készítésére szolgálnak, például az üzleti nap folyamán létrehozott összes értékesítési rekord összegyűjtésére
A kötegelt feldolgozás napjainkban a feladatütemező programok, kötegelt feldolgozó rendszerek, munkaterhelés-automatizálási megoldások és az operációs rendszerekben natív alkalmazások segítségével történik. A kötegelt feldolgozó eszköz fogadja a bemeneti adatokat, figyelembe veszi a rendszerkövetelményeket, és koordinálja a nagy volumenű feldolgozás ütemezését. A kötegelt feldolgozás abban különbözik a folyamfeldolgozástól, hogy a kötegelt feldolgozás nem folyamatos információt igényel.
A kötegelt feldolgozás története
A kötegelt feldolgozás a számítógépek őstörténetében gyökerezik. Már 1890-ben az Egyesült Államok Népszámlálási Irodája elektromechanikus tabulátort használt az amerikai népszámlálás adatainak rögzítésére. Herman Hollerith, aki feltalálta a tabulátort, később megalapította azt a vállalatot, amelyből aztán az IBM lett.
A 20. század közepére a kötegelt feldolgozást már kártyákra lyukasztott adatokkal végezték. Az 1960-as években, a multiprogramozás fejlődésével a számítógépes rendszerek elkezdtek egyszerre több kötegelt feladatot futtatni, hogy a lyukkártyák helyett mágnesszalagról származó adatokat dolgozzanak fel.
Amint a nagyszámítógépek fejlődtek és egyre nagyobb teljesítményűek lettek, egyre több kötegelt feladatot futtattak, ezért a késések elkerülése érdekében olyan alkalmazásokat fejlesztettek ki, amelyek biztosítják, hogy a kötegelt feladatok csak akkor fussanak, ha elegendő erőforrás áll rendelkezésre. Ez segítette a modern kötegelt feldolgozó rendszerek kialakulását.
Példák a kötegelt feldolgozásra
A kötegelt feldolgozás felhasználási esetei megtalálhatók a bankokban, kórházakban, könyvelésben és minden olyan környezetben, ahol nagy mennyiségű adatot kell feldolgozni. Például a jelentésgenerálások az üzlet zárása után futnak le, amikor az összes hitelkártya-tranzakciót véglegesítették. A közüzemi vállalatok adatokat gyűjtenek az ügyfelek használatáról, és kötegelt folyamatokat futtatnak a számlázás meghatározásához.
Egy másik felhasználási esetben egy pénzügyi adatkezelő vállalat éjszakai kötegelt folyamatokat futtat, amelyek közvetlenül az általuk kiszolgált bankok és pénzintézetek számára nyújtanak pénzügyi jelentéseket.
A kötegelt feldolgozás előnyei és hátrányai
A kötegelt feldolgozás azért hasznos, mert nagy mennyiségű adat feldolgozására nyújt módszert anélkül, hogy kulcsfontosságú számítási erőforrásokat foglalna le. Ha egy egészségügyi szolgáltatónak számlázási nyilvántartásokat kell frissítenie, akkor a legjobb lehet egy éjszakai kötegfuttatás, amikor az erőforrások iránti igény alacsony.
Hasonlóképpen, a kötegelt feldolgozás segít csökkenteni az állásidőt azáltal, hogy akkor hajtja végre a feladatokat, amikor a számítási erőforrások rendelkezésre állnak.
A kötegelt feldolgozás eszközei azonban gyakran korlátozottak terjedelmükben és képességeikben. A kötegelt rendszer új adatforrásokkal való integrálásához gyakran egyedi szkriptekre van szükség, ami kiberbiztonsági aggályokat vethet fel, ha érzékeny adatokat tartalmaz. A hagyományos kötegelt rendszerek nem alkalmasak a valós idejű adatokat igénylő folyamatok, például a folyamfeldolgozás vagy a tranzakciófeldolgozás kezelésére sem.
Az Ön adatközpontja lépést tart az üzleti tevékenységgel?
Tárja fel, hogyan győzheti le az adatközpont komplexitását egy vállalati feladatütemezési megoldással.
Modern kötegelt feldolgozó rendszerek
A modern kötegelt feldolgozó rendszerek számos olyan képességet biztosítanak, amelyek megkönnyítik a csapatok számára a nagy volumenű munkamenetek kezelését. Ezek közé tartozhat az eseményalapú automatizálás, a korlátozások és a valós idejű felügyelet. Ezek a modern képességek segítenek biztosítani, hogy a kötegek csak akkor kerüljenek végrehajtásra, ha minden szükséges adat rendelkezésre áll, így csökkentve a késedelmeket és a hibákat.
A késedelmek további csökkentése érdekében a modern kötegfeldolgozó rendszerek terheléselosztó algoritmusokat tartalmaznak, amelyek biztosítják, hogy a kötegmunkákat ne olyan szerverekre küldjék, amelyeknek kevés a memóriája vagy nem áll rendelkezésre elegendő CPU.
Mindeközben a fejlett dátum/idő ütemezési képességek lehetővé teszik a kötegek ütemezését az egyéni ünnepnapok, adóügyi naptárak, több időzóna és sok más figyelembe vétele mellett.
A valós idejű adatok iránti növekvő igény és a modern adatfeldolgozás növekvő összetettsége miatt azonban sok informatikai szervezet olyan munkaterhelés-automatizálási és orchestrációs platformok mellett dönt, amelyek fejlett eszközöket biztosítanak az adatkezeléshez és az integrációhoz.
A kötegelt feldolgozás a felhőbe kerül
A modern informatikai osztály sokszínű, elosztott és dinamikus. Ahelyett, hogy homogén nagyszámítógépekre és helyhez kötött adatközpontokra támaszkodnának, a kötegelt folyamatok hibrid környezetekben futnak. Ennek jó oka van.
Amint korábban említettük, a kötegelt folyamatok gyakran erőforrás-igényesek. Manapság, a nagy adatok és az online tranzakciók növekedésével a kötegelt munkamenetek elég sokat igényelhetnek. A felhőinfrastruktúra kihasználása lehetővé teszi az IT számára, hogy igény szerint számítási erőforrásokat biztosítson, ahelyett, hogy fizikai szervereket kellene telepítenie, amelyek a nap egy jó részében valószínűleg üresen állnának.
Az adatmennyiség, amelyet az IT-nek az üzleti igények kielégítése érdekében kezelnie kell, folyamatosan növekszik, és a kötegelt munkamenetek eszközei ezeknek az igényeknek megfelelően fejlődnek. Az IT-nek például nincsenek meg a szükséges erőforrásai az egyes ETL-folyamatok kézi végrehajtásához, vagy a VM-ek kézi konfigurálásához, rendelkezésre bocsátásához és törléséhez. Ehelyett a kötegelt munkaterhelésű eszközöket arra használják, hogy automatizálják és összehangolják ezeket a feladatokat a végponttól végpontig tartó folyamatokba.
Egy automatizálási és összehangolási eszköz például arra használható, hogy az adatokat egy Hadoop fürt különböző komponenseibe és azokból kimozgassa egy végponttól végpontig tartó folyamat részeként, amely magában foglalja a VM-ek rendelkezésre bocsátását, az ETL feladatok futtatását egy BI platformba, majd a jelentések e-mailben történő kézbesítését.
Mivel a szervezetek egyre inkább függővé válnak a felhőalapú erőforrásoktól és alkalmazásoktól, a feladatok ütemezésének és a kötegelt munkaterheléseknek a különböző platformokon való összehangolásának képessége kritikus fontosságúvá válik.
Batch-munkaterhelés orchestrálása
Az automatizálási és orchestrálási eszközök egyre inkább bővíthetők, számos munkaterhelés-automatizálási megoldás már univerzális csatlakozókat és alacsony kódú REST API-adaptereket kínál, amelyek lehetővé teszik gyakorlatilag bármilyen eszköz vagy technológia integrálását szkriptelés nélkül.
Ez azért fontos, mert ahelyett, hogy a feladatütemezők, automatizálási eszközök és kötegelt folyamatok silókban futnának, az IT egy munkaterhelés-orchestrációs eszközzel központilag kezelheti, felügyelheti és hibaelháríthatja az összes kötegelt feladatot.
Az IT-orchestrációs eszközök például automatikusan létrehozhatják és tárolhatják az egyes kötegelt példányok naplófájljait, így az IT gyorsan azonosíthatja a kiváltó okokat, ha problémák merülnek fel. A valós idejű felügyelet és riasztás lehetővé teszi az IT számára, hogy reagáljon a késésekre, a hibákra és a nem teljes futtatásokra, illetve megelőzze azokat, felgyorsítva a válaszidőket, ha problémák merülnek fel.
Az automatikus újraindítások és az automatikus javítási munkafolyamatok is egyre gyakoribbak, miközben a kötegelt feladatok priorizálhatók annak biztosítása érdekében, hogy az erőforrások futásidőben rendelkezésre álljanak.
A bővíthető kötegelt munkaterhelésű eszközök emellett lehetővé teszik a régebbi szkriptek és kötegelt alkalmazások konszolidálását, lehetővé téve az IT számára az egyszerűsítést és a működési költségek csökkentését.
A kötegelt feldolgozás jövője
A hagyományos kötegelt ütemezési eszközök átadták helyüket a nagy teljesítményű automatizálási és orchestrációs platformoknak, amelyek biztosítják a változások kezeléséhez szükséges bővíthetőséget. Ezek lehetővé teszik az IT számára, hogy hibrid és több felhőből álló környezetekben működjön, és drasztikusan csökkenthetik az emberi beavatkozás szükségességét.
A gépi tanuló algoritmusok segítségével a VM-eket intelligensen osztják ki a kötegelt munkaterhelésekhez, hogy csökkentsék a holtidőt és a kihasználatlan erőforrásokat. Ez kritikus fontosságú a nagy volumenű munkaterhelés-futtatásokat kezelő vagy nagyszámú virtuális vagy felhőalapú szerverrel rendelkező csapatok számára.
A valós időben futó gépi tanulással további erőforrások foglalhatók le, ha egy SLA-kritikus munkaterhelésnél fennáll a túlterhelés veszélye. Ez magában foglalja további virtuális vagy felhőalapú gépek biztosítását a dinamikus kereslet alapján. Az automatikus javítással párosítva ez egy hatékony eszközt biztosít annak biztosítására, hogy a szolgáltatásnyújtás ne késlekedjen a végfelhasználó vagy a külső ügyfél számára.
Hosszú távon az IT egyre sokszínűbbé és elosztottabbá válik, és az IT felelősségi körébe tartozó munkaterhelések típusai tovább bővülnek. Az új technológiák – mesterséges intelligencia, IoT, edge computing – érése új nyomást gyakorol majd az IT-csapatokra, hogy gyorsan integrálják az új alkalmazásokat és technológiákat.
Az IT gyorsan változik, de néhány dolog, például a kötegelt feldolgozás, változatlan marad.
Készen áll megnézni, hogyan tesszük egyszerűvé a munkaterhelés automatizálását?
Tervezzen egy bemutatót, és nézze meg szakértőinket, amint az ActiveBatchben az Ön felhasználási eseteinek megfelelő feladatokat futtatnak. Választ kaphat kérdéseire, és megtudhatja, milyen egyszerű a feladatok létrehozása és karbantartása az ActiveBatchben
