- Co to jest przetwarzanie wsadowe?
- Historia przetwarzania wsadowego
- Przykłady przetwarzania wsadowego
- Zalety i wady przetwarzania wsadowego
- Nowoczesne systemy przetwarzania wsadowego
- Przetwarzanie wsadowe przenosi się do chmury
- Orkiestracja obciążeń wsadowych
- Przyszłość przetwarzania wsadowego
- Brian McHugh
Co to jest przetwarzanie wsadowe?
Przetwarzanie wsadowe odnosi się do grup zadań (wsadów), które są zaplanowane do przetworzenia w tym samym czasie. Tradycyjnie, zadania wsadowe są przetwarzane podczas okien wsadowych, okresów czasu, w których ogólne wykorzystanie CPU jest niskie (zazwyczaj w nocy). Powód tego jest dwojaki:
- Obciążenia wsadowe mogą wymagać dużej liczby procesorów, zajmując zasoby, które są potrzebne do innych procesów operacyjnych w ciągu dnia roboczego
- Obciążenia wsadowe są zwykle używane do przetwarzania transakcji i tworzenia raportów, na przykład gromadzenia wszystkich rekordów sprzedaży, które zostały utworzone w ciągu dnia roboczego
Dzisiaj przetwarzanie wsadowe jest realizowane za pośrednictwem harmonogramów zadań, systemów przetwarzania wsadowego, rozwiązań do automatyzacji obciążeń oraz aplikacji natywnych dla systemów operacyjnych. Narzędzie do przetwarzania wsadowego odbiera dane wejściowe, uwzględnia wymagania systemowe i koordynuje harmonogramy dla przetwarzania o dużej objętości. Przetwarzanie wsadowe różni się od przetwarzania strumieniowego tym, że przetwarzanie wsadowe wymaga informacji nieciągłych.
Historia przetwarzania wsadowego
Przetwarzanie wsadowe ma swoje korzenie w prehistorii komputerów. Już w 1890 roku Biuro Spisu Powszechnego Stanów Zjednoczonych używało elektromechanicznego tabulatora do zapisywania informacji ze spisu powszechnego w USA. Herman Hollerith, który wynalazł tabulator, założył firmę, która z kolei przekształciła się w IBM.
Do połowy XX wieku zadania wsadowe były wykonywane przy użyciu danych wydziurkowanych na kartach. W latach sześćdziesiątych, wraz z rozwojem multiprogramowania, systemy komputerowe zaczęły uruchamiać wiele zadań wsadowych w tym samym czasie, aby przetwarzać dane z taśmy magnetycznej zamiast kart dziurkowanych.
As mainframes evolved and became more powerful, more batch jobs were being run and so applications were developed to make sure that batch jobs only run when there were sufficient resources, in order to prevent delays. To pomogło dać początek nowoczesnym systemom przetwarzania wsadowego.
Przykłady przetwarzania wsadowego
Przypadki użycia przetwarzania wsadowego można znaleźć w bankach, szpitalach, księgowości i każdym innym środowisku, gdzie duży zestaw danych musi być przetwarzany. Na przykład, generowanie raportów odbywa się po zamknięciu działalności, gdy wszystkie transakcje kartą kredytową zostały sfinalizowane. Przedsiębiorstwa użyteczności publicznej zbierają dane o wykorzystaniu przez klientów i uruchamiają procesy wsadowe w celu określenia rozliczeń.
W innym przypadku użycia firma zarządzająca danymi finansowymi uruchamia w nocy procesy wsadowe, które dostarczają raporty finansowe bezpośrednio do banków i instytucji finansowych, które obsługują.
Zalety i wady przetwarzania wsadowego
Przetwarzanie wsadowe jest przydatne, ponieważ zapewnia metodę przetwarzania dużych ilości danych bez zajmowania kluczowych zasobów obliczeniowych. Jeśli dostawca usług medycznych musi zaktualizować rekordy rozliczeniowe, najlepszym rozwiązaniem może być uruchomienie partii w nocy, gdy zapotrzebowanie na zasoby będzie niskie.
Podobnie, przetwarzanie wsadowe pomaga ograniczyć przestoje poprzez wykonywanie zadań, gdy zasoby obliczeniowe są dostępne.
Narzędzia do przetwarzania wsadowego są jednak często ograniczone pod względem zakresu i możliwości. Skrypty niestandardowe są często wymagane do integracji systemu wsadowego z nowymi źródłami danych, co może stwarzać problemy związane z bezpieczeństwem cybernetycznym w przypadku danych wrażliwych. Tradycyjne systemy wsadowe mogą być również źle przystosowane do obsługi procesów wymagających danych w czasie rzeczywistym, na przykład przetwarzania strumieniowego lub przetwarzania transakcji.
Czy Twoje centrum danych dotrzymuje kroku biznesowi?
Zbadaj, jak możesz pokonać złożoność centrum danych za pomocą rozwiązania do harmonogramowania zadań dla przedsiębiorstw.
Nowoczesne systemy przetwarzania wsadowego
Nowoczesne systemy przetwarzania wsadowego zapewniają szereg możliwości, które ułatwiają zespołom zarządzanie obciążeniami o dużej objętości. Może to obejmować automatyzację opartą na zdarzeniach, ograniczenia i monitorowanie w czasie rzeczywistym. Te nowoczesne możliwości pomagają zapewnić, że partie są wykonywane tylko wtedy, gdy wszystkie niezbędne dane są dostępne, co zmniejsza opóźnienia i błędy.
W celu dalszego zmniejszenia opóźnień nowoczesne systemy przetwarzania wsadowego zawierają algorytmy równoważenia obciążenia, aby upewnić się, że zadania wsadowe nie są wysyłane do serwerów z małą ilością pamięci lub niewystarczającą ilością dostępnych procesorów.
Międzyczasie, zaawansowane możliwości planowania daty/czasu umożliwiają planowanie partii podczas rozliczania niestandardowych świąt, kalendarzy fiskalnych, wielu stref czasowych i wiele innych.
Jednakże ze względu na rosnące zapotrzebowanie na dane w czasie rzeczywistym i coraz większą złożoność nowoczesnego przetwarzania danych wiele organizacji IT decyduje się na automatyzację obciążenia i platformy orkiestracji, które zapewniają zaawansowane narzędzia do zarządzania danymi i integracji.
Przetwarzanie wsadowe przenosi się do chmury
Nowoczesny dział IT jest zróżnicowany, rozproszony i dynamiczny. Zamiast polegać na jednorodnych komputerach mainframe i centrach danych w siedzibie firmy, procesy wsadowe są uruchamiane w środowiskach hybrydowych. Jest ku temu dobry powód.
Jak wspomniano wcześniej, procesy wsadowe są często zasobochłonne. Obecnie, wraz z rozwojem big data i transakcji online, obciążenia wsadowe mogą wymagać całkiem sporo. Wykorzystanie infrastruktury chmury daje IT możliwość dostarczania zasobów obliczeniowych na podstawie zapotrzebowania, zamiast instalowania fizycznych serwerów, które przez znaczną część dnia będą prawdopodobnie bezczynne.
Ilość danych, którymi IT musi zarządzać, aby sprostać potrzebom biznesowym, stale rośnie, a narzędzia do obsługi obciążeń wsadowych ewoluują, aby sprostać tym potrzebom. Na przykład, dział IT nie dysponuje zasobami potrzebnymi do ręcznego wykonywania każdego procesu ETL lub ręcznego konfigurowania, dostarczania i usuwania maszyn wirtualnych. Zamiast tego wykorzystuje się narzędzia do automatyzacji i orkiestracji tych zadań w procesach end-to-end.
Na przykład narzędzie do automatyzacji i orkiestracji może być używane do przenoszenia danych do i z różnych komponentów klastra Hadoop w ramach procesu end-to-end, który obejmuje dostarczanie maszyn wirtualnych, uruchamianie zadań ETL do platformy BI, a następnie dostarczanie tych raportów pocztą elektroniczną.
Jako że organizacje stają się coraz bardziej zależne od zasobów i aplikacji opartych na chmurze, zdolność do orkiestracji planowania zadań i obciążeń wsadowych na różnych platformach stanie się krytyczna.
Orkiestracja obciążeń wsadowych
Narzędzia do automatyzacji i orkiestracji są coraz bardziej rozszerzalne, a kilka rozwiązań do automatyzacji obciążeń już teraz zapewnia uniwersalne łączniki i adaptery REST API o niskim kodzie, które umożliwiają integrację praktycznie dowolnego narzędzia lub technologii bez konieczności pisania skryptów.
Jest to ważne, ponieważ zamiast mieć harmonogramy zadań, narzędzia automatyzacji i procesy wsadowe działające w silosach, dział IT może użyć narzędzia do orkiestracji obciążeń do centralnego zarządzania, monitorowania i rozwiązywania problemów ze wszystkimi zadaniami wsadowymi.
Narzędzia orkiestracji IT mogą na przykład automatycznie generować i przechowywać pliki dziennika dla każdej instancji wsadowej, umożliwiając działowi IT szybką identyfikację przyczyn źródłowych w przypadku wystąpienia problemów. Monitorowanie w czasie rzeczywistym i ostrzeganie umożliwiają informatykom reagowanie na opóźnienia, awarie i niekompletne uruchomienia lub zapobieganie im, co przyspiesza czas reakcji w przypadku wystąpienia problemów.
Automatyczne restarty i automatyczne przepływy naprawcze są również coraz bardziej powszechne, a zadania wsadowe mogą być traktowane priorytetowo w celu zapewnienia dostępności zasobów w czasie uruchamiania.
Dodatkowo, rozszerzalne narzędzia do obsługi zadań wsadowych umożliwiają konsolidację starszych skryptów i aplikacji wsadowych, umożliwiając IT uproszczenie i zmniejszenie kosztów operacyjnych.
Przyszłość przetwarzania wsadowego
Tradycyjne narzędzia do harmonogramowania zadań wsadowych ustąpiły miejsca wysokowydajnym platformom automatyzacji i orkiestracji, które zapewniają rozszerzalność niezbędną do zarządzania zmianami. Umożliwiają one informatykom działanie w środowiskach hybrydowych i wielochmurowych oraz mogą drastycznie ograniczyć potrzebę interwencji człowieka.
Algorytmy uczenia maszynowego są wykorzystywane do inteligentnego przydzielania maszyn wirtualnych do obciążeń wsadowych w celu ograniczenia czasu przestoju i bezczynności zasobów. Ma to krytyczne znaczenie dla zespołów zarządzających dużymi obciążeniami lub dużą liczbą serwerów wirtualnych lub chmurowych.
Dzięki uczeniu maszynowemu działającemu w czasie rzeczywistym można zarezerwować dodatkowe zasoby, jeśli obciążenie o krytycznym znaczeniu dla SLA jest zagrożone przekroczeniem. Obejmuje to dostarczanie dodatkowych maszyn wirtualnych lub opartych na chmurze w oparciu o dynamiczne zapotrzebowanie. W połączeniu z automatyczną naprawą stanowi to potężne narzędzie zapewniające, że dostawa usług nie jest opóźniona w stosunku do użytkownika końcowego lub klienta zewnętrznego.
W dłuższej perspektywie IT staje się coraz bardziej zróżnicowane i rozproszone, a rodzaje obciążeń, za które odpowiada IT, będą się nadal rozszerzać. Dojrzewanie nowych technologii – sztuczna inteligencja, IoT, edge computing – będzie wywierać nową presję na zespoły IT, aby szybko integrować nowe aplikacje i technologie.
IT szybko się zmienia, ale niektóre rzeczy, takie jak przetwarzanie wsadowe, pozostają niezmienne.
Czy chcesz się przekonać, jak ułatwiamy automatyzację obciążeń?
Zaplanuj demonstrację, aby zobaczyć, jak nasi eksperci uruchamiają w ActiveBatch zadania, które pasują do Twoich przypadków użycia. Uzyskaj odpowiedzi na swoje pytania i dowiedz się, jak łatwo jest tworzyć i utrzymywać zadania w ActiveBatch
