Stapelverarbeitung
Stapelverarbeitung, auch Batchverarbeitung genannt, ist ein Begriff aus der Datenverarbeitung und bezeichnet die Arbeitsweise von Computerprogrammen, bei der die in einem oder mehreren Datenbeständen als Eingabe bereitgestellte Menge an Aufgaben oder Daten vollständig, automatisch und meist sequenziell verarbeitet wird.
Die komplementäre Bearbeitungsform wird „Dialogverarbeitung“ genannt. Dabei verarbeitet das Programm genau einen Vorgang (eine Transaktion), der in der Regel von einem Benutzer interaktiv über einen Bildschirmarbeitsplatz zur Bearbeitung angestoßen wird. Danach 'wartet' das Programm auf weitere Transaktionen; evtl. parallel eintreffende Aufträge muss es nacheinander bzw. voneinander getrennt verarbeiten.
Begriffsherkunft
Die Bezeichnung „Stapelverarbeitung“ stammt aus der Anfangszeit der Datenverarbeitung, als interaktive Verarbeitung noch nicht möglich war. Datensätze lagen damals häufig in Form von Lochkarten vor und wurden vom jeweiligen Computerprogramm – dessen Programmcode oft ebenfalls als Lochkartenstapel vorlag – als Kartenstapel (englisch batch) nacheinander abgearbeitet. Als später die Lochkarte von anderen Speichermedien, z.B. Magnetbändern und Plattenlaufwerken, abgelöst wurde und auch interaktives Arbeiten mit dem Dialogcomputer möglich wurde (mit direkten Eingaben über ein Terminal), blieb der Begriff erhalten und wird bis heute für nicht-interaktive Datenverarbeitung verwendet: Man gibt einen Auftrag vor; dieser wird vom Computer mit allen dazugehörenden Daten „ohne Eingriff des Benutzers der Reihe nach abgearbeitet“. Auch die Arbeitsergebnisse liegen bei dieser Verarbeitungsform i.d.R. als ‚Menge‘ (ebenfalls englisch batch) vor, zum Beispiel als Belege, Listen (Berichte), neue oder geänderte Datenbestände usw.
Varianten der Stapel-/Batchverarbeitung
Der Begriff ‚Stapelverarbeitung‘ hat zwei voneinander abweichende Bedeutungen:
Verarbeiten von Systemkommandos
Der Begriff ‚Stapelverarbeitung‘ wird häufig für das Abarbeiten
betriebssystemnaher Dienste und Aufgaben verwendet. In diesem
Zusammenhang ist v.a. durch MS-DOS
der Begriff Batch-Datei oder Batch-File bekannt geworden.
Batch-Dateien enthalten eine Reihe von Befehlen, welche die Betriebssystem-Funktionen
nutzen; diese werden durch das Ausführen der Batchdatei Schritt für Schritt
abgearbeitet. Bei DOS/Windows
werden die Batch-Dateien üblicherweise mit der
Dateinamenserweiterung
<name>.bat
oder <name>.cmd
versehen. Unter Windows können sie durch
einen Doppelklick gestartet werden. Bei Unix
bezeichnet man Batchdateien als Shellskript.
Diese sind wesentlich leistungsfähiger als die ersten DOS-Batch-Programme (bis
Windows
9x),
da unter Unix mehr Betriebssystem-Befehle oder -Werkzeuge zur Verfügung stehen.
Beim Macintosh von Apple werden
diese Programme AppleScript
genannt. Das aktuelle System macOS
ist ebenfalls eine Unix-Variante und kennt auch Batch-Dateien im üblichen Sinn.
GNUstep
verwendet StepTalk, ein Smalltalk-Framework.
Insgesamt findet der Begriff Skript auch für Batch-Programme immer mehr
Verwendung.
Verarbeitung von Daten im Stapelbetrieb
In der kommerziellen Datenverarbeitung bezeichnet ‚Stapelverarbeitung‘ das automatische, sequentielle und vollständige Abarbeiten der in einer oder mehreren Eingabedatei(en) enthaltenen Daten. Das Programm läuft dabei nach dem Start vollkommen selbstständig und i.d.R. ohne jegliche Benutzerinteraktion ab; Ausnahmen könnten z.B. Fehlersituationen mit der Notwendigkeit von Operator-Eingriffen sein. Es stellt seine Ergebnisse in Form von Dateien oder (über Insert / Update / Delete) in Datenbanken oder über andere Ausgabegeräte (z.B. Drucker) zur Verfügung.
- Beispiele für Stapel-Datenverarbeitung
- Rechnungswesen: Einbuchen der Zahlungseingänge eines Arbeitstages; führt zu neuen Kontoständen
- Versandhandel: Erstellen von Rechnungen für ausgelieferte Artikel; zum Versand an die Kunden
- Mahnwesen: Erstellen von Mahnungen für Kunden, deren Rechnungen nach x Tagen noch unbezahlt sind
- Einzelhandel: Erstellen einer Verkaufsstatistik aus allen Verkäufen des lfd. Monats, mit Anzahl und Umsatzsumme je Artikelgruppe und Filiale
- Fotobearbeitung: Drehen aller Fotos (in einem bestimmten Ordner) um 90 Grad nach links
- Rechenzentrum: Drucken von Daten, die von vorher gelaufenen Programmen zwischengespeichert wurden
- Datenmigration: Konvertieren von Daten / Dateien in ein anderes Dateiformat
Die Struktur von Stapelprogrammen folgt häufig standardisierten Konzepten, zum Beispiel der normierten Programmierung, weil der Ablauf in der internen Verarbeitung – bis auf aufgabenspezifische Details – identisch oder ähnlich sein kann.
Steuern und Starten von Batch-Jobs
Das Starten von Anwenderprogrammen zur Stapelverarbeitung geschieht über sog. Jobs, die von Systemdiensten zur Job-Steuerung verwaltet werden. Je nach Betriebssystem werden diese Dienste unterschiedlich genannt.
Zur Steuerung sind Steuerinformationen nötig, die (z.B. auf IBM-Betriebssystemen) mittels JCL hinterlegt werden. Inhalt dieser Vorgaben sind in erster Linie die jeweiligen Programmaufrufe, ggf. erforderliche Parameter, die Namen (mit Pfad- und Laufwerksangabe) für zu verarbeitende und zu erzeugende Dateien etc. Das Job-Steuerungssystem verwaltet die Jobs und startet sie zu einem definierten Zeitpunkt und/oder nach einem (vorher eingetretenen) Ereignis, z.B. dem erfolgreichen Ende eines vorher ausgeführten Programms. Batch-Jobs werden daher oft lastoptimierend eingesetzt, d.h. dann bearbeitet, wenn wenig interaktive Arbeit anfällt (nachts, am Wochenende). Dies kann gleichermaßen für Anwendungsprogramme und für Systemprogramme (z.B. zur Datensicherung) zutreffen.
Die Verarbeitung von Batch-Jobs war lange eine Domäne von Mainframes. Auf Systemen, die unter dem IBM-Betriebssystem z/OS (vormals MVS) laufen, werden sie normalerweise durch eine Steuerungssoftware (z.B. OPC) gesteuert, können aber auch durch einen TSO-Benutzer oder einen bereits laufenden Job oder eine sogenannte Started-Task ausgelöst werden.
Bei z/OS sind Batch-Jobs in JCL geschrieben und normalerweise in einem Partitioned Data Set (JCL-Library) mit Recordformat FB und Recordlänge 80 abgelegt. Eine Art von 'Schachtelung' ist durch die Verwendung katalogisierter Prozeduren möglich. Administrative Arbeiten, welche bei Unix mittels Shellskripten durchgeführt werden, werden bei z/OS heutzutage sehr oft mit REXX-Skripten unter TSO durchgeführt. Die Batch-Jobs werden in erster Linie für automatisierte Verarbeitungen (oft Massenverarbeitungen) eingesetzt. Das Betriebssystem enthält zur Jobsteuerung ein Job Entry Subsystem JES2 oder JES3.
Batch-Jobs analog zu denen der z/OS-Mainframes sind inzwischen auch auf Unix-basierten Servern möglich und insbesondere im Hochleistungsrechnen auch üblich. Hierzu werden spezielle Batchjob-Scheduler verwendet, die insbesondere die Herausforderungen von programminterner Parallelität handhaben können. Einfache Stapelverarbeitung ist mittels Cronjobs auf Unix/Linux denkbar.
Unter dem Betriebssystem OpenVMS werden Batch-Jobs, die z.B. mittels der Kommandosprache DCL programmiert werden können, durch sogenannte Batch-Queues unterstützt. Diese Queues können auf vielseitige Weise eingerichtet werden und sorgen für eine automatisierte Abarbeitung der Batch-Jobs.
Stapelverarbeitungsprogramme unter DOS, OS/2 und Windows
Die Stapelverarbeitungsprogramme, auch Batch-Skripte oder
Batch-Programme genannt, stammen aus der Zeit der PC-kompatiblen
DOS-Betriebssysteme und sind bis heute unter allen DOS-, OS/2- und Windows-Versionen
ausführbar. Immer wenn häufig die gleichen Befehle ausgeführt werden sollen,
bieten sich Stapelverarbeitungsprogramme an, so etwa für automatisierte
Anmeldevorgänge. Es ist auch möglich, die Ausführung einzelner Befehlszeilen von
einer Bedingung
abhängig zu machen. Dafür gibt es Konstrukte wie IF
oder IF
NOT
. Neben diesen Bedingungsoperatoren können auch Variablen
genutzt, Sprünge
ausgeführt und Kommentare
geschrieben werden.
Unter Windows-NT-basierten
Systemen gibt es
außerdem sogenannte Befehlserweiterungen, die insbesondere die IF
-
und FOR
-Befehle stark aufwerten, indem sie z.B. auch Vergleiche
von Werten
anbieten.
Mittlerweile wurde auch ein möglicher Nachfolger der COMMAND.COM
und der
Cmd.exe
-Shell unter dem
Namen Windows
PowerShell von Microsoft
veröffentlicht, welcher wesentlich komplexere Stapelverarbeitungsprogramme
zulässt.
© biancahoegel.de
Datum der letzten Änderung: Jena, den: 21.09. 2022