4  Datennutzung mit JoSuA (Job Submission Application)

Für die Nutzung der meisten FDZ-Datenprodukte ist die kontrollierte Datenfernverarbeitung essentiell. Verträge für Gastaufenthalte oder den Remote-Desktop-Zugang schließen immer auch die Nutzung der (indirekten) kontrollierten Datenfernverarbeitung mit ein. Welcher Datenzugang für Ihr Projekt vorliegt, entnehmen Sie bitte Ihrem Nutzungsvertrag. Für alle Zugangswege setzt das FDZ die webbasierte Software JoSuA (Job Submission Application) ein:

4.1 Grundsätzliches zur Nutzung von JoSuA

  • Das FDZ nutzt JoSuA für:

  • Zugangsdaten:

    • Sie erhalten Ihre Kennung für JoSuA sowie den ersten Teil Ihres Passwortes per E-Mail.

    • Der zweite Teil des Passwortes wird Ihnen per Brief zugeschickt.

    • Bitte beachten Sie, dass Sie für den Zugang im Gastaufenthalt bzw. Remote-Desktop eigene Kennungen bekommen (siehe Kapitel 5.2 und Kapitel 6.1). Das dazugehörige Initialpasswort ist identisch mit dem für JoSuA.2

  • Kontrollierte Datenfernverarbeitung mit JoSuA:

    • Hierbei kann auf Daten in den Verzeichnissen orig und data zurückgegriffen werden. Beachten Sie hierzu die Programmierbeispiele in den FDZ-Templates.

    • Skripte und Ergebnisdateien (z.B. Log-Files, Grafiken) werden von JoSuA nicht in die Verzeichnisse prog und log sondern in eine separate Ablage gespeichert. Die Dateien, die in JoSuA im Ordner data gespeichert werden, werden auch in das Verzeichnis data geschrieben. Umgekehrt sind die während des Gastaufenthalts/Remote-Desktops in den Verzeichnissen prog und log gespeicherten Dateien nicht während der Nutzung von JoSuA verfügbar.

    • Alle Ado-Files im Ordner prog Ihres Projektverzeichnisses am FDZ sind bereits automatisch eingebunden.

  • Externe aggregierte Daten können nicht über JoSuA hochgeladen werden, sondern müssen per E-Mail an das FDZ geschickt werden. Ausführliche Informationen zum Vorgehen finden Sie in Kapitel 2.2.3.

Die Bedienung von JoSuA wird detailliert in Kapitel 10 beschrieben.

Aktuelle Antworten auf häufige Fragen zu JoSuA finden Sie auch auf der JoSuA-Seite der FDZ-Website. Dort finden Sie auch ein Video-Tutorial, das Ihnen den Einstieg zur Nutzung von JoSuA erleichtern soll.

4.2 Internal Use Modus und Presentation / Publication Modus

Grundsätzlich stehen in JoSuA zwei Nutzungsmodi zur Verfügung:

1) Internal Use

  • Der Internal Use Modus dient zur Datenaufbereitung, Vorbereitung von Gastaufenthalten und zum Testen der Skripte. Bitte verwenden Sie den Internal Use Modus solange für Ihre Auswertungen, bis Sie Ihre Endergebnisse oder Zwischenergebnisse für Präsentationen oder Publikationen erstellt haben.

  • Überprüfen Sie vorher die Lauffähigkeit Ihrer Programme in Ihrer Testumgebung.

  • Die Ergebnisse sind nur für den „internen” Gebrauch, d. h. sie dienen nur zur Entwicklung der Skripte.

  • Hochgeladene Aufträge werden automatisch gestartet und die Ergebnisse können in der JoSuA-Webschnittstelle betrachtet, aber nicht heruntergeladen werden.

  • Die für Sie sichtbaren Ergebnisse werden einer automatischen skriptbasierten Datenschutzprüfung unterzogen und ggf. zensiert.

  • Der Internal Use Modus dient ausschließlich der Einsichtnahme zur Weiterentwicklung Ihrer Skripte. Jede andere Verwendung der Ergebnisse ist untersagt. Die Ergebnisse dürfen nicht abgeschrieben, fotografiert, ausgedruckt, kopiert oder anderweitig entnommen werden. Es ist außerdem untersagt, Dritten, die nicht im Nutzungsvertrag des Projekts genannt sind, Einsicht zu gewähren. Übermitteln Sie bitte NIEMALS Ergebnisse, die im Internal Use Modus erstellt wurden, oder sonstigen nicht vom FDZ-Team freigegebenen Output! Die Übermittlung von nicht freigegebenen Ergebnissen – auch an das FDZ – stellt eine Vertragsverletzung dar. Sollten Sie Fragen zu einem Internal Use Job haben, dann senden Sie uns bitte ausschließlich die Projekt- und Jobnummer zu.

  • Bitte beachten Sie, dass zur Gewährleistung des Datenschutzes im Internal Use Modus einige Befehle grundsätzlich gesperrt werden3. Ausnahmeregelungen sind nicht möglich. Sie haben in diesen Fällen die Möglichkeit, durch Auswahl des Presentation / Publication Modus manuell geprüfte Ergebnisse zu erhalten.

  • Um eine Rückrechnung und Ergänzung von Ergebnissen auszuschließen, sind die Ergebnisse vorheriger Aufträge im Internal Use Modus nicht mehr verfügbar, sobald innerhalb des gleichen Projekts ein Auftrag im Presentation / Publication Modus eingeschickt wird.

2) Presentation / Publication

  • In diesem Modus werden herunterladbare Log-Dateien und Grafiken erstellt.

  • Der Modus ist auszuwählen, wenn Ergebnisse im Rahmen einer Präsentation oder Publikation veröffentlicht werden sollen.

  • Überprüfen Sie vorher die Lauffähigkeit Ihrer Programme und die Einhaltung unserer Richtlinien im Internal Use Modus.

  • Beschränken Sie sich auf die Ergebnisse, die Sie für eine Veröffentlichung benötigen. Laden Sie nur die Skripte hoch, die die für die jeweilige Präsentation oder Publikation notwendigen Ergebnisse erzeugen. Kommentieren Sie Befehle aus, deren Ergebnisse nicht benötigt werden. Es kann auf alle vorher im Internal Use Modus erstellten Datensätze zugegriffen werden, d. h. Aufbereitungsschritte müssen nicht erneut laufen.

  • Stellen Sie bitte sicher, dass keine Befehle wie nostop in Ihren Programmen enthalten sind, die eigentlich auftretende Programmabbrüche umgehen.

  • Stellen Sie sicher, dass Ihre Ergebnisdarstellung mit unseren Richtlinien konform ist. In den Richtlinien finden Sie Hinweise zur Ausgabe von Tabellen, Grafiken und aggregierten Datensätzen.

  • Orientieren Sie sich an den FDZ-Templates zur effizienten Programmierung und Ergebnisdarstellung. So stellen Sie sicher, dass Ihre Programme möglichst schnell abgeschlossen werden und die Datenschutzprüfung durch das FDZ zügig erfolgen kann.

Eine detaillierte Anleitung zur Nutzung von JoSuA und Hinweise zu Job-Abbrüchen in JoSuA finden Sie in Kapitel 10.

4.3 Ablauf der kontrollierten Datenfernverarbeitung mit JoSuA

  • Die von Ihnen in JoSuA hochgeladenen Skripte müssen vollständig lauffähig sein. Das FDZ führt keine Fehlerbehebungen durch. Testen Sie Ihre Programme daher immer vorher in Ihrer Testumgebung (siehe Kapitel 2.3) oder (falls verfügbar) im Remote-Desktop.

  • Stellen Sie sicher, dass in Ihren Skripten die Richtlinien umgesetzt sind.

  • Sollten Sie Ado-Files in JoSuA benötigen, beachten Sie bitte die Hinweise in Kapitel 2.2.1 unserer Anleitungen. Alle Ado-Files im Ordner prog Ihres Projektverzeichnisses am FDZ sind bereits automatisch eingebunden.

  • Beachten Sie die technischen Restriktionen bezüglich Anzahl und Größe von Programm- und Ergebnisdateien sowie die Speicherbegrenzungen (siehe Kapitel 10.8). Grundsätzlich bitten wir Sie, nicht unnötig Arbeitsspeicher zu belegen, da bei einer hohen Auslastung der Rechenserver die Gefahr besteht, dass Ihr Job und die Jobs anderer Nutzender abbrechen oder stark ausgebremst werden.

  • Laden Sie Ihre Programme immer zuerst im Internal Use Modus hoch, um die Ergebnisse zu sichten, prüfen und zu selektieren. Stellen Sie zudem sicher, dass die Ergebnisse, die Sie später nochmals im Presentation / Publication Modus erzeugen möchten, den datenschutzrechtlichen Anforderungen entsprechen (siehe Richtlinien).

  • Ihre Auswertungsprogramme werden mit der aktuellsten am FDZ vorhandenen Stata-Version gestartet.

  • Bitte warten Sie mit dem Hochladen der nächsten Auswertung, bis die Ergebnisse des letzten vorangegangenen Jobs innerhalb Ihres Projekts bereitgestellt wurden. Das FDZ behält sich vor, gleichzeitig laufende Jobs ohne Rücksprache mit den Nutzenden abzubrechen, falls durch sie die Jobs anderer Nutzender beeinträchtigt werden. Wie viele Jobs pro Tag/Woche im Internal Use Modus sowie Presentation / Publication Modus hochgeladen werden können, kann der FDZ-Website entnommen werden. Auf dieses Limit werden auch Jobs angerechnet, die direkt aufgrund fehlerhafter Programmierungen abbrechen.

  • Der Zeitpunkt der Freigabe des Outputs ist abhängig von der Serverauslastung sowie dem Rechen- und Prüfaufwand.

Abbildung 1 fasst die zentralen Schritte der kontrollierten Datenfernverarbeitung mit JoSuA nochmals kurz zusammen.

Abbildung 1: Ablaufplan kontrollierte Datenfernverarbeitung mit JoSuA

  1. Obwohl im Rahmen der kontrollierten Datenfernverarbeitung über JoSuA derzeit nur Stata genutzt werden kann, kann JoSuA dennoch zum Transfer von Skripten anderer Statistik-Pakete (wie z.B. R oder Octave) genutzt werden.↩︎

  2. Änderungen des Passwortes in JoSuA werden nicht mit der Gastaufenthalts- bzw. Remote-Desktop-Kennung synchronisiert.↩︎

  3. Derzeit ist der Befehl list im Internal Use Modus gesperrt. Das FDZ behält sich die Sperrung weiterer Befehle vor.↩︎