BSRAP Evaluation

Die Webanwendung

Verwaltungsprozesse sind teils komplex und Informationen dazu verstreut. Die Herausforderung besteht darin, diese Informationen zu bündeln und zugänglich zu machen. Digitales Verwaltungswissen und darauf aufsetzende Computer-Anwendungen können helfen, solche Informationen zugänglich zu machen, indem sie Verwaltungswissen visualisieren, durchsuch- und filterbar machen und so die Orientierung, Recherche und schließlich das Verstehen erleichtern.

Im Projekt KollOM-FIT wurde dafür digitales Verwaltungswissen gesammelt, in Form von semantischen Zusammenhängen digital beschrieben und dadurch aufbereitet. Es wurden unter anderem verschiedene Ontologien auf Basis von FIM entwickelt, die mit weiteren Datenquellen angereichert und zu einem Wissensgraphen verknüpft wurden. Darauf aufbauend wurde im Projekt eine Webanwendung zur Visualisierung entwickelt, die Informationen aus diesem Wissensgraphen darstellt und so die Digitalisierung in der Verwaltung unterstützen soll.

Die Webanwendung - BSRAP, kurz für „Browsable Semantic Representation of Administrative Processes“ - stellt Prozesse, mit denen Verwaltungsleistungen umgesetzt werden, zusammen mit Hintergrundinformationen graphisch dar und macht sie damit leicht erkundbar. Das Werkzeug wurde ursprünglich als dynamisches Nachschlagewerk für Entwickler für Verwaltungssoftware konzipiert. BSRAP steht aber als Prototyp beispielhaft für viele weitere denkbare Anwendungen und soll über diese konkrete Anwendung hinaus den allgemeinen Nutzen digitalen semantischen Verwaltungswissens illustrieren. Für BSRAP wurde ein Wissensgraph erstellt, basierend auf der Beantragung von Bürgergeld, jedoch mit beispielhaftem Charakter, um für möglichst viele weitere Verwaltungsleistungen zu stehen.

Die Startseite der Anwendung besteht aus einem Hauptfeld in der Mitte und einer Seitenleiste am linken Rand. In der Seitenleiste wählt man eine der vier Rubriken „Leistungen“, „Akteure“, „Normen“ oder „Software“ aus. Daraufhin werden im Hauptfeld alle im Wissensgraphen verfügbaren Einträge der jeweiligen Rubrik als filterbare Auswahlliste präsentiert.

Nutzende können nun durch Auswahl eines Eintrages Verwaltungsleistungen als Ablaufdiagramm graphisch darstellen lassen. Sie können unterschiedlich detaillierte Prozesse dieser Leistung anzeigen, indem die Auswahl zwischen dem aktuellen Stamm- oder Referenzprozess getroffen wird. Die Anwendung visualisiert die Prozess-Schritte graphisch nach den Konventionen der BPMN (Business Process Model and Notation, Deutsch: Modell und Notation für Geschäftsprozesse). In einer zusätzlichen rechten Seitenleiste können alle dafür geltenden Normen und Datenfelder eingesehen werden. Wird im Ablaufdiagramm ein Prozessschritt ausgewählt, listet die Seitenleiste die für den Prozessschritt relevanten Informationen auf. Umgekehrt können Normen in der Seitenleiste ausgewählt werden, um alle Prozessschritte, die sie betreffen, im Diagramm farblich hervorzuheben.

Über die weiteren Rubriken der linken Seitenleisten können Nutzende Listen aller im Wissensgraphen hinterlegten Akteure, Normen oder Softwarepakete nachschlagen. Zum Beispiel listet die Anwendung unter der Rubrik „Normen“ alle im Wissensgraphen verfügbaren Normen. Solche, die in den verfügbaren Leistungen relevant sind, werden hervorgehoben, alle anderen ausgegraut dargestellt. Mit zusätzlichen Beispieldaten in der rechten Seitenleiste illustriert die Anwendung, dass die Auswahl einzelner Normen grundsätzlich auch die Rückwärtssuche auf alle davon betroffenen Leistungen und Akteure ermöglicht. In der Rubrik „Software“ wird nur eine Liste mit Beispieleinträgen angezeigt.

Evaluation

Die Webanwendung BSRAP wurde mit zwei Personengruppen in jeweils einem einstündigen Treffen qualitativ evaluiert. Die erste Gruppe bestand aus drei FIM-Experten, die zweite aus drei Mitarbeitenden aus der öffentlichen Verwaltung. Während der Evaluation wurde in beiden Treffen zwei übergeordnete Ziele verfolgt. Einerseits sollte der aktuelle Stand der Anwendung bewertet und Verbesserungspotential aus Anwender-Sicht ermittelt werden. Zum anderen sollten Beispiele identifiziert werden, die den Nutzen von spezifischen Anwendungen dieser Art im Allgemeinen illustrieren. Das heißt, welche zusätzlichen Funktionen und Informationen können sie noch liefern und für welche Personenkreise ist das besonders nützlich?

Die Evaluationstreffen wurden in zwei Phasen gegliedert und von einem Projektmitarbeiter moderiert:

1. der Vorstellung der Anwendung mit Diskussion und
2. einem Dialog zur Evaluation.

In der ersten Phase stellte der Moderator die Anwendung in einer interaktiven Demonstration zunächst vor und führte durch die oben genannten Rubriken und deren einzelner Funktionen. In der zweiten Phase wurden die Probanden nach ihren Eindrücken, Wünschen, potentiellen Einsatzfeldern und Nutzer-Gruppen befragt.

Evaluation #1: Sicht der FIM-Experten

Programm-Struktur

Die Anwendung wurde von allen Probanden als sehr übersichtlich empfunden, sowohl was die Grundstruktur der Aufteilung in die aktuell vier Rubriken als auch die Aufteilung in Hauptfeld und linke und rechte Seitenleiste angeht. Auch die graphische Darstellung der Prozessabläufe wurde als hilfreiches „graphisches Inhaltsverzeichnis“ empfunden, um auch komplexe Abläufe verständlich darzustellen. Um neue Nutzende besser in die Anwendung einzuführen, wünschten sich die Probanden noch eine Einführung auf der Startseite, die Orientierung bietet, was wo zu finden ist, Begriffe erklärt und Datenquellen aufführt.

Visualisierung der Prozess-Graphen

In der aktuellen Version verwenden die dargestellten Prozess-Graphen nur die in der BPMN festgelegten Elemente, um die Schritte des Prozesses zu visualisieren. Die Qualitätssicherungskriterien des FIM-Bausteins Prozesse beschrieben darüber hinaus Symbole für acht verschiedene Prozessschritttypen in Stammprozessen, die sogenannten Referenzaktivitätengruppen (RAG). Diese können in Visualisierungen verwendet werden, um Mehrdeutigkeit zu verhindern. Analog dazu existieren in XProzess 3 Symbole für die Schritte in Referenz- und Lokalprozessen. Alle Probanden wünschten sich hier, die Darstellung noch um diese Symbole (oben rechts neben den Prozessschritten) zu erweitern, um Prozessschritttypen schnell erfassen zu können.

Zur Klärung: RA steht für Referenzaktivität und ist ein Element, das sowohl im Stamm- als auch im Lokalprozessmodell verwendet wird. RAG sind Referenzaktivitätsgruppen, die mehrere RAs zusammenfassen.

Die Attribute rechts zeigen jeweils spezifische Informationen zum Prozessschritt oder zum gesamten Prozess an. Informationen zum Prozess und zum Prozessschritt werden in der Seitenleiste klar voneinander getrennt dargestellt.

Datenfelder sollten weiter konkretisiert werden und auf Dokumente, Datenschemata oder Datenfeldgruppen verweisen, um die Nachvollziehbarkeit und Struktur zu verbessern.

Die Rubrik „Normen“ sollte besser „Handlungsgrundlagen“ heißen, da sie auch weitere rechtliche Grundlagen einschließt. Die Rubrik „Akteure“ kann in „Hauptakteure“, „Mitwirkende“, „Initiatoren“ und „Ergebnisempfänger“ unterteilt werden. „Datenfelder“ sollten in „Dokumente“, „Datenschemata“ und „Datenfeldgruppen“ aufgeschlüsselt werden.

Die Anwendung BSRAP zeigt aktuell einen vordefinierten Ausschnitt des hinterlegten Wissensgraphen. Es wäre hilfreich, Nutzenden zu ermöglichen, den gesamten Wissensgraphen zu erkunden, um beispielsweise alle Typinformationen zu einer RAG oder weitere Begriffserklärungen zu finden. Die Anwendung kann so als Katalysator für die weitere Entwicklung und Anwendung von Verwaltungssoftware dienen.

Im Stammprozessmodell an den Prozessschritten oben rechts die Icons für den Typ (RAG) zeigen. Im Referenz- bzw. Lokalprozessmodell KÜNFTIG (XProzess 3) an den Prozessschritten oben rechts die Icons für den Typ (RA) zeigen.

Seitenleisteninformationen

Die rechte Seitenleiste zeigt Detailinformationen zum Prozess oder zum Prozessschritt an. Die Probanden erachteten die Seitenleiste und dort angezeigten Informationen als „gute Idee“ und als „hilfreich“ und wünschten sich, dort noch weitere Informationen mit aufzunehmen.

Zusätzlich zu Normen, Akteuren und Datenfeldern sollte dort noch der Typ des Prozessschrittes sowie Kern- und typspezifische Attribute angezeigt werden.

In der evaluierten Version von BSRAP zeigt die Seitenleiste entweder Prozessinformationen oder Informationen zum Prozessschritt an, je nachdem, ob ein Schritt im Prozessgraphen ausgewählt wurde oder nicht. Dieser Unterschied war einigen Probanden auf den ersten Blick nicht klar. Das Missverständnis lässt sich auf zwei Ursachen zurückführen. Zum einen zeigt die aktuelle Version nur eine Überschrift in der Seitenleiste an (Leistung oder Prozessschritt), die aber beim nach unten Scrollen aus dem Anzeigebereich läuft und dann nicht mehr sichtbar ist. Zum anderen werden bei Auswahl eines Prozessschrittes gleichzeitig Informationen angezeigt, die sich auf den Prozessschritt (Normen) und den gesamten Prozess beziehen (Datenfelder). Deshalb sollte der Bezug in der Seitenleiste klarer gemacht werden. Das kann zum Beispiel erreicht werden, indem beide Attributarten gelistet und durch visuelle Elemente explizit voneinander getrennt werden.

Die Visualisierung der Datenfelder sollten noch weiter konkretisiert werden und auf Dokumente, Datenschema oder Datenfeldgruppen verweisen.

Rubriken Leistungen, Akteure, Normen, Software

Die Listenansichten in den drei Rubriken sind teils noch sehr leer. „Leistungen“ enthält nur den Eintrag zum Bürgergeld-Antrag, „Akteure“ nur die Rollen aus dem Stammprozess dieser Leistung, „Software“ lediglich eine Liste mit Platzhalter-Softwarepaketen. Die „Normen“-Ansicht bietet hingegen schon eine ausführliche Liste aller im Wissensgraphen enthaltenen Gesetze, wobei solche hervorgehoben sind, die für die eingepflegten Leistungen (aktuell nur für das Bürgergeld) relevant sind. Dort sind zum einen die Gesetzestexte zu jedem Gesetz und Paragraphen verlinkt. Zum anderen wird dort beim Klick auf das Lupensymbol neben einem Paragraphen die Rückwärtssuche nach betroffenen Leistungen und Akteuren in einer Seitenleiste illustriert.

Ähnlich wie bei der Seitenleiste neben dem Prozessgraphen waren manche Probanden hier unsicher, ob sich die gezeigten Listen auf eine vorher ausgewählte Leistung beziehen oder ob es sich dabei um eine globale Anzeige handelt, die alle im Wissensgraphen verfügbaren Einträge einschließt. Auch hier sollte klarer gemacht werden, dass es sich um eine Gesamtansicht handelt, die unabhängig von einer vorherigen Auswahl in einer anderen Rubrik ist. Außerdem wurde angemerkt, dass die Rubriken noch besser benannt werden sollten: Die Rubrik „Normen“ sollte besser Handlungsgrundlagen heißen, „Akteure“ sollte unterteilt werden in „Hauptakteure“, „Mitwirkende“, „Initiatoren“, „Ergebnisempfänger“ und so weiter, „Datenfelder“ sollte noch aufgeschlüsselt werden in „Dokumente“, „Datenschemata“ und „Datenfeldgruppen“.

Ausblick: Zusätzliche Funktionen, Informationen, Datenquellen, Nutzende-Kreise

Die Anwendung BSRAP zeigt in ihrer jetzigen Form nur einen vordefinierten Ausschnitt des hinterlegten Wissensgraphen an. Im Austausch mit den Probanden wurde klar, dass es grundsätzlich auch hilfreich wäre, Nutzenden zu ermöglichen, den gesamten Wissensgraphen frei zu erkunden. So könnte man beispielsweise herausfinden, welche Typinformationen zu einer RAG bekannt sind.

Ganz allgemein könnte diese Funktion auch als Katalysator für die weitere Entwicklung und Anwendung von Software dieser Art in der Verwaltungspraxis sein. BSRAP wurde für einen konkreten Anwendungsfall geschaffen, nämlich ein Nachschlagewerk für Entwickelnde für Verwaltungssoftware zu liefern. Allgemeiner noch steht die Anwendung aber auch für eine Klasse von Werkzeugen, die digitales Verwaltungswissen aufbereiten und Menschen leicht zugänglich machen sollen. Die Möglichkeit, den Wissensgraphen frei zu erkunden, kann helfen, Praktikern den Nutzen solchen semantischen Wissens zu verdeutlichen und dessen Relevanz in der eigenen Arbeit aufzuzeigen.

Zeigen, was das Wissensnetz noch so hergibt. Etwa Erklärungen, welche allgemeinen Typinformationen zu einer RAG bekannt sind, Verlinkungen zu Begriffserklärungen. Ihr wisst am besten, was da drinsteckt.

Als Personengruppen, für die Anwendungen dieser Art nützlich sind, identifizierten die Probanden, Sachbearbeitende, FIM-Experten, Techniker bzw. Entwickler. Weil deren Arbeitskontexte sehr verschieden sind, wurde auch vorgeschlagen und für sinnvoll erachtet, diesen Gruppen unterschiedliche Ansichten vorzukonfigurieren, die jeweils dem Arbeitskontext angepasste Wissensauswahl darstellen. So benötigen Sachbearbeiter eher inhaltliche Informationen zum Verfahren, Techniker eher solche zu Schnittstellen, wie IDs, Links auf zugehörige Diagramme und Ähnliches, und FIM-Spezialisten eher den zum Stammprozess zugehörigen Leistungssteckbrief und Stammtext, die Dokumentensteckbriefe und Stammdatenschemata.

Neben öffentlichen Datenquellen, so ein Proband, wäre in diesem Zusammenhang auch denkbar, lokale Informationen und institutionelles Verwaltungswissen in den Wissensgraphen einzupflegen. Das kann wiederum Sachbearbeitern helfen, sich einzuarbeiten oder Kollegen zu vertreten. Dazu wäre eine Nutzerschnittstelle notwendig, um Daten einpflegen zu können.

Und schließlich wäre noch wünschenswert, in Anwendungen dieser Art mit mehr Dokumentation auszustatten, um Personen ohne FIM-Wissen die Nutzung zu vereinfachen. Hilfreich wären allgemeine Erklärungen und Begriffsdefinitionen zu liefern bzw. zu verlinken und auch die jeweiligen Quellen der gezeigten Informationen aus dem Wissensgraphen aufzulisten.

Evaluation #2: Sicht der Verwaltungspraktiker

Im Unterschied zur ersten Evaluierungsgruppe bestehend aus FIM-Experten fokussierte das Feedback hier besonders auf die Nutzbarkeit und Zugänglichkeit und weniger auf technische Aspekte. Die Probanden in dieser Gruppe fanden die Anwendung insgesamt sehr nützlich, intuitiv und niedrigschwellig zu benutzen. Als hilfreich wurde auch die farbliche Differenzierung zwischen Leistung, Normen, Akteuren und Datenfeldern empfunden. In diesem Zusammenhang wurde empfohlen, die Barrierefreiheit im Blick zu behalten und sicherzustellen, was zum einen visuelle Aspekte wie Farbgebung und Kontraste, zum anderen auch auditive Aspekte, wie die Möglichkeit, sich Inhalte vorlesen zu lassen, einschließt.

Positiv gesehen wurde auch die Entscheidung, die Anwendung als Webapplikation umzusetzen, da sie im Browser leicht zugänglich ist.

Wie auch von der ersten Evaluierungsgruppe schon angemerkt, haben sich die Probanden hier noch mehr Erläuterungen in der Anwendung gewünscht. So wäre ein Glossar für verwendete Begrifflichkeiten und eine Beschreibung zum visualisierten BPMN-Prozess nötig.

Normen

Die Darstellung geltender Normen zum Prozess bzw. Prozessschritt wurde als eine wesentliche und besonders hilfreiche Funktion gesehen. Gleichzeitig identifizierten die Probanden hier eine wesentliche Schwachstelle: Die Anwendung verlinkt auf die Gesetzestexte der Plattform www.gesetze-im-internet.de des Bundesministeriums der Justiz. Die dort verlinkten Gesetzestexte unterliegen keiner Versionierung. Deshalb ist es grundsätzlich nicht klar, ob der visualisierte Verwaltungsprozess den verlinkten Normen entspricht oder nicht. Damit BSRAP oder andere Anwendungen als verlässliches Nachschlagewerk dienen können, muss sichergestellt werden, dass diese beiden Informationen stets synchronisiert sind.

In der Zukunft wäre eine Kategorisierung der Normen in deren Geltungsbereich (Bund, Länder, Satzung) hilfreich. Bei der Benennung der Normen sollten typische Konventionen beachtet werden, zum Beispiel sollten die Sozialgesetzbücher mit römischen Zahlen, nicht wie aktuell mit arabischen, gekennzeichnet sein.

Akteure

In der Rubrik „Akteure“ sollte zur besseren Übersicht noch nach internen und externen Akteuren unterschieden werden.

Software

BSRAP wurde als Nachschlagewerk für Entwickler für Verwaltungssoftware konzipiert. In der Rubrik „Software“ sollen, aktuell noch mit Beispieldaten illustriert, relevante Softwarepakete gelistet werden, die zum Beispiel schon verfügbar und in zu entwickelnde Verwaltungssoftware eingebunden werden können. Ein Proband wies darauf hin, dass hier grundsätzlich auch bestehende Fachverfahren und Endanwender-Software bis hin zu Office-Anwendungen, die in der Verwaltung relevant sind, gelistet werden können. Ab einem bestimmten Umfang eines solchen Softwarekatalogs sollte auch zur besseren Übersicht kategorisiert werden, um Pakete besser filtern zu können.

Ausblick: Personenkreise und Nutzerszenarien

Als Anwendergruppen für BSRAP und andere Software dieser Art identifizierten die Probanden neben Entwicklern Sachbearbeiter in der Verwaltung, aber auch Bürger. Hier wurde auch noch einmal der Aspekt der Aktualität geltender Normen hervorgehoben. Sind der Anwendung die verschiedenen Versionen geltender Normen bekannt und werden automatisch aktualisiert, kann sie beispielsweise auf Neuerungen hinweisen und signalisieren, wenn Teile eines Verwaltungsprozesses möglicherweise veraltet sind.

Mit dem semantischen Wissen eines aktuellen Wissensgraphen könnten in einer Anwendung für Bürger schnell und einfach gefiltert und dargestellt werden, welche öffentlichen Leistungen für eine bestimmte Person in Frage kommen oder zustehen. Umgekehrt könnten Bürger in einer solchen Anwendung herausfinden, welche Normen für bestimmte Leistungen relevant sind.