KI-Assistent LLMoin bringt „viele Mikro-Entlastungen am Tag“

Herr Alvermann, der KI-Assistent LLMoin wird bereits von vielen Mitarbeitenden der Hamburger Verwaltung genutzt. Wie wird das neue KI-Tool angenommen?

Insgesamt sehr positiv! Am meisten wird das Tool für Recherchezwecke benutzt. Generell haben wir vier Funktionalitäten: Textzusammenfassung, Textgenerierung, Recherche und das freie Prompting. Für ihre Recherche können die Mitarbeitenden neben vorgegebenen Datensätzen zum Beispiel Dokumente hochladen und Fragen dazu stellen. LLMoin gibt dann bei seiner Antwort konkrete Quellenangaben und auch die genauen Textstellen an.

Am zweitbeliebtesten ist freies Prompten. Wir hören oft, dass LLMoin hierbei als Sparringspartner genutzt wird. Zum Beispiel lassen sich einige Mitarbeitende eine Agenda für einen Vortrag oder einen Workshop von der KI vorschlagen. Auf diese Weise erhalten sie schnell guten Input, der natürlich noch ein händisches Feintuning benötigt. Andere nutzen LLMoin auch, um aus Transkripten von Meetings Ergebnisprotokolle zu erstellen.

Bei der Textgenerierung wiederum verwenden viele die Möglichkeit, sich E-Mails oder einen Vermerk verfassen zu lassen. Für beides gibt es Vorlagen. Ich muss nur meine Stichworte eintragen, die von der KI automatisch ins entsprechende Format gebracht werden.

Worauf haben Sie bei der Einführung von LLMoin geachtet?

Wir haben von Anfang an die Ertüchtigung der Mitarbeitenden mitgedacht. Damit ist die Befähigung gemeint, LLMoin richtig und gezielt einzusetzen. LLMoin auf die Computer zu kriegen ist nämlich nur die eine Sache. Das Tool in die Köpfe zu bekommen, ist eine andere. Um auch Skeptiker abzuholen, haben wir deshalb einen speziellen Lernpfad entwickelt. Also ein E-Learning-Schulungskonzept, das möglichst interessant und kurzweilig ist und trotzdem die wesentlichen Punkte für den Umgang mit der KI erfasst.

Um eine hohe Akzeptanz zu erreichen, haben wir außerdem auf Multiplikatoren gesetzt. Das sind bei uns die sogenannten Kapitäninnen und Kapitäne. Sie helfen uns, LLMoin in die Fläche, also in weitere Behörden zu bringen. Dazu haben wir in jeder Behörde mindestens einen Kapitän, der seinen Kolleginnen und Kollegen unter anderem konkrete Anwendungsbeispiele zum praktischen Umgang mit dem KI-Assistenten zeigt.

Wie wird die Qualität der KI-generierten Ergebnisse beurteilt?

Die Qualität der Ergebnisse wird insgesamt gut bewertet. Eine Garantie für deren Richtigkeit gibt es jedoch nicht. Wie andere KI-gestützte Textgeneratoren gibt es auch bei LLMoin das Risiko sogenannter Halluzinationen – also teilweise sehr plausibel klingende, aber falsche Antworten. Zwar sind die Modelle in dieser Hinsicht schon besser geworden, aber die Nutzer sind und bleiben in der Pflicht, Faktenchecks selbst vorzunehmen. In diesem Kontext ist die erwähnte Ertüchtigung wichtig. Wir müssen die Nutzerinnen und Nutzer sensibilisieren und schulen, wie sie LLMoin sicher anwenden können und in welchen Fällen sie KI-generierte Informationen mit anderen Quellen abgleichen sollten.

LLMoin soll Verwaltungsmitarbeiter*innen bei täglichen Aufgaben unterstützen und die Arbeit erleichtern. Gelingt das?

Wir sehen, dass die Anzahl der täglichen Prompts stetig steigt. Außerdem hören wir, dass immer mehr Mitarbeitende gerne mit dem Tool arbeiten und ihre Textarbeit jetzt effizienter gestalten können. LLMoin sorgt so im Idealfall für viele Mikro-Entlastungen am Tag.

In einer internen Umfrage etwa wurde kommentiert: ‚Ich bin sehr positiv überrascht von der Möglichkeit, Reden und Grußworte schreiben zu lassen, auch bei minimalem Input.‘ Ein anderer Anwender sagte, ‚LLMoin hilft mir, große Dokumente schnell zu verstehen und mich in neue Themen viel schneller einzuarbeiten.‘

Das KI-Tool steht weiteren Bundesländern, Behörden, Schulen etc. zur Nachnutzung offen. Was raten Sie anderen, die LLMoin einsetzen möchten?

Auf jeden Fall die Menschen für den Umgang mit der KI zu befähigen und ausreichend in Schulungs- und Change-Maßnahmen zu investieren. Das sollte von Anfang an eingeplant werden. Ziel sollte es sein, dass Potenzial von LLMoin so anschaulich wie möglich aufzuzeigen.

Bei uns waren und sind unsere sogenannten Kapitäninnen und Kapitäne extrem hilfreich. Indem Sie Brücken in Fachbereiche bauen, sind sie in der Lage, das Potenzial zu veranschaulichen und nachvollziehbar zu machen.

Nicht zuletzt braucht es auch einfach Geduld. Wir wissen aus Erfahrung: Oft sind es jene Bereiche, die zu Beginn eher zögerlicher waren, die später aktiv auf uns zugekommen sind. Also am besten mit den Motivierten anfangen – und das Tool für sich selbst sprechen lassen.

Für LLMoin sind weitere Features geplant. Welche sind besonders vielversprechend?

Wir wollen das Thema Wissensmanagement stärken, also mehr Datensätze an LLMoin anbinden. Wir denken da beispielsweise an Sharepoints, Gruppenlaufwerke etc. Wenn das Sprachmodell Zugang zu mehr Informationen und Kontexten der Freien und Hansestadt Hamburg hätte, dann wären die Antworten noch wesentlich spezifischer und direkter anwendbar.

Viel Potenzial sehen wir auch beim Ausbau einer Prompt-Bibliothek, also einer Sammlung von Eingabebefehlen zur Steuerung der KI. Und es wäre natürlich schön, wenn Nutzerinnen und Nutzer, die einen besonders guten Prompt gefunden haben, diesen mit anderen teilen könnten.

Ganz klar: LLMoin kann heute noch nicht in Gänze abbilden, was KI grundsätzlich bietet. Aber wir können relativ früh Erfahrungen mit dem Tool sammeln und den Kompetenzaufbau für eine wichtige Zukunftstechnologie in der Verwaltung bereits jetzt aktiv fördern.