Umsetzung kommunikationspsychologischer Forschungsergebnisse zur Akzeptanzsteigerung von Chatbots

Inhaltsverzeichnis

• 1 Einleitung
  • 1.1 Problemstellung
  • 1.2 Zielsetzung und Forschungsfrage
  • 1.3 Forschungsmethodik
  • 1.4 Aufbau der Arbeit
• 2 Kommunikationspsychologie
  • 2.1 Definition
  • 2.2 Forschungsergebnisse
    • 2.2.1 Höfliche Sprache
    • 2.2.2 Entschuldigung und Entschädigung
    • 2.2.3 Etikette
    • 2.2.4 Humor
    • 2.2.5 Erinnerung
• 3 Chatbots
  • 3.1 Technische Spezifikiationen
  • 3.2 Rasa-Architektur
    • 3.2.1 NLU-Pipeline
    • 3.2.2 Dialog Policies
  • 3.3 Umsetzung der Forschungsergebnisse
• 4 Evaluierung
  • 4.1 Vorbereitung der Chatbots
  • 4.2 Gestaltung der Umfrage
  • 4.3 Ergebnis der Umfrage
• 5 Fazit und Ausblick
  • 5.1 Zusammenfassung
  • 5.2 Kritische Betrachtung
  • 5.3 Mehrwert für Praxis und Wissenschaft
  • 5.4 Ausblick

Quellcodeverzeichnis

1 Beispiel: Geschichte............................. 10
2 Beispiel: Regel................................ 11
3 Beispiel: Trainingsdaten........................... 11
4 Beispiel: Aktion................................ 12
5 Aktion bei geringer Zuversicht........................ 12
6 Beispiel: Slot................................. 13
7 Rasa config.yml............................... 23

Abkürzungsverzeichnis

ML Meschinelles Lernen DIET Dual Intent Entity Transformer bspw. beispielsweise NLU Natural Language Understanding H2M Human to Machine

1 Einleitung

Der Anteil an Unternehmen, die im Jahre 2020 bereits auf Chatbots setzten, liegt laut einer Umfrage des Digitalverbands Bitkom bereits bei 27 Prozent [Suh20]. Weitere 13 Prozent planen bereits mit einer Einführung von „technischen Dialogsysteme[n,] mit denen per Texteingabe oder Sprache kommuniziert werden kann“ [Suh20]. Dabei können nicht nur Unternehmen von diesem Automatisierungsprozess profitieren, sondern auch Universitä- ten und Hochschulen [RRS17, S. 1529].

1.1 Problemstellung

Die FOM Hochschule für Oekonomie & Management bietet weder auf ihrer Webseite noch im Online-Campus die Möglichkeit an, sich mit einem digitalen Assistenten für kurze Aus- künfte bezüglich der Hochschule sowie deren Studiengängen auszutauschen. Zusätzlich ist zum Zeitpunkt der Recherche für diese Arbeit nicht ersichtlich, welche Erkenntnisse der Kommunikationspsychologie zu einer Akzeptanzsteigerung von schriftlich kommunizieren- den Chatbots führen. Im Folgenden werden die genannten Problematiken gemeinsam un- tersucht.

1.2 Zielsetzung und Forschungsfrage

Ziel ist es, im ersten Schritt die aktuellen Forschungsergebnisse im Bereich Kommuni- kationspsychologie zu erfassen. Darauffolgend werden zum Vergleich zwei verschiede Chatbots programmiert. Bei einem der beiden werden dabei die Erkenntnisse der Lite- raturarbeit umgesetzt. Im Anschluss wird mit Hilfe einer Umfrage geprüft, ob dies zu einer Akzeptanzsteigerung führt.

Deshalb beschäftig sich diese Arbeit mit der folgenden Forschungsfrage:

Welche kommunikationspsychologischen Forschungsergebnisse können auf die
Programmierung eines Chatbots adaptiert werden, um dessen Akzeptanz zu stei-
gern?

1.3 Forschungsmethodik

Initial beginnt die Literaturarbeit mit dem Werk von Van Pinxteren, Pluymaekers, Lemmink [VPL20] aus dem Jahre 2020. Die Autoren haben in ihrem ArtikelHuman-like communica- tion in conversational agents: a literature review and research agendabereits ein Litera- tur Review durchgeführt sowie eine Research-Agenda aufgestellt. Sie benutzen ebenfalls den Begriff Chatbot, implizieren dabei aber, dass der Chatbot auch verbal agieren kann. Deshalb gibt das Werk lediglich eine Orientierung, kann allerdings für eine Vorwärts- und Rückwärtssuche nach Webster und Watson verwendet werden [WW02, S. XVI].

Die Erhebung von möglichen Fragen, welche ein Chatbot der FOM Hochschule beantwor- ten können sollte, erfolgte über einen Aufruf bei Kommilitonen mit dem Messaging Dienst WhatsApp. Diese Rückmeldungen dienen unter anderem für die Erstellung der Trainings- daten.

Die Gestaltung der Befragung erfolgt nach Döring und Bortz [DB16]. Es handelt sich dabei um eine vollstrukturierte schriftliche Befragung bestehend aus zwei Fragen, welche die Teilnehmer über die interaktive PräsentationssoftwareMentimeterbeantworten können [DB16, S. 401].

1.4 Aufbau der Arbeit

Zu Beginn der Arbeit wird die Begrifflichkeit Kommunikationspsychologie definiert. Im An- schluss daran werden die Forschungsergebnisse der Literaturarbeit betrachtet. Das nach- folgende Kapitel behandelt die technischen Aspekte des Chatbots. Dabei wird auf die Architektur, die NLU-Pipeline sowie die eingesetzten Policies eingegangen. Im weiteren Verlauf wird erläutert, wie die Forschungsergebnisse technisch umgesetzt werden. Die Umfrage im Nachgang soll erfassen, ob diese zu einer Akzeptanzsteigerung bei den Nut- zern führt.

2 Kommunikationspsychologie

Im nachfolgenden Kapitel wird zu Beginn der Teilbereich Kommunikationspsychologie vor- gesellt. Im Anschluss daran werden die Ergebnisse aus der Literaturarbeit umfassend er- läutert.

2.1 Definition

Die „Kommunikationspsychologie ist eine vergleichsweise junge Teildisziplin der Psycho- logie“ [RS12, S. 14]. Abbildung1 zeigt die drei Säulen des Forschungsgegenstands.

2.2 Forschungsergebnisse

Die angewandte Forschungsmethodik zur Erfassung der aktuellen Forschungsergebnis- se im Bereich der Kommunikationspsychologie wird bereits im Kapitel1.3 beschrieben. Nachfolgend werden die Ergebnisse in untergliederten Abschnitten betrachtet.

2.2.1 Höfliche Sprache

Höflichkeit ist ein wesentlicher Aspekt der Kommunikation. Dies zeigt eine Studie von Strait, Canning und Scheutz [SCS14] aus dem Jahr 2014. Sie fanden heraus, dass ein höflicher Roboter rücksichtsvoller, sympathischer und weniger kontrollierend erscheint [SCS14, S. 6]. Laut Parasuraman und Miller [PM04, S. 53] kann die höfliche Art eines Chatbots darüber hinaus mögliche Inkompetenz in anderen Bereichen ausgleichen (vlg. Kapitel2.2.3).

2.2.2 Entschuldigung und Entschädigung

Die Aspekte der Entschuldigung und Entschädigung werden in diesem Abschnitt zusam- mengefasst, da sich beide mit dem Umgang von einem Versagen des Chatbots befassen. Unter Versagen wird die fehlende Nutzenfunktion für den Nutzer angesehen. Dies istbspw. der Fall, wenn der Chatbot bei einem Problem nicht mehr weiterhelfen kann. Die Literatur spricht hierbei von denRecovery Strategies[Lee+10] [ FG21].

Unterschieden wird zwischen Nutzern mit einer rationalen Orientierung und jener mit uti- litaristischer Orientierung [Lee+10, S. 6]. Personen mit einer rationalen Einstellung bevor- zugen die Entschuldigung, da sie sich eine gute Beziehung zu ihrem Dienstleister/Chat- bot wünschen [Lee+10, S. 2]. Beispiel: „Entschuldigen Sie, da kann ich leider noch nicht weiterhelfen.“ Dem gegenüber steht die Personengruppe, die weniger an der Interaktion selbst, sondern vielmehr an der Effizienz und Korrektheit der Dienstleistung interessiert ist. Aus diesem Grund präferieren sie bei einem Versagen des Chatbots eine Entschädi- gung [Lee+10, S. 2]. Beispiel: „Da ich hier noch nicht weiterhelfen kann, leite ich Sie sofort mit prioritärem Status an den Support weiter.“

2.2.3 Etikette

Ein weiterer Aspekt, welcher die Kommunikation zwischen dem Chatbot und dem Anwen- der verbessert, ist die Etikette. Parasuraman und Miller [PM04, S. 54] manipulieren im Rahmen eines Experimentes einen Chatbot (Chatbot 1) so, dass er unterbrechend und ungeduldig ist (vgl. Abbildung7 im Anhang). Dies führt bei den Teilnehmern zu Aussagen, wie „I hated it when it kept interrupting me when I was in the middle of diagnosis“ [PM04, S. 54]. Das Pendant dazu ist ein Chatbot (Chatbot 2), der die Etikette wahrt. Sie kommen zum Ergebnis, dass bei gleichbleibender Zuverlässigkeit der beiden Chatbots, Chatbot 2 signifikant besser abschneidet. Darüber hinaus wird Chatbot 2 selbst dann noch besser bewertet, wenn er eine geringere Zuverlässigkeit als Chatbot 1 aufweist [PM04, S. 54].

2.2.4 Humor

Zusätzlich spielt Humor eine wichtige Rolle im Bereich der Kommunikationspsychologie [Tay+16] [ NB19]. Ein humorvoller Chatbot wird laut Niculescu und Banchs [NB19, S. 11] von den Nutzern präferiert und verwickelt diese zudem in interessantere Gespräche. Ein humorvoller Gesprächsverlauf kann bei den Benutzern zudem dazu führen, dass diese eine soziale Präsenz wahrnehmen; vorausgesetzt sie mögen die Witze [Tay+16, S. 25 f].

Allerdings hat die Nutzung von Humor in der Kommunikation auch eine Kehrseite, die zu einer Akzeptanzminderung führen kann [Tay+16, S. 26 f.] [NB19, S. 11]. Tay et al. [Tay+16, S. 26] differenzieren hierbspw.zwischen verunglimpfendem und nicht verunglimpfendem Humor. Die Reaktion der Teilnehmer wird durch deren emotionale Einfühlung in die The- matik, die Identifikation mit dem Witz sowie der Tatsache, ob der Witz verstanden wurde, beeinflusst. Dies kann im schlimmsten Fall dazu führen, dass die Personen den Witz als beleidigend empfinden und die Akzeptanz des Chatbots dadurch sinkt [Tay+16, S. 26].

2.2.5 Erinnerung

Der letzte Punkt, welcher in der Kommunikationspsychologie zu einer Akzeptanzsteige- rung im Gespräch führt, ist die Fähigkeit, sich an bereits gesagtes zu erinnern. Richards und Branksy [RB14, S. 474 f.] zeigen auf, dass das Erinnern, positive Auswirkungen auf die Glaubwürdigkeit und das Vertrauen gegenüber dem Gesprächspartner sowie den Spaß an der Interaktion hat. Zudem sinkt bei einem Chatbot mit Erinnerungsvermögen die Frustra- tion und negative Gefühle gegenüber dessen Nutzung [RB14, S. 474].

3 Chatbots

Dieses Kapitel handelt im ersten Schritt von der Auswahl des Frameworks und der Archi- tektur. Anschließend wird aufgezeigt, wie das Modell trainiert wird, um somit die in Kapitel 2.2 gewonnen Forschungsergebnisse umzusetzen. Darauffolgend wird die Evaluierungs- phase sowie deren Ergebnis vorgesellt.

3.1 Technische Spezifikiationen

Zu Beginn der Entwicklung gilt es, das passende Framework sowie die Architektur auszu- wählen. Dabei sind folgende vier Anforderungen wichtig:

• kostenlos (i)
• Open-Source (ii)
• Betriebssystem unabhängig (iii)
• Interoperabilität des Meschinelles Lernen (ML)-Modells (iv)

Die Anforderung i wird aufgestellt, um die Kostenhürde bei einer möglichen Umsetzung in einer Hochschule zu nehmen. Anforderung ii ist notwendig, da durch Chatbots perso- nenbezogene Daten automatisiert verarbeitet werden können. Artikel 5 Abs. 1 S. f der Datenschutz-Grundverordnung fordert, den „Schutz vor unbefugter oder unrechtmäßiger Verarbeitung“ [Art. 5 Abs. 1 S. f DSGVO]. Dies kann durch den Einblick in den Source Code sichergestellt werden. Die Anforderung iii trägt weitestgehend zur Vereinfachung der Ent- wicklung des Chatbots bei. Die Interoperabilität desML-Modells (iv) soll eine Abhängigkeit von einem Framework verhindern, falls dieses nicht mehr weiterentwickelt wird.

Zur Eingrenzung der Möglichkeiten wurde der Suchalgorithmus(Chatbot) AND (free) AND (opensource OR OpenSource OR open-source OR Open-Source)in den Suchmaschinen https:// duckduckgo.comundhttps:// google.comausgeführt. Ein Framework, welches alle Anforderungen i-iv abdeckt, ist jenes derRasa Technologies GmbH. Zudem bietet Rasa verschiedene Zusatzmodule an, welche die Entwicklung vereinfachen (vgl. Kapitel3.2).

3.2 Rasa-Architektur

Die Rasa-Architektur setzt sich aus verschiedenen Komponenten zusammen (siehe Abbil- dung2), die nachfolgend kurz vorgesellt werden.

Action Server: Der Action Server ermöglicht es, benutzerdefinierten Python-Code aus- zuführen [Ras21e]. Darunter fälltbspw.die Möglichkeit einen Webcrawler zu imple- mentieren, welcher eine Webseite nach Informationen durchsucht.

Agent: Der Agent ist die zentrale Schnittstelle zwischen allen Komponenten (vgl. Abbil- dung2). Er ist verantwortlich für Verarbeitung und Weiterleitung aller eintreffenden Informationen [Ras21h].

Dialog Policies: In den Dialog Policies werden Richtlinien hinterlegt, die definieren, wel- cher Schritt in einem Gespräch als nächstes ausgeführt wird [Ras21f] (vgl. Kapitel 3.2.2).

Natural Language Understanding (NLU)-Pipeline: Die Komponenten derNLU-Pipeline legen fest, wie die Benutzereingaben verarbeitet werden sollen [Ras21a] (vgl. Kapi- tel 3.2.1).

Im nachfolgenden Kapitel werden einige der eingesetzten Richtlinien und Komponenten der NLU-Pipeline erläutert. Die yml-Konfigurationsdatei zeigt der Quellcode7 im Anhang.

3.2.1 NLU-Pipeline

Den Aufbau der NLU-Pipeline zeigt die nachstehende Abbildung 3.

In Schritt eins, der Tokenisierung, wird der eingegebene Text des Benutzers segmen- tiert. Dabei gibt es verschiedene Möglichkeiten einer Segmentierung. DerWhitespace- Tokenizer bildetbspw.immer einen neuen Token, sobald er auf ein Leerzeichen trifft [Ras21a]. Im Falle dieses Projekts wird jedoch der SpacyTokenizer (vgl. Quellcode7, Z. 5) genutzt, da dieser zudem eine sprachspezifische Regelprüfung durchführen kann. Außerdem bietet er die folgenden Vorteile [Exp21b]:

POS Tagging: Das sogenannte Part-of-speech Tagging teilt die einzelnen Token weiter auf und kannbspw.sagen, ob es sich bei dem Wort um ein Nomen oder Verb han- delt (siehe Tabelle1). Mit Hilfe dieser weiteren Segmentierung kann das Modell mit einer bestimmten Wahrscheinlichkeit Vorhersagen über Wörter treffen, die ihm noch nicht bekannt sind. Beispielsweise kommt nach einer Wechselpräposition häufig ei- ne Ortsangabe. Dies kann bei der Entitätserkennung hilfreich sein.

Lemmatazation: Die Lemmatisierung kann die Wörter in ihre Ursprungsform umwandeln. Beispielsweise wird aus „einen“ „ein“ (siehe Tabelle1). Dies hat den Vorteil, dass weniger Testdaten benötigt werden.

Im zweiten Schritt erzeugen die Featurerizer numerische Merkmale der einzelnen Token, die imML-Prozess verarbeitet werden können. Im Rahmen dieses Projekts wird unter anderem derRegexFeaturizereingesetzt (vgl. Quellcode7, Z. 7). Mit Hilfe von Regex- Ausdrücken ist es somit möglich, Tokens, die ein definiertes Format aufweisen, immer

Tabelle 1: POS Tagging
Text Lemma POS TAG Dep Shape alpha stop
Ich Ich PRON PPER sb Xxx True True
suche suche VERB VVFIN ROOT xxxx True False
einen ein DET ART nk xxxx True True
Raum Raum NOUN NN oa Xxxx True False
.. PUNCT $. punct. False False

einer bestimmten Absicht zuzuordnen [Exp21b]. Ein Beispiel hierfür ist^[0-9]{5}$. Dabei handelt es sich um Zahlen, die dem Format von deutschen Postleitzahlen entsprechen. Zusätzlich wird derSpacyFeaturizereingesetzt, welcher einen Word2Vec^1 Algorithmus nutzt, um eine Vektordarstellung der Token zu erzeugen [Exp21a] (vgl. Quellcode7, Z. 6).

Die SchritteEntity ExtractionundIntent Classifierwerden in dieser Arbeit durch eine Kom- ponente, demDIETClassifier, umgesetzt (vgl. Quellcode7, Z. 15). Dual Intent Entity Trans- former (DIET) „is a multi-task architecture for intent classification and entity recognition“ [Ras21a].^2 Der DIETberechnet die Summe von Entitäts-, Masken- und Absichtsverlust (siehe Abbildung8 im Anhang). Aufgrund der geringen Anzahl der Trainingsdaten wird entsprechend der Empfehlung von Mohit [Sai20] die Berechnung des Maskenverlusts de- aktiviert.

Für die Berechnung des Absichtsverlusts wird zunächst ein Klassen-Token erstellt, der eine Repräsentation des gesamten Satzes darstellt. Dieser sollte die Absicht bereits vor- hersagen können. Für die Berechnung der Differenz wird der Klassen-Token und die tat- sächliche Absicht mit Hilfe einesEmbedding Layersin einen reelwertigen Vektor kodiert und im Anschluss ihre Ähnlichkeit überprüft [Ras20, Min. 10:45].

Für die Berechnung des Entitätsverlusts durchlaufen die einzelnen Token einen Transformer-Block und werden im Anschluss an ein Conditional Random Field überge- ben. Dort wird geprüft, mit welcher Wahrscheinlichkeit ein Token seine tatsächliche Entität vorhergesagt hat. Zusätzlich kann das Modell Abhängigkeiten zwischen Entitäten erlernen [Ras20, Min. 15:25]^3. Eine stark vereinfachte Darstellung der Tätigkeiten vonDIETzeigt die Abbildung4.

(^1) Ein Beispiel zum Word2Vec Algorithmus mit Tensorflow kann unterhttps://www.tensorflow.org/tutorials/ text/word2vecabgerufen werden. (^2) Eine interaktive Demo des DIET kann unter http://bl.ocks.org/koaning/raw/ f40ca790612a03067caca2bde81e7aaf/abgerufen werden. (^3) Die gesamte Beschreibung derDIET-Architektur ist im Umgfang dieser Arbeit nicht möglich. Für ein genaueres Verständnis werden die Videos 2-4 der Playlist von Rasa empfohlen:https://www.youtube. com/playlist?list=PL75e0qA87dlG-za8eLI6t0_Pbxafk-cxb

3.2.2 Dialog Policies

Anhand der Dialog Policies entscheidet der Chatbot, welche Aktion er als erstes ausführen soll. Darunter gibt es ähnlich wie bei derNLU-Pipeline Komponenten, die mitML oder auch regelbasiert funktionieren [Ras21f]. In diesem Projekt wird unter anderem dieMemoizati- on Policyverwendet, welche mitML arbeitet (vgl. Quellcode7, Z. 26). Diese Komponente merkt sich die Geschichten aus den Trainingsdaten und prüft im laufenden Gespräch, ob diese Geschichte bereits bekannt ist. Dabei kann diese Policy entweder eine 1,0 (Ge- schichte bekannt) oder 0,0 (Geschichte unbekannt) zurückgeben [Ras21f]. Quellcode 1 zeigt ein Beispiel sowie die Erläuterung der einzelnen Elemente einer Geschichte.

Quellcode 1 Beispiel: Geschichte

1 − story : Raumsuche # Das ist der Nameder Geschichte.
2 steps : # Nachfolgendsinddie einzelnenSchritte
aufgelistet.
3 - intent : room_challenge # Wenndie Entitätroom_challenge
erkannt wird ,
4 - action : utter_gebaeude # solldieseAktion ausgeführt
werden.
5 - intent : gebaeude_h_challenge # Auf ein "action" folgt
immer ein "intent".
6 - action : utter_gebaeude_h # Storyskönnen unendlichlang
sein.

Eine regelbasierte Policy, welche in diesem Projekt eingesetzt wird, ist dieRule Policy (vgl. Quellcode7, Z. 31). Sie wird verwendet, wenn auf eine spezifische Entität immer eine bestimmte Aktion folgen soll. Ein Beispiel mit Erklärung zeigt der Quellcode2.

Quellcode 2 Beispiel: Regel

1 − rule : Ich bin ein Bot # Das ist der Nameder Regel.
2 steps : # Nachfolgendsinddie einzelnenSchritteaufgelistet.
3 - intent : bot_challenge # Immer wenndie Fragekommt, ob mit
einem Bot gesprochenwird ,
4 - action : utter_iamabot # sollimmer diese Aktionausgeführt.

Im nachfolgenden Kapitel wird aufgezeigt, wie die Forschungsergebnisse aus Kapitel2. technisch umgesetzt werden.

3.3 Umsetzung der Forschungsergebnisse

Im vorangegangen Kapitel3.2 wurden bereits die Aspekte Geschichte, Regel, Entität und Aktion erklärt. Damit der Chatbot erkennt, um welche Entität es sich handelt, werden soge- nannte NLU-Trainingsdaten hinterlegt [Des19]. Wie diese strukturiert sind, zeigt der Quell- code3.

Quellcode 3 Beispiel: Trainingsdaten

1 − intent : bot_challenge # Der Nameder Entität
2 examples : | # HierwerdenalleBeispiele, die auf die Entität
’Bist du ein Bot ?’ schließenlassen, gesammelt.
3 - bist du ein bot?
4 - bist du ein Mensch?
5 - rede ich mit einem Menschen?
6 - rede ich mit einem Bot?
7 - schreibe ich mit einem Bot?
8 - schreibe ich mit einem Menschen?

Je nach Dialog Policy wird im Anschluss eine Aktion ausgeführt (vgl. Kapitel3.2.2). Der Quellcode4 zeigt ein Beispiel für eine solche Aktion.

Quellcode 4 Beispiel: Aktion

1 utter_iamabot :
2 - text : Ich bin ein Chatbot names Quabbel. Bei Fragen
schreibe doch gerne eine Mail an [ schubi. code@tuta. io ] (
mailto:schubi. code@tuta. io ).

Die höfliche Sprache kann mit den bereits erklärten Aktionen realisiert werden, da hier die Texte selbst geschrieben werden (vgl. Quellcode4, Z. 2). Damit diese möglichst höflich formuliert werden, kann sich der Autor der Texte an den 15 Strategien von Brown und Levinson [BL87, S. 103 ff.] orientieren. Diese zeigen auf, wie einepositive Höfflichkeit zwischen Gesprächspartner hergestellt werden kann.

• Vermeidung von Unstimmigkeiten [BL87, S. 113 ff.]
• Angabe von Gründen (oder nach diesen Fragen) [BL87, S. 128ff.]
• Optimismus [BL87, S. 126ff.]

Die Aspekte Entschuldigung und Entschädigung können mit demFallback Classifierum- gesetzt werden. Mit Hilfe dieser Komponente kann unter anderem eine Out-Of-Scope- Entität festgelegt werden [Ras21c]. Ein Beispiel für den Chatbot einer Hochschule wäre: „Ich möchte etwas zu essen bestellen“. Zusätzlich kann eine Default-Aktion festgelegt wer- den, wenn die Wahrscheinlichkeit für eine Vorhersage zu gering ist. Da der vorliegende Chatbot nur relativ wenig Trainingsdaten zur Verfügung hat, liegt sie in diesem Projekt bei 0.65 (vgl. Quellcode7, Z. 21). Das bedeutet, dass sich der Chatbot bei seiner Vorher- sage für eine Aktion mindestens zu 65% sicher sein muss, weil sonst die Default-Aktion aufgerufen wird (siehe Quellcode5).

Quellcode 5 Aktion bei geringer Zuversicht

1 utter_low_confidence :
2 - text : Tut mir Leid , da kann ich leider nocht nicht
weiterhelfen.

Die Entschädigung kann in dieser Phase des Projekts noch nicht umgesetzt werden, da hierfür die Hochschule mit eingebunden werden undbspw.eine gesonderte Rufnummer bereitstehen müsste.

Die Etikette wart der Chatbot, indem er seinen Gesprächspartner nicht unterbricht oder aufdringlich wird. Rasa bietet die Funktion an, den Nutzer aktiv auf sich aufmerksam zu machen [Ras21c]. Diese Funktionalität wird im vorliegenden Projekt allerdings nicht ge- nutzt, da dies aufdringlich wirken könnte und der Chatbot in der Testphase auf keiner Webseite eingebunden ist.

Kapitel2.2.4zeigt bereits auf, dass ein Witz in verschiedenen Personenkreisen unter- schiedlich wahrgenommen wird. Andererseits kann Humor auch dazu führen, dass ein Chatbot von den Nutzern besser angenommen wird (vgl. Kapitel2.2.4). In diesem Projekt wird der Humor nur in einem begrenzten Maß und nicht wertend eingesetzt. Ein Beispiel hierfür zeigt die Abbildung5.

Quellcode 6 Beispiel: Slot

1 slots : # Initialisierungder Slots.
2 Studiengang : # Der Namedes Slots.
3 type : rasa. shared. core. slots. TextSlot # Der Typ des Slots(
Text , Bool...).
4 initial_value : null # Initlialer Wertdes Slots.
5 auto_fill : true # Der Slotwird automatischbefüllt.
6 influence_conversation : true # Nachinitialer Befüllung
wird die nächsteActionbeeinflust.

Damit sich der Chatbot möglichst viel über die Nutzer merkt, werden die nachfolgenden Slots implementiert:

• Name

• Studiengang

• Matrikelnummer

• E-Mail

Nach der technischen Umsetzung der erhobenen Forschungsergebnisse, wird im nachfol- genden Kapitel die Frage geklärt, ob dies zu einer Akzeptanzsteigerung bei den Nutzern führt.

4 Evaluierung

In diesem Kapitel wird geprüft, ob die Umsetzung der kommunikationspsychologischen Forschungsergebnisse tatsächlich zu einer Akzeptanzsteigerung von Chatbots führt. Dafür wird zu Beginn die Vorbereitung der Chatbots erläutert und im Anschluss der Aufbau der Umfrage beschrieben. Abschließend wird das Ergebnis der Umfrage präsentiert.

4.1 Vorbereitung der Chatbots

Damit überprüft werden kann, ob eine Akzeptanzsteigerung durch die Umsetzung der Aspekte aus Kapitel2.2 stattfindet, werden zwei gegensätzliche Chatbots programmiert. Die Eigenschaften dieser zeigt die nachfolgende Tabelle2.

Tabelle 2: Die zwei Chatbots
Nr. Name Eigentschaften
1 Chatti • unhöflich

• keine Entschuldigung
• keine Etikette
• kein Humor
• keine Erinnerung 2 Quabbel • höflich
• entschuldigt sich
• wahrt Etikette
• humorvoll
• erinnert sich

Wie der Tabelle zu entnehmen ist, wurden bei Quabbel die Forschungsergebnisse umge- setzt und bei Chatti hingegen nicht.

4.2 Gestaltung der Umfrage

Die Umfrage ist Teil eines Vortrags zur Gesamtthematik dieser Arbeit. Zu Beginn die- ser Präsentation werden die technischen Aspekte von Chatbots, ähnlich wie in Kapitel 3, vorgestellt. Im Anschluss daran haben die Teilnehmer, eine Gelegenheitsstichprobe be- stehend aus 12 Studierenden der FOM Hochschule, die Möglichkeit, beiden Chatbots Fra- gen zu stellen [DB16, S. 305 f.]. Zu diesem Zeitpunkt haben sie jedoch keine Informationen darüber, wie sie sich unterscheiden. Nach dieser Fragerunde werden den Versuchsperso- nen zwei Fragen gestellt.

1. Welchen Chatbots fandet Ihr besser?
2. Warum fandet Ihr diesen besser?

Erst im Anschluss daran werden die Unterschiede zwischen den beiden Chatbots vor- gestellt (vgl. Kapitel4.1). Im nachfolgenden Kapitel werden die Ergebnisse der Umfrage dargelegt.

4.3 Ergebnis der Umfrage

Die Teilnehmer stimmten in einem Auswahlverfahren geschlossen ab, dass Quabbel der bessere Chatbot ist. Die Wordcloud in Abbildung6 zeigt die zugehörigen Begründungen der Nutzer.

Besonders positiv wird der Humor von Quabbel aufgenommen, welcher ihn menschlicher wirken lässt. Zudem haben die höfliche Sprache, Entschuldigungen, die Etikette sowie das Erinnerungsvermögen dieses Chatbots eine professionelle und seriöse Wahrnehmung bei den Anwendern zur Folge. Dies lässt darauf schließen, dass die Umsetzung der kommu- nikationspsychologischen Forschungsergebnisse zu einer Akzeptanzsteigerung führt.

5 Fazit und Ausblick

Die Evaluierung in Kapitel4 zeigt auf, dass eine Umsetzung von aktuellen kommunikati- onspsychologischen Forschungsergebnissen zu einer Akzeptanzsteigerung von Chatbots führen kann. Dabei ist jedoch die Art der Umsetzung zu beachten, da andernfalls Gegen- teiliges bewirkt werden kann (vgl. Kapitel2.2.4).

5.1 Zusammenfassung

Aktuell hat die FOM Hochschule keinen Chatbot im Einsatz (vgl. Kapitel1.1). Zudem be- zieht sich ein Großteil der Forschung auf Chatbots, welche auch per Sprache mit dem Nutzer interagieren. Deshalb wurden mit Hilfe der Literaturarbeit Forschungsergebnisse gesammelt, die sich unter anderem auf einen textuellen Austausch zwischen dem Nut- zer und dem Chatbot beziehen (vgl. Kapitel2.2). Für die technische Umsetzung wird das Rasa-Framework genutzt, da es alle Anforderungen abdeckt (vgl. Kapitel3). Um das Mo- dell zu trainieren, werden verschiedene Komponenten eingesetzt, die entweder mitML oder regelbasiert arbeiten (vgl. Kapitell3.2.1und 3.2.2). Die technische Umsetzung der gewonnenen Forschungsergebnisse erfolgt durch die Manipulation derNLU-Daten und der Implementierung von Rasa-Funktionen, wiebspw.das Speichern von Variablen mit Hilfe von Slots (vgl. Kapitel3.3). Die Umfrage zur Evaluierung der beiden Chatbots er- folgt mit Hilfe einer vollstrukturierten schriftlichen Befragung von 12 Nutzern, die zwischen zwei Chatbots wählen sollen. Bei einem von beiden (Quabbel) wurden die Forschungs- ergebnisse umgesetzt (vgl. Kapitel4). Die Auswertung ergibt, dass alle Nutzer Quabbel bevorzugen. Deshalb kann festgehalten werden, dass die Umsetzung kommunikations- psychologischer Forschungsergebnisse zur einer Akzeptanzsteigerung bei Nutzern führt.

5.2 Kritische Betrachtung

Aufgrund der Anforderungen an diese Arbeit können nicht alle möglichen Forschungs- ergebnisse betrachtet werden. Aus dem gleichen Grund war es nicht möglich, auf alle Komponenten der NLU-Pipeline gleichermaßen einzugehen. Wie bereits zuvor erwähnt, verfügen die Chatbots nur über eine geringe Anzahl an Trainingsdaten, da es lediglich ei- nen Entwickler für die Erstellung dieser sowie die gesamte Programmierung des Chatbots gab. Zudem ist die Gelegenheitsstichprobe mit 12 Personen relativ klein und aus diesem Grund nicht repräsentativ. Des Weiteren handelt es sich um keine experimentelle Unter- suchung, weshalb keine Kausalität geschlussfolgert werden kann.

5.3 Mehrwert für Praxis und Wissenschaft

Ein Mehrwert für die Wissenschaft entsteht durch die Adaption von kommunikationspsy- chologischen Forschungsergebnissen auf den Human to Machine (H2M)-Bereich. Den positiven Effekt davon zeigt das Kapitel4.3 auf.

Der Mehrwert für die Praxis entsteht durch das entwickelte Modell (vgl. Kapitel 3.3). Es steht mit einer Apache License 2.0 frei zugänglich unterhttps://gitlab.com/schubilab/ quabbel_publiczur Verfügung. Dies bedeutet, dass das Modell entweder durch die FOM selbst oder einer anderen Hochschulinstitution adaptiert und weiterentwickelt werden kann.

5.4 Ausblick

Künftige Forschungsarbeiten sollten die untersuchten Sachzusammenhänge in wissen- schaftlichen Studien detaillierter betrachten. In einem ersten Schritt gilt es, die Anzahl der Umfrageteilnehmer zu erhöhen, um die Repräsentativität zu verbessern. Zudem sollte die Evaluierung im Rahmen eines Experiments umgesetzt werden, welches mit einer Kon- trollgruppe arbeitet. Im Anschluss daran, könnten in einer ausführlicheren Forschungs- arbeit zusätzliche kommunikationspsychologische Forschungsergebnisse betrachtet, auf die H2M-Kommunikation adaptiert und bezüglich einer Akzeptanzsteigerung bei Chatbots geprüft werden.

Literaturverzeichnis

[BL87] Penelope Brown und Stephan C. Levinson.Politeness: Some Universals in Language Usage (Studies in Interactional Sociolinguistics 4). 4. Aufl. Cam- bridge: Cambridge University, 1987, S. 345.

[DB16] Nicola Döring und Jürgen Bortz.Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer-Lehrbuch. Berlin, Heidelberg: Springer Berlin Heidelberg, 2016, S. 1051.ISBN: 978-3-642-41088-8.DOI: 10. 1007/978-3-642-41089-5.URL: http://link.springer.com/10.1007/978-3-642- 41089-5.

[FG21] Bruce Ferwerda und Mark Graus. Pssychological Models for Personalized Human-Computer Interaction (HCI). Hrsg. von Bruce Ferwerda, Marko Tkal- cic und Li Chen. Frontiers Research Topics. Frontiers Media SA, 2021.ISBN: 9782889668366.DOI: 10.3389/978-2-88966-836-6. arXiv:1808.07314.URL: http://arxiv.org/abs/1808.07314%20https://www.frontiersin.org/research- topics / 11465 / psychological - models - for - personalized - human - computer - interaction-hci.

[Lee+10] Min Kyung Lee u. a. „Gracefully mitigating breakdowns in robotic services“. In: 5th ACM/IEEE Int. Conf. Human-Robot Interact. HRI 2010. 2010, S. 203–210. ISBN: 9781424448937.DOI: 10.1145/1734454.1734544.

[NB19] Andreea I Niculescu und Rafael E Banchs. „Humor Intelligence for Virtu- al Agents“. In:Lect. Notes Electr. Eng. Bd. 579. 2019, S. 285–297.ISBN: 9789811394423.DOI: 10.1007/978-981-13-9443-0_25.URL: http://link. springer.com/10.1007/978-981-13-9443-0%7B%5C_%7D25.

[PM04] Raja Parasuraman und Christopher A Miller. „Trust and etiquette in high- criticality automated systems“. In:Commun. ACM47.4 (2004), S. 51–55.ISSN: 00010782.DOI: 10.1145/975817.975844.

[RRS17] Bhavika R. Ranoliya, Nidhi Raghuwanshi und Sanjay Singh. „Chatbot for uni- versity related FAQs“. In:2017 Int. Conf. Adv. Comput. Commun. Informatics, ICACCI 2017. Bd. 01. Institute of Electrical und Electronics Engineers Inc., Nov. 2017, S. 1525–1530.ISBN: 9781509063673.DOI: 10.1109/ICACCI.2017. 8126057.

[RB14] Deborah Richards und Karla Bransky. „ForgetMeNot: What and how users expect intelligent virtual agents to recall and forget personal conversational content“. In:Int. J. Hum. Comput. Stud.72.5 (Mai 2014), S. 460–476.ISSN: 10715819.DOI: 10.1016/j.ijhcs.2014.01.005.URL: http://dx.doi.org/10. 1016/j.ijhcs.2014.01.005%20https://linkinghub.elsevier.com/retrieve/pii/ S1071581914000147.

[RS12] Jessica Röhner und Astrid Schütz.Psychologie der Kommunikation. Wiesba- den: Springer Fachmedien Wiesbaden, 2012.ISBN: 978-3-531-16707-7.DOI: 10.1007/978-3-531-18891-1.URL: http://link.springer.com/10.1007/978-3-531- 18891-1.

[SCS14] Megan Strait, Cody Canning und Matthias Scheutz. „Investigating the effects of robot communication strategies in advice-giving situations based on robot ap- pearance, interaction modality and distance“. In:ACM/IEEE Int. Conf. Human- Robot Interact.March. New York, NY, USA: ACM, 2014, S. 479–486.ISBN: 9781450326582.DOI: 10.1145/2559636.2559670.URL: https://dl.acm.org/doi/ 10.1145/2559636.2559670.

[Suh20] Frauke Suhr.Jedes vierte Unternehmen nutzt Chatbots. Techn. Ber. Statista GmbH, Nov. 2020.URL: https://de.statista.com/infografik/23494/umfrage-zu- chatbots-bei-unternehmen-in-deutschland/.

[Tay+16] Benedict T.C. Tay u. a. „Types of humor that robots can play“. In:Comput. Hu- man Behav.60 (Juli 2016), S. 19–28.ISSN: 07475632.DOI: 10.1016/j.chb. 2016.01.042.URL: http://dx.doi.org/10.1016/j.chb.2016.01.042%20https: //linkinghub.elsevier.com/retrieve/pii/S0747563216300516.

[VPL20] Michelle M.E. Van Pinxteren, Mark Pluymaekers und Jos G.A.M. Lemmink. „Human-like communication in conversational agents: a literature review and research agenda“. In:J. Serv. Manag.31.2 (Juni 2020), S. 203–225.ISSN: 1757-5818.DOI: 10.1108/JOSM-06-2019-0175.URL: https://www.emerald. com/insight/1757-5818.htm%20https://www.emerald.com/insight/content/doi/ 10.1108/JOSM-06-2019-0175/full/html.

[WW02] Jane Webster und Richard T Watson. „Analyzing the Past to Prepare for the Future: Writing a Literature Review.“ In:MIS Q.26.2 (2002), S. xiii–xxiii.

Internetquellen

[Des19] Shubham Deshmukh.Essence of RASA NLU. 2019.URL: https://medium. com / analytics - vidhya / essence - of - rasa - nlu - 899629a83a89(besucht am 08.06. 2021).

[Exp21a] ExplosionAI GmbH.Linguistic Features · spaCy Usage Documentation. 2021. URL: https://spacy.io/usage/linguistic-features(besucht am 07. 08. 2021).

[Exp21b] ExplosionAI GmbH. Models & Languages · spaCy Usage Documentation. 2021.URL: https://spacy.io/usage/models(besucht am 07. 08. 2021).

[Ras21a] Rasa Technologies GmbH.Components. 2021.URL: https://rasa.com/docs/ rasa/components/(besucht am 07. 08. 2021).

[Ras21b] Rasa Technologies GmbH.Domain. 2021.URL: https://rasa.com/docs/rasa/ domain/%7B%5C#%7Dslots(besucht am 08. 08. 2021).

[Ras21c] Rasa Technologies GmbH.Fallback and Human Handoff. 2021.URL: https: //rasa.com/docs/rasa/fallback-handoff%7B%5C#%7Dfallbacks(besucht am 08.08. 2021).

[Ras21d] Rasa Technologies GmbH.Installation. 2021.URL: https://rasa.com/docs/rasa/ installation(besucht am 07. 08. 2021).

[Ras21e] Rasa Technologies GmbH.Introduction to Rasa Action Servers. 2021.URL: https://rasa.com/docs/action-server(besucht am 07. 08. 2021).

[Ras21f] Rasa Technologies GmbH.Policies. 2021.URL: https://rasa.com/docs/rasa/ policies/(besucht am 07. 08. 2021).

[Ras20] Rasa Technologies GmbH.Rasa Algorithm Whiteboard - Diet Architecture 1: How it Works. 2020.URL: https://www.youtube.com/watch?v=vWStcJDuOUk% 7B%5C&%7Dab%7B%5C_%7Dchannel=Rasa(besucht am 08.08. 2021).

[Ras21g] Rasa Technologies GmbH.Rasa Architecture Overview. 2021.URL: https:// rasa.com/docs/rasa/arch-overview(besucht am 07. 08. 2021).

[Ras21h] Rasa Technologies GmbH.rasa.core.agent. 2021.URL: https://rasa.com/docs/ rasa/reference/rasa/core/agent%7B%5C#%7Dagent-objects(besucht am 07.08. 2021).

[Sai20] Mohit Saini.Using the DIET classifier for intent classification in dialogue. Juli 2020.URL: https://medium.com/the-research-nest/using-the-diet-classifier-for- intent-classification-in-dialogue-489c76e62804(besucht am 07.08. 2021).

Anhang

Quellcode 7 Rasa config.yml

1 language : "de " # yourtwo -letterlanguagecode
2
3 ## Informationen zu den einzelnenPipeline-Komponenten
4 ## gibtes hier : https:// rasa .com /docs /rasa /components
5 pipeline :
6 − name : SpacyNLP
7 − name : SpacyTokenizer
8 − name : SpacyFeaturizer
9 − name : RegexFeaturizer
10 − name : LexicalSyntacticFeaturizer
11 − name : CountVectorsFeaturizer
12 analyzer : "char_wb"
13 min_ngram : 1
14 max_ngram : 4
15 − name : DIETClassifier
16 epochs : 100
17 − name : EntitySynonymMapper
18 − name : ResponseSelector
19 epochs : 100
20 − name : FallbackClassifier
21 threshold : 0.65
22
23 policies :
24 ## Informationen zu den einzelnenPolicies
25 ## gibtes hier : https:// rasa .com /docs /rasa /policies
26 − name : MemoizationPolicy
27 − name : TEDPolicy
28 max_history : 5
29 epochs : 100
30 constrain_similarities : true
31 − name : RulePolicy