Teil 1: Feedback 2.0
KI im Eventmanagement
Der humanoide Roboter „Myon“ erkundet die Messe Berlin: Das Forschungsprojekt aus dem Neurorobotics Research Laboratory (NRL) der Berliner Hochschule für Technik besitzt am „Körper“ mehrere neuronale Netze, die einem biologischen Nervensystem nachempfunden sind – und den Roboter durch maschinelles Lernen auf seine Umwelt reagieren lassen können. Foto: Messe Berlin
Der humanoide Roboter „Myon“ erkundet die Messe Berlin: Das Forschungsprojekt aus dem Neurorobotics Research Laboratory (NRL) der Berliner Hochschule für Technik besitzt am „Körper“ mehrere neuronale Netze, die einem biologischen Nervensystem nachempfunden sind – und den Roboter durch maschinelles Lernen auf seine Umwelt reagieren lassen können. Foto: Messe Berlin
Im Eventmanagement ist das Einholen von Feedback längst mehr als nur eine lästige Pflicht. Klassische Umfragen sind dabei nach wie vor die bewährte Evaluierungsmethode in der Veranstaltungsnachbereitung. Mit Unterstützung von künstlicher Intelligenz (KI) lässt sich heute mit ihnen nicht mehr nur erfahren, was, sondern auch wie die Teilnehmer:innen denken.
Die fast übliche Einladung zu einer Feedback-Umfrage, die nach einer Konferenz im Mail-Postfach landet – und getrost ignoriert wird. Oder die nach einem Klick auf den Link mit langwierigen Fragen, endlosen Optionen und Textfeldern die Geduld auf die Probe stellt und irgendwann doch wieder geschlossen wird: Mit schlechtem Umfragen-Design und hoher Abbruchquote verspielen Veranstalter:innen ihre wertvolle Chance, systematisch und strukturiert Rückmeldungen zu sammeln. Und damit auf eine verlässliche Grundlage, zu beurteilen, ob und wie ihre quantitativen oder qualitativen Ziele erreicht worden sind. Denn Feedback ist nicht weniger als das Rückgrat einer (zukünftig) erfolgreichen Veranstaltung. Es liefert Antworten darauf, welche ihrer Elemente gut funktionier(t)en und wo das Verbesserungspotenzial liegt: Es gibt Aufschluss darüber, wie relevant Inhalte und wie kompetent Speaker waren, ob das Catering und die Networking-Möglichkeiten überzeugten, wo Wartezeiten oder technische Probleme gestört haben und welche Erwartungen oder Bedürfnisse der Teilnehmenden erfüllt worden sind – und welche nicht. Darüber hinaus erhöhen positive Bewertungen die Attraktivität nachfolgender Events und stärken die Reputation der Eventprofessionals, während negatives Feedback immer wieder Lernprozesse anstoßen oder aber auch neue Trends erkennen lassen kann.
Beim initialen ebx.lab-Präsenztreffen im Oktober 2023 ging es darum, wie der Einsatz von KI-Tools und -Technologien Prozesse neugestaltet – und damit die nächste Generation von Business Events einläutet. Foto: GCB German Convention Bureau e.V.
Dass dabei die Evaluation und strategische Planung meist noch mittels simpler Teilnehmerumfragen und basierend auf intuitiven Performance-Indikatoren durchgeführt werden, stellen die Arbeitsgruppen beim ersten ebx.lab-Präsenzmeeting 2023 als einen der Pain Points in ihren Organisationen fest. Die Vertreter:innen aus Convention Bureaus, DMOs, Hotel- und Messegesellschaften, Anbieter:innen von Plattform für hybride und digitale Veranstaltungen, aber auch von der Deutschen Bahn oder der Telekom sind der Einladung des GCB German Convention Bureau e.V. gefolgt, um sich im Rahmen der „strategischen Innovationswerkstatt für neue Events, Brands und Experiences“ über Prozessinnovationen mithilfe von künstlicher Intelligenz auszutauschen.
Advertisement
Advertisement
Von der Datenanalyse zu echten Insights
Als essenzielle Möglichkeit, wertvolle Daten von Teilnehmenden ihrer Veranstaltungen zu sammeln, treffen bewährte Tools wie Google Forms, Jotform oder Formstack auf die Herausforderung, dass die – je nach Veranstaltungsgröße und Anzahl der abgefragten Parameter – großen Datenmengen für menschliche Analyst:innen nur schwer zu beherrschen sind, ist sich die ebx.lab-Community einig. Muster und Zusammenhänge lassen sich somit oft nur aufwendig identifizieren. Hier kämen in Zukunft neue Algorithmen und umfangreiche Datenmodelle ins Spiel: Sie können dabei unterstützen, relevante Informationen aus einer Vielzahl von unstrukturierten Datenquellen zu extrahieren und dabei über tiefgehende Einblicke in die Präferenzen und Meinungen der Veranstaltungsteilnehmer:innen aussagekräftige Erkenntnisse zu erhalten.
Künstliche Intelligenz (KI)
„Künstliche Intelligenz“ ist ein Oberbegriff für Maschinen oder Computersysteme, die menschenähnliche Intelligenz aufweisen. Für das Erkennen und Verarbeiten von Sprache, das Lösen von Problemen, das Treffen von Entscheidungen und das Lernen aus Erfahrungen sind verschiedene Teilgebiete verantwortlich:
Machine Learning (ML)
Machine Learning konzentriert sich darauf, Algorithmen und statistische Modelle zu entwickeln, ohne explizit für jede Aufgabe programmiert werden zu müssen. Stattdessen „lernt“ ein solches Modell autonom durch die Analyse großer Datenmengen, um daraus Muster und Gesetzmäßigkeiten zu erkennen. Diese können maschinelle Lernsysteme wieder auf neue, unbekannte Daten anwenden. Typische Anwendungen sind E-Mail-Spam-Erkennung, Gesichtserkennung oder Empfehlungssysteme. Deep Learning (DL) Deep Learning ist eine spezielle Unterkategorie und fortgeschrittene Form von ML. Es basiert auf künstlichen neuronalen Netzwerken, die dem Nervensystem des menschlichen Gehirns nachempfunden sind und wiederum aus mehreren Schichten von Neuronen bestehen. Abhängig von den eingegangenen Informationen werden Verbindungen zwischen diesen Neuronen geknüpft. Das selbstgesteuerte maschinelle Lernen ist insbesondere effektiv bei der Verarbeitung unstrukturierter Daten wie Bilder und Texte. Typische Anwendungen umfassen Bilderkennung, die medizinische Diagnostik oder Schachspielcomputer. Natural Language Processing (NLP) Das Ziel natürlicher Sprachverarbeitung ist es, Computern auf Basis von Deep Learning zu ermöglichen, menschliche Sprache zu verstehen, zu interpretieren und sinnvoll zu erzeugen. Typische Anwendungen sind Chatbots, Sprachassistenten auf Smartphones oder maschinelle Übersetzungstools.
Frei nach John McCarthy, der bereits im Jahr 1955 den Begriff „künstliche Intelligenz“ in einem Förderantrag für die Dartmouth Conference – die erste Konferenz über künstliche Intelligenz – geprägt hat: „Sobald es funktioniert, nennt es niemand mehr KI“, sind KI-gestützte Umfragetools allerdings auch schon heute in der Lage, durch maschinelles Lernen und fortschrittliche Algorithmen eine datengetriebene Entscheidungsfindung für die Entwicklung zukünftiger Strategien sowie eine fundierte Bewertung des Erfolgs vergangener Events zu unterstützen. Mehr noch lässt sich mit ihnen dieser Prozess wesentlich beschleunigen: Während einer Veranstaltung eingesetzt, ermöglichen sie Veranstalter:innen und Planenden die sofortige Umsetzung von Verbesserungen. Darüber hinaus können Umfragen interaktiver und ansprechender gestaltet werden als traditionelle Fragebögen. So können sie z. B. Sprach- oder Chatbot-Interfaces verwenden, die das Beantworten von Umfragen für die Event-Teilnehmer:innen personalisieren und damit die Rücklaufquote erhöhen. Als gamifiziertes Element wie beispielsweise als Wissensumfragen nach Vorbild von AhaSlides oder TEDME integriert, lässt sich mit ihnen testen, wie gut vermittelte Inhalte in Workshops verstanden worden sind. Ebenso wichtig ist die Fähigkeit von KI-Systemen, durch maschinelles Lernen historische Daten zu analysieren und mit der Anwendung auf wieder neue Daten Vorhersagen darüber treffen, wie zukünftige Veranstaltungen verlaufen könnten. Werden potenzielle Probleme bereits im Voraus adressiert, ermöglicht dies eine völlig proaktive Eventplanung. So kann künstliche Intelligenz selbst schon beim Erstellen einer Umfrage und der Formulierung klarer, präziser Fragen an das Publikum behilflich sein. Der Fillout AI Survey Maker beispielsweise generiert eine beliebig anpassbare Umfrage auf Grundlage eines Eingabe-Prompts, der möglichst ausführlich und exakt das Ziel, die abzufragenden Parameter und den allgemeinen Eventkontext wie Anlass oder Format beschreibt. Ein ähnliches Verfahren hat kürzlich SurveyMonkey Genius mit seinem „Mit KI erstellen“-Tool integriert. Dieses Tool basiert auf OpenAI-Technologie und nutzt maschinelles Lernen für eine automatische Textanalyse. Damit soll gewährleistet werden, dass aussagekräftigere Antworten mögliche Verzerrungen minimiert. Ein weiteres prominentes Beispiel solch einer benutzerfreundlichen Implementierung ist das „Create with AI“-Tool des SaaS-Unternehmens Typeform, das für seine optisch ansprechenden, interaktiven Formulare bekannt ist, die bei Eingabe der Unternehmens-Website automatisch mit Logo sowie Unternehmensfarben und -informationen gebranded werden können. Typeform ermöglicht es, durch die geschickte Anordnung von Fragen und Antwortmöglichkeiten eine Konversation zu simulieren, die an einen Chatbot erinnert. Hier geht der Survey Creator von SurveySparrow sogar noch einen Schritt weiter und kombiniert die Verarbeitung natürlicher Sprache (NLP) mit Echtzeit-Reaktionen für völlig konversationsbasierte Umfragen.
Feedback im Dialog
Diese Idee beschäftigt seit letztem Jahr auch ein Heidelberger Start-up-Unternehmen: „Wenn Sie verstehen wollen, was die Teilnehmer bei einer Veranstaltung wirklich wollen, dann müssen Sie mit den Leuten sprechen. Und dann müssen Sie auch bei dem zuhören, was die Leute Ihnen zu sagen haben. Das können traditionelle Fragebögen nicht. Und deswegen lassen wir die Menschen möglichst frei sprechen“, erklärt dessen CEO und Co-Founder Dr. Oliver Völkel. Zusammen mit seinem Mitgründer Dr. Tobias Moldenhauer vertritt er die Meinung, dass vordefinierte Antwortmöglichkeiten wie Multiple Choice den wahren Kern der Meinungen von Veranstaltungsteilnehmer:innen oft nicht genau treffen. Und dadurch wertvolle Erkenntnisse verloren gehen können.
Foto: sci-an GmbH
Sci-an, Scientific Crowd Analysis, nennt sich das Projekt der beiden promovierten Astrophysiker, das auf offene Fragestellungen und freie Antwortmöglichkeiten setzt und dafür bislang gleich zwei Tools zur Verfügung stellt: das Voice-Survey-Tool und den Chatbot Survey. Das „Ausfüllen“ der Fragebögen erinnert an einen WhatsApp-Chat, in dem man per Sprachnachricht oder Texteingabe auf eine Nachricht antwortet – nur, dass die Empfängerin in diesem Fall nicht über menschliche Neuronen verfügt. Die Antworten der Befragten werden mittels einer Datenpipeline strukturiert und in mehreren Sprachen ausgewertet: „Hier kommt neben einzelnen KI-Modulen zur Sprach- und Textverarbeitung auch viel klassische Statistik zum Einsatz. Damit kann man auch quantifizierbare Aussagen aus offenen Antworten treffen und diese auch mit anderen geschlossenen Antworten verbinden“, erklärt Moldenhauer. So ermöglichen es diese KI-Tools ebenfalls, den emotionalen Ton einer Antwort zu bestimmen und auf diese Weise subtile Nuancen im Sentiment zu erfassen. Beispielsweise kann das Wort „spannend“ sowohl positiv (im Sinne von „interessant“) als auch negativ (im Sinne von „angespannt“) verstanden werden. Ähnlich wie bei ihren Konkurrenztools Survicate oder Zigpoll kann die KI solche Feinheiten erkennen, entsprechend interpretieren und so die Stimmung der Teilnehmenden – also wie positiv, neutral oder negativ sie über verschiedene Aspekte der Veranstaltung denken – überwacht und in Echtzeit an die Veranstalter:innen oder Planenden zurückgemeldet werden. Für Völkel und Moldenhauer liegt damit die Zukunft – oder vielmehr die Gegenwart – der Feedbackerhebung in einer stärkeren Personalisierung sowie in der Berücksichtigung der natürlichen Ausdrucksweisen der Menschen. Aber auch bei der komplexen Datenauswertung mit Erstellung von Handlungsempfehlungen steht sci-an seiner berühmten Konkurrenz der KI-Umfrage-Tools von Qualtrics oder Formstack in nichts nach: Die künstliche Intelligenz findet über die Sentiment-Bewertung hinaus selbstständig versteckte Muster und Trends, analysiert die durchschnittliche Antwortzeit, die Anzahl der Gesprächswörter und stellt diese in einem übersichtlichen Dashboard dar. Daraus entwickelt sie mithilfe einer SWOT-Analyse kurz-, mittel- sowie langfristig umsetzbare Ratschläge zur verbesserten Wirkung des Events.
Wichtig ist dabei den beiden Entwicklern, „den Ablauf für alle Beteiligten so einfach wie möglich zu gestalten“, merkt Völkel an: „Keine App, kein Download.“ Die Anwender:innen von sci-an brauchen nur aus dem Umfragetyp „Sprache/Text“ oder „Chatbot“ auszuwählen, können die zu stellenden Fragen aus einer Vorlage spezifisch anpassen und im Falle des Chatbots mit drei Klicks eine „Persönlichkeit“ festlegen. Mit dem Teilen des Umfragelinks übernimmt die Co-Pilotin KI das Steuer. So ist „der Assistent darauf trainiert, bei oberflächlichen Antworten noch mal nachzuhaken und Stück für Stück die Erfahrung der Teilnehmenden zu erfragen“, sagt der Heidelberger weiter: „Die Teams vor Ort müssen sich um nichts mehr kümmern“ – außer eventuell dynamisch auf die Echtzeit-Antworten zu reagieren. Statt einer langweiligen und langen Liste von Fragen können Umfragen mit KI-Unterstützung also zu einer interaktiven Erfahrung beitragen, die das Gefühl gibt, dass die Meinung wirklich zählt. Da der ebx.lab-Community zufolge es oft noch an „Strategie bzw. Leitlinien für den Umgang mit KI in den Organisationen in der deutschsprachigen Business Events-Landschaft“ fehle, empfiehlt sie für den Anfang die Zusammenarbeit und gegenseitige Inspiration mit anderen Akteuren aus der Industrie oder über Branchengrenzen hinaus – und betont dabei die besondere Bedeutung von Partnern aus den Bereichen Technologie, Wissenschaft und Start-ups. Die Zukunft steht in den Startlöchern.
Grafik: tw tagungswirtschaft