ChatGPT in der Analyse von Finanztexten
Ein Team von der Queen’s University und J.P. Morgan AI Research hat in einem kurzen Research Paper das Potenzial des Einsatzes von ChatGPT und GPT-4 im Finanzwesen untersucht und mit anderen, auf das Finanzwesen spezialisierten Modellen wie FinBert verglichen. Die Autoren nutzen fünf Datensets, darunter FinQA und NER, für vier Aufgabentypen: numerisches Reasoning, Named Entity Recognition, Fragebeantwortung und Sentimentanalyse.
Das FinQA Dataset besteht aus 8281 Frage-Antworten-Paaren, bei der die KI Informationen aus Tabellen und unstrukturierten texten extrahieren muss. Zur Beantwortung müssen klassische Analyseaufgaben einschließlich Rechnungen, Vergleiche und Tabellenaggregierungen durchgeführt werden. Es zeigt sich, dass GPT-4 hier hervorragende Leistung erbring und eine bessere Performance als speziell vortrainierte Modelle erzielt. ChatGPT dagegen erzielt teilweise vergleichbare Leistung wie andere Modelle, jedoch ergaben sich einige Fehler bei Standardaufgaben, etwa Additionen, und Probleme beim Verständnis von Zusammenhängen – was bei GPT-4 nicht der Fall war. Nichtsdestotrotz sind menschliche Experten allen KIs nach wie vor überlegen.
Quelle: Li, Zhu, Ma, Liu, Shah, 2023
Bei der Klassifizierung von News-Überschriften erzielte GPT-4 die beste Performance, während ChatGPT im Mittelfeld der Modelle lag. ChatGPT und GPT-4 erzielen bei der Sentimentanalyse im Vergleich mit den meisten anderen Modellen überdurchschnittlich gute Ergebnisse, reichen aber nicht an die Performance des spezialisierten FinBert, das bei allen Teilaspekten vor den beiden GPTs lag. Auch bei der Named Entity Recognition zeigen sich Grenzen der GPTs im Vergleich zu Ansätzen, die mit Daten aus dem entsprechenden Fachbereich trainiert sind.
Die Grenzen von ChatGPT und GPT-4 werden deutlich, wenn es um fachspezifisches Wissen und Terminologie geht. Obwohl sie bei allgemeinen NLP-Aufgaben gut abschneiden, ist ihre Effektivität im Finanzbereich nicht mit Modellen wie FinBert und FinQA vergleichbar, die speziell auf Finanzaufgaben abgestimmt sind.
Absolut|alternative bietet institutionellen Investoren einen einzigartigen Zugang zu liquiden alternativen Anlagestrategien, darunter Themen wie Smart-Beta- und Factor-Investing, Digital Assets, Quantitative Strategien, Künstliche Intelligenz und Sektorinvestments.
