Sign in

Abschwächung von Verknüpfungen in Sprachmodellen mit Soft-Label-Codierung

By Zirui He and others
Neuere Forschungen haben gezeigt, dass große Sprachmodelle für NLU-Aufgaben (Natural Language Understanding) auf falschen Korrelationen in den Daten beruhen. In dieser Arbeit wollen wir die folgende Forschungsfrage beantworten: Können wir falsche Korrelationen reduzieren, indem wir die Ground-Truth-Labels der Trainingsdaten modifizieren? Insbesondere schlagen wir ein einfaches, aber effektives Debiasing-Framework namens Soft... Show more
September 17, 2023
=
0
Loading PDF…
Loading full text...
Similar articles
Loading recommendations...
=
0
x1
Mitigating Shortcuts in Language Models with Soft Label Encoding
Click on play to start listening