Sign in

Effizientes Sprachmodelltraining durch sprachübergreifendes und progressives Transferlernen

By Malte Ostendorff and Georg Rehm
Die meisten Transformer-Sprachmodelle sind hauptsächlich auf englischen Text vortrainiert, was ihre Verwendung für andere Sprachen einschränkt. Mit zunehmender Modellgröße nimmt die Leistungslücke zwischen Englisch und anderen Sprachen mit weniger Rechen- und Datenressourcen noch weiter zu. Folglich sind ressourceneffizientere Trainingsmethoden erforderlich, um die Lücke für Sprachen mit weniger verfügbaren Ressourcen zu... Show more
January 23, 2023
=
0
Loading PDF…
Loading full text...
Similar articles
Loading recommendations...
=
0
x1
Efficient Language Model Training through Cross-Lingual and Progressive Transfer Learning
Click on play to start listening