Sign in

WaLDORf: Verschwendungsfreie Sprachmodelldestillation zum Leseverständnis

By James Tian and others
Transformer-basierte Very Large Language Models (VLLMs) wie BERT, XLNet und RoBERTa haben kürzlich eine enorme Leistung bei einer Vielzahl von NLU-Aufgaben (Natural Language Understanding) gezeigt. Aufgrund ihrer Größe sind diese VLLMs jedoch extrem ressourcenintensiv und umständlich zur Produktionszeit bereitzustellen. In mehreren neueren Veröffentlichungen wurden verschiedene Möglichkeiten untersucht, um Wissen aus... Show more
February 18, 2020
=
0
Loading PDF…
Loading full text...
Similar articles
Loading recommendations...
=
0
x1
WaLDORf: Wasteless Language-model Distillation On Reading-comprehension
Click on play to start listening