• Большая часть потерь появляется, когда достоверность BERT низка для проблемных образцов.
Почему бы не выбрать какого-нибудь представителя для этих образцов? (т.е. прототипирование)
- Рассмотрите возможность создания прототипов меньшинств вашего набора данных: (i) образцы, которые трудно классифицировать, и (ii) аномалии.
Protoformer: встраивание прототипов трансформеров📜: https://arxiv.org/abs/2206.12710
Больше интересных моментов: https://twitter.com/EffectiveML
