Как добавить пользовательскую кнопку в AVPlayerViewController?

На самом деле нет «хорошего» способа сделать это. Apple делает AVPlayerViewController простым и, к сожалению, нерасширяемым.

Единственное, что вы можете сделать, это установить собственный вид наложения. Но это не решает проблему.

И документы говорят, что вы не должны подклассировать AVPlayerViewController, что означает, что вы либо используете его и принимаете как есть, либо пишете свой собственный контроллер, который управляет экземпляром AVPlayer и имеет все, что вам нужно.