Как с RTSP/UDP сервер узнает, куда отправить ответ?

Не тот ответ, который вы хотите услышать, но он вам действительно нужен? Как вы сказали, я не видел ни игроков, ни серверов. С сайта Мартина Стимерлинга , один из авторов проекта RTSP 2:

В этом меморандуме описывается использование RTSP по протоколу транспортного уровня на основе надежного соединения, такому как TCP. RTSP может быть реализован через ненадежный транспортный протокол без установления соединения, такой как UDP. Хотя ничто в RTSP не препятствует этому, дополнительное определение этой проблемной области необходимо рассматривать как расширение основной спецификации.

Механизмы работы RTSP поверх UDP не были включены в эту спецификацию. потому что они были плохо определены в [RFC2326], а компромисс между размером и сложностью этого меморандума для небольшого выигрыша в ограниченном пространстве проблем не считался оправданным.

К вашему сведению, последняя версия проекта RTSP 2 доступна здесь .

Ну, есть порт по умолчанию: 554. Но, если вы не можете его использовать, то да, вам придется сделать свое собственное соглашение.

Если вы углубитесь в эту проблему, вы также столкнетесь с проблемой обхода NAT, что означает, что 554 может быть преобразован NAT в любой другой номер порта. Это другая проблема, которая не рассматривается в данном RFC, но она реальна, и вам потребуется решение, если вы работаете с ipv4.