Как реализовать видеочат с трехсторонней конференц-связью с помощью собственного кода WebRTC для Android?

Проблема заключается в том, что PeerConnectionClient не является оболочкой вокруг PeerConnection, он содержит PeerConnection.

Я заметил, что на этот вопрос нет ответа, поэтому я хотел посмотреть, могу ли я немного помочь. Я изучил исходный код, и PeerConnectionClient очень жестко запрограммирован для одного удаленного узла. Вам нужно будет создать коллекцию объектов PeerConnection, а не эту строку:

private PeerConnection peerConnection;

Если вы посмотрите вокруг еще немного, то заметите, что все становится немного сложнее.

Логика mediaStream в createPeerConnectionInternal должна выполняться только один раз, и вам нужно разделить поток между вашими объектами PeerConnection следующим образом:

peerConnection.addStream(mediaStream);

Вы можете ознакомиться с спецификацией WebRTC или взглянуть на эту stackoverflow, чтобы подтвердить, что тип PeerConnection был разработан для обработки только одного однорангового узла. Это также несколько расплывчато подразумевается здесь.

Таким образом, вы поддерживаете только один объект mediaStream:

private MediaStream mediaStream;

Итак, снова основная идея - один объект MediaStream и столько объектов PeerConnection, сколько у вас есть одноранговых узлов, к которым вы хотите подключиться. Таким образом, вы не будете использовать несколько объектов PeerConnectionClient, а скорее измените один PeerConnectionClient, чтобы инкапсулировать обработку нескольких клиентов. Если вы по какой-либо причине хотите использовать дизайн нескольких объектов PeerConnectionClient, вам просто нужно абстрагироваться от логики медиапотока (и любых поддерживаемых типов, которые следует создавать только один раз).

Вам также потребуется поддерживать несколько удаленных видеодорожек, а не существующую:

private VideoTrack remoteVideoTrack;

Очевидно, вам нужно будет визуализировать только одну локальную камеру и создать несколько модулей визуализации для удаленных подключений.

Я надеюсь, что этой информации достаточно, чтобы вы вернулись в нужное русло.

С помощью ответа Мэтью Сандерса мне удалось заставить его работать, поэтому в этом ответе я собираюсь более подробно описать один из способов адаптации примера кода для поддержки видеоконференцсвязи:

Большинство изменений необходимо внести в PeerConnectionClient, но также и в класс, который использует PeerConnectionClient, где вы взаимодействуете с сервером сигнализации и устанавливаете соединения.

Внутри PeerConnectionClient для каждого соединения должны храниться следующие переменные-члены:

private VideoRenderer.Callbacks remoteRender;
private final PCObserver pcObserver = new PCObserver();
private final SDPObserver sdpObserver = new SDPObserver();
private PeerConnection peerConnection;
private LinkedList<IceCandidate> queuedRemoteCandidates;
private boolean isInitiator;
private SessionDescription localSdp;
private VideoTrack remoteVideoTrack;

В моем приложении мне требовалось максимум 3 соединения (для 4-стороннего чата), поэтому я просто сохранил массив каждого из них, но вы можете поместить их все внутри объекта и получить массив объектов.

private static final int MAX_CONNECTIONS = 3;
private VideoRenderer.Callbacks[] remoteRenders;
private final PCObserver[] pcObservers = new PCObserver[MAX_CONNECTIONS];
private final SDPObserver[] sdpObservers = new SDPObserver[MAX_CONNECTIONS];
private PeerConnection[] peerConnections = new PeerConnection[MAX_CONNECTIONS];
private LinkedList<IceCandidate>[] queuedRemoteCandidateLists = new LinkedList[MAX_CONNECTIONS];
private boolean[] isConnectionInitiator = new boolean[MAX_CONNECTIONS];
private SessionDescription[] localSdps = new SessionDescription[MAX_CONNECTIONS];
private VideoTrack[] remoteVideoTracks = new VideoTrack[MAX_CONNECTIONS];

Я добавил поле connectionId к классам PCObserver и SDPObserver, а внутри конструктора PeerConnectionClient выделил объекты-наблюдатели в массиве и установил поле connectionId для каждого объекта-наблюдателя в его индекс в массиве. Все методы PCObserver и SDPObserver, которые ссылаются на перечисленные выше переменные-члены, должны быть изменены для индексации в соответствующий массив с использованием поля connectionId.

Обратные вызовы PeerConnectionClient необходимо изменить:

public static interface PeerConnectionEvents {
    public void onLocalDescription(final SessionDescription sdp, int connectionId);
    public void onIceCandidate(final IceCandidate candidate, int connectionId);
    public void onIceConnected(int connectionId);
    public void onIceDisconnected(int connectionId);
    public void onPeerConnectionClosed(int connectionId);
    public void onPeerConnectionStatsReady(final StatsReport[] reports);
    public void onPeerConnectionError(final String description);
}

А также следующие PeerConnectionClient методы:

private void createPeerConnectionInternal(int connectionId)
private void closeConnectionInternal(int connectionId)
private void getStats(int connectionId)
public void createOffer(final int connectionId)
public void createAnswer(final int connectionId)
public void addRemoteIceCandidate(final IceCandidate candidate, final int connectionId)
public void setRemoteDescription(final SessionDescription sdp, final int connectionId)
private void drainCandidates(int connectionId)

Как и в случае с методами в классах наблюдателя, все эти функции необходимо изменить, чтобы использовать connectionId для индексации в соответствующий массив объектов для каждого соединения вместо ссылки на отдельные объекты, которыми они были ранее. Любые вызовы функций обратного вызова также необходимо изменить, чтобы вернуть connectionId.

Я заменил createPeerConnection новой функцией с именем createMultiPeerConnection, которой передается массив из VideoRenderer.Callbacks объектов для отображения удаленного видеопотока вместо одного. Функция вызывает createMediaConstraintsInternal() один раз и createPeerConnectionInternal() для каждого из PeerConnection, циклически переходя от 0 к MAX_CONNECTIONS - 1. Объект mediaStream создается только при первом вызове createPeerConnectionInternal(), просто путем заключения кода инициализации в if(mediaStream == null) проверку.

Я столкнулся с одной проблемой, когда приложение закрывается, а экземпляры PeerConnection закрываются, а MediaStream удаляются. В примере кода mediaStream добавляется к PeerConnection с помощью addStream(mediaStream), но соответствующая функция removeStream(mediaStream) никогда не вызывается (вместо этого вызывается dispose()). Однако это создает проблемы (утверждение счетчика ссылок в MediaStreamInterface в собственном коде), когда есть несколько PeerConnection, совместно использующих объект MediaStream, потому что dispose() завершает MediaStream, что должно произойти только тогда, когда последний PeerConnection закрыт. Вызов removeStream() и close() тоже недостаточно, потому что он не выключает полностью PeerConnection, и это приводит к сбою утверждения при удалении объекта PeerConnectionFactory. Единственное исправление, которое я смог найти, - это добавить следующий код в класс PeerConnection:

public void freeConnection()
{
    localStreams.clear();
    freePeerConnection(nativePeerConnection);
    freeObserver(nativeObserver);
}

А затем вызов этих функций при завершении каждого PeerConnection, кроме последнего:

peerConnections[connectionId].removeStream(mediaStream);
peerConnections[connectionId].close();
peerConnections[connectionId].freeConnection();
peerConnections[connectionId] = null;

и закрываем последний следующим образом:

peerConnections[connectionId].dispose();
peerConnections[connectionId] = null;

После изменения PeerConnectionClient необходимо изменить код сигнализации, чтобы установить соединения в правильном порядке, передав правильный индекс соединения каждой из функций и соответствующим образом обработав обратные вызовы. Я сделал это, поддерживая хэш между идентификаторами сокетов socket.io и идентификатором соединения. Когда новый клиент присоединяется к комнате, каждый из существующих участников отправляет предложение новому клиенту и, в свою очередь, получает ответ. Также необходимо инициализировать несколько VideoRenderer.Callbacks объектов, передать их экземпляру PeerConnectionClient и разделить экран, как вы хотите для конференц-связи.