Привязка разных обработчиков HttpHandler Grizzly к разным NetworkListeners

Вы можете привязать его к PortRange, то есть к нескольким портам.

NetworkListener(String name, String host, PortRange portRange) задокументировано

or

HttpServer httpServer = new HttpServer();

NetworkListener networkListener1 = new NetworkListener("sample-listener1", "localhost", 8888);
NetworkListener networkListener2 = new NetworkListener("sample-listener2", "localhost", 8889);
httpServer.addListener(networkListener1);
httpServer.addListener(networkListener2);

Таким образом, вы можете добавить несколько обработчиков для разных портов.

или (не пробовал, но, скорее всего, работает)

HttpServer server = HttpServer.createSimpleServer();
 server.getServerConfiguration().addHttpHandler(handler1);
 server.getServerConfiguration().addHttpHandler(handler2);
server.start()