Используйте событие закрытия и установите владельца сцены, если вы не хотите видеть другое окно, когда окна свернуты:

@Override
public void handle(WindowEvent event)
{
    event.consume(); // Do nothing on close request

    // Dialog Stage init
    final Stage dialog = new Stage();
    dialog.initModality(Modality.APPLICATION_MODAL);
    dialog.initOwner(primaryStage);

    // other stuff
}
});

Вам необходимо установить правильные отношения между primaryStage и диалоговым этапом. Вот подсказка, чтобы вы начали:

...
dialog.initOwner(primaryStage);
dialog.initModality(Modality.APPLICATION_MODAL);
dialog.showAndWait();

Дополнительную информацию можно найти в JavaFX 2 JavaDocs от Oracle.

Еще пример кода (редактировать)

Я использую setOnHiding(..) вместо setOnCloseRequest(..):

stage.setOnHiding(new AskUserIfHeReallyWantsToQuitWindowHandler(stage));

Я извлек ваш код в отдельный класс обработчика событий и исправил упомянутые мной проблемы (извините, сейчас у меня мало времени):

public class AskUserIfHeReallyWantsToQuitWindowHandler implements EventHandler<WindowEvent> {
    private final Stage primaryStage;

    public AskUserIfHeReallyWantsToQuitWindowHandler(final Stage primaryStage) {
                    Objects.requireNonNull(primaryStage);
        this.primaryStage = primaryStage;
    }

    @Override
    public void handle(final WindowEvent event) {

        event.consume();

        final Stage dialog = new Stage();

        final Button okBtn = new Button("Yes");
        okBtn.setOnAction(new EventHandler<ActionEvent>() {
            @Override
            public void handle(final ActionEvent event) {
                dialog.close();
                primaryStage.close();
            }
        });

        // Button "No"
        final Button cancelBtn = new Button("No");
        cancelBtn.setOnAction(new EventHandler<ActionEvent>() {
            @Override
            public void handle(final ActionEvent event) {
                dialog.close();

                Platform.runLater(new Runnable() {

                    @Override
                    public void run() {
                        primaryStage.show();
                    }
                });
            }
        });

        // Layout for the Button
        final HBox hbox = new HBox();
        hbox.setSpacing(10);
        hbox.setAlignment(Pos.CENTER);
        hbox.getChildren().add(okBtn);
        hbox.getChildren().add(cancelBtn);

        // Layout for the Label and hBox
        final VBox vbox = new VBox();
        vbox.setAlignment(Pos.CENTER);
        vbox.setSpacing(10);
        vbox.getChildren().add(new Label("Do your really want to exit?"));
        vbox.getChildren().add(hbox);

        // Stage
        final Scene scene = new Scene(vbox);
        dialog.setScene(scene);
        dialog.initOwner(primaryStage);
        dialog.initModality(Modality.NONE);

        dialog.showAndWait();
    }
}