Threadpool с постоянными рабочими экземплярами

примеры были настроены на использование нового экземпляра Worker для каждого задания, мне нужны постоянные работники.

Это общий вопрос с несколькими различными решениями. Что вам нужно, так это некоторый контекст для каждого потока, а не для каждого Runnable или Callable, который будет отправляться в ExecutorService.

Одним из вариантов было бы иметь ThreadLocal, который создал бы ваши ftp экземпляры. Это не оптимально, потому что не будет простого способа закрыть ftp-соединение, когда поток завершится. Затем вы ограничите количество подключений, ограничив количество потоков, работающих в вашем пуле потоков.

Я думаю, что лучшим решением было бы использовать ExecutorService только для разветвления ваших рабочих потоков. Для каждого работника введите в него BlockingQueue, который все они используют для удаления из очереди и выполнения задач, которые им необходимо выполнить. Это отдельно от очереди, используемой внутри ExecutorService. Затем вы должны добавить задачи в свою очередь, а не в саму ExecutorService.

private static final BlockingQueue<FtpTask> taskQueue
        = new ArrayBlockingQueue<FtpTask>();

Таким образом, ваш объект задачи будет иметь что-то вроде:

public static class FtpTask {
     String base;
     String path;
     String file;
}

Тогда метод run() в вашем классе Worker будет делать что-то вроде:

public void run() {
    // make our permanent ftp instance
    this._ftp = new FTPClient();
    // connect it for the life of this thread
    this._connect();
    try {
        // loop getting tasks until we are interrupted
        // could also use volatile boolean !shutdown
        while (!Thread.currentThread().isInterrupted()) {
            FtpTask task = taskQueue.take();
            // if you are using a poison pill
            if (task == SHUTDOWN_TASK) {
                break;
            }
            // do the download here
            download(task.base, task.path, task.file);
        }
    } finally {
        this._disconnect();
    }
}

Опять же, вы ограничиваете количество подключений, ограничивая количество потоков, работающих в вашем пуле потоков.

В идеале я хочу иметь одно соединение для сканирования каталогов и создания списка файлов, а затем четырех рабочих для загрузки указанных файлов.

Я бы добавил Executors.newFixedThreadPool(5); и добавил один поток, который выполняет сканирование/сборку, и 4 рабочих потока, которые выполняют загрузку. Сканирующий поток помещается в BlockingQueue, в то время как рабочие потоки берутся из той же очереди.

Я бы предложил использовать ThreadPooleexecutor с размером ядра и максимальным размером пула в соответствии с требованиями. В этом случае также используйте связанную блокирующую очередь, которая будет выполнять ваши задачи в ней в порядке FIFO.

Как только поток (рабочий) освободится, задача будет выбрана из очереди и выполнена.

Ознакомьтесь с подробностями ThreadPoolExecutor. Дайте мне знать, если вы застряли где-нибудь в реализации ThreadPoolexecutor.