Вид пула потоков со сбалансированной нагрузкой в ​​Java

Одна из возможностей - использовать стандартный ThreadPoolExecutor с другим типом очереди задач.

public class TaskRunner {
  private static class PriorityRunnable implements Runnable,
            Comparable<PriorityRunnable> {
    private Runnable theRunnable;
    private int priority = 0;
    public PriorityRunnable(Runnable r, int priority) {
      this.theRunnable = r;
      this.priority = priority;
    }

    public int getPriority() {
      return priority;
    }

    public void run() {
      theRunnable.run();
    }

    public int compareTo(PriorityRunnable that) {
      return this.priority - that.priority;
    }
  }

  private BlockingQueue<Runnable> taskQueue = new PriorityBlockingQueue<Runnable>();

  private ThreadPoolExecutor exec = new ThreadPoolExecutor(8, 8, 0L,
            TimeUnit.MILLISECONDS, taskQueue);

  public void runTasks(Runnable... tasks) {
    int priority = 0;
    Runnable nextTask = taskQueue.peek();
    if(nextTask instanceof PriorityRunnable) {
      priority = ((PriorityRunnable)nextTask).getPriority() + 1;
    }
    for(Runnable t : tasks) {
      exec.execute(new PriorityRunnable(t, priority));
      priority += 100;
    }
  }
}

Идея здесь в том, что когда у вас появляется новая работа, вы звоните

taskRunner.runTasks(jobTask1, jobTask2, jobTask3);

и он будет ставить задачи в очередь таким образом, чтобы они хорошо чередовались с любыми существующими задачами в очереди (если таковые имеются). Предположим, у вас есть одно задание в очереди, задачи которого имеют номера приоритета j ₁ t ₁ = 3, j ₁ t _{2 = 103 и j 1 t 3 = 203. При отсутствии других заданий эти задачи будут выполняться одна за другой как можно быстрее. Но если вы отправите другое задание с тремя собственными задачами, им будут назначены номера приоритета j 2 t 1 = 4, j 2 t 2 = 104 и j 2 t 3 = 204, что означает, что очередь теперь выглядит как}

j ₁ t ₁, j ₂ t ₁, j ₁ t ₂, j ₂ t ₂ и т. Д.

Однако это не идеально, потому что, если все потоки в настоящее время работают (на задачах из задания 1), то первая задача задания 2 не может быть запущена, пока одна из задач задания 1 не будет завершена (если нет какого-либо внешнего способа обнаружения это и прерывает и повторно ставит в очередь некоторые задачи задания 1). Самый простой способ сделать ситуацию более справедливой - это разбить более длительные задачи на более мелкие сегменты и поставить их в очередь как отдельные задачи - вам нужно добраться до точки, когда каждое отдельное задание включает в себя больше задач, чем потоков в пуле, так что некоторые задачи всегда будут запускаться в очереди, а не назначаться непосредственно потокам (если есть незанятые потоки, exec.execute() передает задачу прямо потоку, не проходя через очередь вообще).

Как предлагает Канага, проще всего сделать так, чтобы у вашего процессора было слишком много ресурсов, но запускать по 8 потоков каждый. У конкурентов могут быть некоторые накладные расходы, но если вы дойдете до ситуации с одним заданием, он полностью загрузит ЦП. ОС будет выделять время каждому потоку.

Ваша «первая идея» тоже подойдет. Простаивающие потоки не будут забирать ресурсы у 8 рабочих потоков, если они на самом деле не выполняют задачу. Однако это не распределяет ресурсы процессора так же равномерно, когда выполняется несколько заданий.

У вас есть установка, где вы можете протестировать эти разные конвейеры, чтобы увидеть, как они работают для вас?

Думаю, раз уж ваша машина - это 6-ядерный процессор. Лучше иметь 6 рабочих потоков для каждого потока задания. Таким образом, когда каждый поток получает новое задание, он запускает до шести параллельных рабочих процессов для работы над одним заданием. Это обеспечит использование всей мощности процессора при одновременном выполнении только одного задания.

Также ознакомьтесь с концепцией Fork and Join в java 7.
Ссылки_1
Ссылки_2
Ссылки_3
References_4

Также узнайте о newcachedthreadpool ()

Java newCachedThreadPool () по сравнению с newFixedThreadPool