Юлия пмап производительность

Я думаю, что часть проблемы здесь заключается в том, что @parallel и @pmap не всегда хорошо обрабатывают перемещение данных в рабочие процессы и обратно. Таким образом, они, как правило, лучше всего работают в ситуациях, когда то, что вы выполняете, вообще не требует очень большого перемещения данных. Я также подозреваю, что, вероятно, есть вещи, которые можно было бы сделать для улучшения их производительности, но я не уверен в деталях.

В ситуациях, когда вам нужно перемещать больше данных, может быть лучше придерживаться опций, которые напрямую вызывают функции для воркеров, а затем эти функции обращаются к объектам в пространстве памяти этих воркеров. Ниже я привожу один пример, который ускоряет вашу функцию с помощью нескольких воркеров. Он использует, пожалуй, самый простой вариант — @everywhere, но @spawn, remotecall() и т. д. тоже стоит рассмотреть, в зависимости от вашей ситуации.

addprocs(11);

using Distributions;
@everywhere using Iterators;
d = Normal();

eps_1 = rand(d,1000000);
eps_2 = rand(d,1000000);

#Create a large matrix:
large_matrix = hcat(eps_1,eps_2).>=0;
indices = collect(1:4:1000000);

#Split large matrix:
large_matrix = [large_matrix[i:(i+3),:] for i in indices];

large_matrix = convert(Array{BitArray}, large_matrix);

function sendto(p::Int; args...)
    for (nm, val) in args
        @spawnat(p, eval(Main, Expr(:(=), nm, val)))
    end
end

getfrom(p::Int, nm::Symbol; mod=Main) = fetch(@spawnat(p, getfield(mod, nm)))

@everywhere function function_split(x::BitArray)
    matrix_to_compare = transpose(reinterpret(Int,collect(product([0,1],[0,1])),(2,4)));
    matrix_to_compare = matrix_to_compare.>0;
    find(sum(x.==matrix_to_compare,2).==2)
end


function distribute_data(X::Array, WorkerName::Symbol)
    size_per_worker = floor(Int,size(X,1) / nworkers())
    StartIdx = 1
    EndIdx = size_per_worker
    for (idx, pid) in enumerate(workers())
        if idx == nworkers()
            EndIdx = size(X,1)
        end
        @spawnat(pid, eval(Main, Expr(:(=), WorkerName, X[StartIdx:EndIdx])))
        StartIdx = EndIdx + 1
        EndIdx = EndIdx + size_per_worker - 1
    end
end

distribute_data(large_matrix, :large_matrix)


function parallel_split()
    @everywhere begin
        if myid() != 1
            result = map(function_split,large_matrix );
        end
    end
    results = cell(nworkers())
    for (idx, pid) in enumerate(workers())
        results[idx] = getfrom(pid, :result)
    end
    vcat(results...)
end

## results given after running once to compile
@time a = map(function_split,large_matrix); ## 6.499737 seconds (22.00 M allocations: 2.899 GB, 13.99% gc time)
@time b = parallel_split();  ## 1.097586 seconds (1.50 M allocations: 64.508 MB, 3.28% gc time)

julia> a == b
true

Примечание: даже при этом ускорение от нескольких процессов не идеально. Но этого следовало ожидать, так как в результате вашей функции все еще должен быть возвращен умеренный объем данных, и эти данные должны быть перемещены, что требует времени.

P.S. См. этот пост (Джулия: как скопировать данные в другой процессор в Julia) или этот пакет (https://github.com/ChrisRackauckas/ParallelDataTransfer.jl) для получения дополнительной информации о функциях sendto и getfrom, которые я использовал здесь.