Время обработки Java Matrix

Действительно ли память является вашим узким местом? Потому что если это не так, то остановка записи в файл всегда будет намного, намного медленнее, чем альтернатива. Похоже, вы, вероятно, испытываете некоторые ограничения вашего алгоритма.

Возможно, вам следует сначала подумать об оптимизации алгоритма.

И, как я всегда говорю для всех вопросов производительности, спросить людей — это одно, но ничто не заменит попытки! Мнения не имеют значения, если реальная производительность измерима.

Я предлагаю использовать инструменты профилирования и временные операторы в вашем коде, чтобы точно определить, в чем проблема с производительностью, прежде чем вы начнете вносить изменения.

Вы можете потратить много времени на «исправление» того, что не является проблемой. Я подозреваю, что файловый ввод-вывод, который вы предлагаете, на самом деле замедлит ваш код.

Если ваш код фактически имеет цикл, вложенный в другой цикл для обработки каждого элемента, вы увидите, что ваша скорость быстро падает по мере увеличения размера матрицы. Если это так, областью, на которую следует обратить внимание, будет параллельная обработка ваших данных, позволяющая вашему коду использовать преимущества нескольких процессоров/ядер.

Рассмотрите более эффективную реализацию разреженной матричной структуры данных, а не многомерного массива (если вы используете его сейчас).

Вы должны помнить, что для выполнения NxN, умноженного на NxN, требуется 2xN^3 вычислений. Даже в этом случае это не должно занять несколько часов. Вы должны получить улучшение, транспонируя вторую матрицу (около 30%), но на самом деле это не должно занимать часы.

Таким образом, если вы удвоите N, вы увеличите время в 8 раз. Хуже того, матрица, которая помещается в ваш кеш, очень быстрая, но больше нескольких МБ, и они должны поступать из основной памяти, что замедляет ваши операции еще в 2-5 раз.

Помещение данных на диск действительно замедлит ваши вычисления, я предлагаю вам сделать это только в том случае, если ваш martix не помещается в памяти, но это сделает его в 10-100 раз медленнее, поэтому покупка немного больше памяти - хорошая идея. (В вашем случае ваши матрицы должны быть достаточно маленькими, чтобы поместиться в память)

Я попробовал Jama, очень простую библиотеку, которая использует двумерные массивы вместо одного, и на 4-летнем компьютере это заняло 7 минут. Вы должны быть в состоянии получить половину этого времени, просто используя новейшее оборудование и несколько потоков, сократив это время до одной минуты.

EDIT: Используя Xeon X5570, Джама умножил две матрицы 5000x5000 за 156 секунд. Используя параллельную реализацию, которую я написал, сократите это время до 27 секунд.

Используйте профилировщик в jvisualvm в JDK, чтобы определить, где тратится время.

Я бы провел несколько простых экспериментов, чтобы определить, как масштабируется ваш алгоритм, потому что похоже, что вы можете использовать тот, который имеет более высокую сложность выполнения, чем вы думаете. Если он работает в N ^ 3 (что обычно, если вы хотите умножить список на массив), то удвоение размера ввода увеличит время выполнения в восемь раз.