Умножение крупномасштабных матриц с использованием Numpy

Я столкнулся с проблемой, когда мне нужно выполнить матричное умножение между двумя большими матрицами A [400000 x 70000] и B [70000 x 1000]. Две матрицы плотные и не имеют специальной структуры, которую я мог бы использовать.

В настоящее время моя реализация состоит в том, чтобы разделить A на несколько блоков строк, скажем, sub_A [2000 x 70000] и perfrom sub_A * B. Заметил, что много времени тратится на ввод / вывод, т.е. чтение в sub_A. Считывание в матрице занимает около 500 секунд, а вычисление - около 300 секунд.

Будет ли здесь полезно использовать PyTables для повышения эффективности ввода-вывода? Есть ли какая-нибудь библиотека, которая поможет повысить эффективность использования времени?

Вот код:

def sim_phe_g(geno, betas, chunk_size):
    num_indv = geno.row_count
    num_snps = geno.col_count
    num_settings = betas.shape[1]

    phe_g = np.zeros([num_indv, num_settings])
    # divide individuals into chunks
    for i in range(0, num_indv, chunk_size):
        sub_geno = geno[i : i + chunk_size, :]
        sub_geno = sub_geno.read().val
        phe_g[i : i + chunk_size, :] = np.dot(sub_geno, betas)
    return phe_g

geno имеет размер [400000 x 70000], а betas - размер [70000 x 1000]. geno - это большая матрица, которая хранится на диске. Оператор sub_geno = sub_geno.read().val загружает в память фрагмент генотипа. И на это заявление уходит много времени.

Кроме того, я делю большую матрицу на куски из-за ограничения объема памяти 32 ГБ.