Я пытаюсь перейти от Pandas к Xarray для N-Dimensional DataArrays, чтобы расширить свой репертуар.
На самом деле, у меня будет куча разных pd.DataFrames (в данном случае row=month, col=attribute) вдоль определенной оси (пациенты в фиктивном примере ниже), которые я хотел бы объединить (без использования панелей или мультииндекс :), спасибо). Я хочу преобразовать их в xr.DataArrays, чтобы я мог строить на них измерения. Я сделал фиктивный набор данных, чтобы понять суть того, о чем я говорю.
Для этого набора данных, который я составил, представьте 100 patients, 12 months, 10000 attributes, 3 replicates (per attribute), который был бы типичным набором данных 4D. По сути, я объединяю 3 replicates per attribute с mean, поэтому в итоге я получаю 2D pd.DataFrame (строка = месяцы, столбец = атрибуты), этот DataFrame является значением в моем словаре, а пациент, от которого он пришел, является ключом (т.е. (patient_x : DataFrame_X) )
Я также собираюсь включить обходной способ, которым я сделал это с заполнителем np.ndarray, но было бы очень удобно, если бы я мог сгенерировать N-мерный DataArray из словаря, ключ которого былтерпелив_x, а значение было DataFrame_X
Как создать N-мерный DataArray, используя Xarray из словаря Pandas DataFrames?
import xarray as xr
import numpy as np
import pandas as pd
np.random.seed(1618033)
#Set dimensions
a,b,c,d = 100,12,10000,3 #100 patients, 12 months, 10000 attributes, 3 replicates
#Create labels
patients = ["patient_%d" % i for i in range(a)]
months = [j for j in range(b)]
attributes = ["attr_%d" % k for k in range(c)]
replicates = [l for l in range(d)]
coords = [patients,months,attributes]
dims = ["Patients","Months","Attributes"]
#Dict of DataFrames
D_patient_DF = dict()
for i, patient in enumerate(patients):
A_placeholder = np.zeros((b,c))
for j, month in enumerate(months):
#Attribute x Replicates
A_attrReplicates = np.random.random((c,d))
#Collapse into 1D Vector
V_attrExp = A_attrReplicates.mean(axis=1)
#Fill array with row
A_placeholder[j,:] = V_attrExp
#Assign dataframe for every patient
DF_data = pd.DataFrame(A_placeholder, index = months, columns = attributes)
D_patient_DF[patient] = DF_data
xr.DataArray(D_patient_DF).dims
#() its empty
D_patient_DF
#{'patient_0': attr_0 attr_1 attr_2 attr_3 attr_4 attr_5 attr_6 \
# 0 0.445446 0.422018 0.343454 0.140700 0.567435 0.362194 0.563799
# 1 0.440010 0.548535 0.810903 0.482867 0.469542 0.591939 0.579344
# 2 0.645719 0.450773 0.386939 0.418496 0.508290 0.431033 0.622270
# 3 0.555855 0.633393 0.555197 0.556342 0.489865 0.204200 0.823043
# 4 0.916768 0.590534 0.597989 0.592359 0.484624 0.478347 0.507789
# 5 0.847069 0.634923 0.591008 0.249107 0.655182 0.394640 0.579700
# 6 0.700385 0.505331 0.377745 0.651936 0.334216 0.489728 0.282544
# 7 0.777810 0.423889 0.414316 0.389318 0.565144 0.394320 0.511034
# 8 0.440633 0.069643 0.675037 0.365963 0.647660 0.520047 0.539253
# 9 0.333213 0.328315 0.662203 0.594030 0.790758 0.754032 0.602375
# 10 0.470330 0.419496 0.171292 0.677439 0.683759 0.646363 0.465788
# 11 0.758556 0.674664 0.801860 0.612087 0.567770 0.801514 0.179939
