Ошибка компонента трейнера в расширении Tensorflow

Я впервые создаю конвейер tfx после того, как изучил руководства и попытался создать его с моим собственным набором данных. Я мог бы воспользоваться некоторыми советами по написанному мной коду преобразования и лучше понять, буду признателен за ваше время и заранее спасибо.

Я выполнил ExampleGen, StatisticsGen, SchemaGen, ExampleValidator, Transform и обнаружил ошибку в компонентах Trainer.

ОШИБКА:

c:\lib\site-packages\tfx\orchestration\launcher\in_process_component_launcher.py in _run_executor(self, execution_id, input_dict, output_dict, exec_properties)
     65         executor_context)  # type: ignore
     66 
---> 67     executor.Do(input_dict, output_dict, exec_properties)

c:\lib\site-packages\tfx\components\trainer\executor.py in Do(self, input_dict, output_dict, exec_properties)
    317 
    318     fn_args = self._GetFnArgs(input_dict, output_dict, exec_properties)
--> 319     trainer_fn = self._GetFn(exec_properties, 'trainer_fn')
    320 
    321     schema = io_utils.parse_pbtxt_file(fn_args.schema_file, schema_pb2.Schema())

c:\lib\site-packages\tfx\components\trainer\executor.py in _GetFn(self, exec_properties, fn_name)
    128     if has_module_file:
    129       return import_utils.import_func_from_source(
--> 130           exec_properties['module_file'], fn_name)
    131 
    132     fn_path_split = exec_properties[fn_name].split('.')

c:\lib\site-packages\tfx\utils\import_utils.py in import_func_from_source(source_path, fn_name)
     66       user_module = types.ModuleType(loader.name)
     67       loader.exec_module(user_module)
---> 68       return getattr(user_module, fn_name)
     69 
     70   except IOError:

AttributeError: module 'user_module' has no attribute 'trainer_fn'

КОД:

def get_model(show_summary=True):

#one-hot categorical features
num_A = 4,
num_B = 3,
num_C = 2,
num_D = 8,
num_E = 12,
num_F = 4,
num_G = 16,
num_H = 26

input_A = tf.keras.Input(shape=(num_A,), name="A_xf")
input_B = tf.keras.Input(shape=(num_B,), name="B_xf")
input_C = tf.keras.Input(shape=(num_C,), name="C_xf")
input_D = tf.keras.Input(shape=(num_D,), name="D_xf")
input_E = tf.keras.Input(shape=(num_E,), name="E_xf")
input_F = tf.keras.Input(shape=(num_F,), name="F_xf")
input_G = tf.keras.Input(shape=(num_G,), name="G_xf")
input_H = tf.keras.Input(shape=(num_H,), name="H_xf")


fl = keras.Input(shape=(75,))
dense = layers.Dense(35, activation = "relu")
x = dense(fl)
x = layers.Dense(15, activation="relu")(x)
outputs = layers.Dense(1, activation="sigmoid")(x)

_inputs = [input_A, input_B, input_C, input_D, input_E, input_F, input_G, input_H]


model = keras.Model(inputs=inputs, outputs=outputs)

model.compile(optimizer='rmsprop',
          loss='binary_crossentropy',
          metrics=['accuracy'])

if show_summary:
    model.summary()

return model

person LLTeng    schedule 12.05.2020    source источник
comment
Сделайте свой код минимальным.   -  person rpoleski    schedule 12.05.2020


Ответы (2)


У нас была та же проблема, и мы смогли ее решить, перейдя с api последовательной модели tf.keras на функциональный api. Вы можете прочитать об API различных моделей здесь. В обучающих материалах вы заметите, что широкая и глубокая модель реализована как функциональный API.

В качестве примера приведем образец модели keras для компонента тренера:

def _build_functional_test_model():
colname = 'feature_string_xf'
feature_columns = [
    tf.feature_column.numeric_column(colname, shape=_MAX_REQUEST_LEN, dtype=tf.dtypes.int64, default_value=0)]

input_layers = {
    colname: tf.keras.layers.Input(name=colname, shape=_MAX_REQUEST_LEN, dtype=tf.int64)
}

input_dense_layer = tf.keras.layers.DenseFeatures(feature_columns)(input_layers)

embedding = tf.keras.layers.Embedding(_N_UNIQUE_WORDS,
                                      _N_EMBED,
                                      input_length=_MAX_REQUEST_LEN)(input_dense_layer)

embedding_dropout = tf.keras.layers.SpatialDropout1D(_DROPOUT_EMBEDDING)(embedding)

conv_1 = tf.keras.layers.Conv1D(_N_CONV_1,
                                _K_CONV_1,
                                activation='linear',
                                activity_regularizer=tf.keras.regularizers.l1(_REGULARIZE_L1_CONV))(
    embedding_dropout)
activation_1 = tf.keras.layers.Activation('relu')(conv_1)
dropout_1 = tf.keras.layers.Dropout(_DROPOUT_CONV_1)(activation_1)

conv_2 = tf.keras.layers.Conv1D(_N_CONV_1,
                                _K_CONV_2,
                                activation='linear',
                                activity_regularizer=tf.keras.regularizers.l1(_REGULARIZE_L1_CONV))(dropout_1)
activation_2 = tf.keras.layers.Activation('relu')(conv_2)
dropout_2 = tf.keras.layers.Dropout(_DROPOUT_CONV_1)(activation_2)

conv_3 = tf.keras.layers.Conv1D(_N_CONV_3,
                                _K_CONV_3,
                                activation='linear',
                                activity_regularizer=tf.keras.regularizers.l1(_REGULARIZE_L1_CONV))(dropout_2)
activation_3 = tf.keras.layers.Activation('relu')(conv_3)
dropout_3 = tf.keras.layers.Dropout(_DROPOUT_CONV_1)(activation_3)

conv_4 = tf.keras.layers.Conv1D(_N_CONV_4,
                                _K_CONV_4,
                                activation='linear',
                                activity_regularizer=tf.keras.regularizers.l1(_REGULARIZE_L1_CONV))(dropout_3)
activation_4 = tf.keras.layers.Activation('relu')(conv_4)
dropout_4 = tf.keras.layers.Dropout(_DROPOUT_CONV_1)(activation_4)

max_pool_5 = tf.keras.layers.GlobalMaxPooling1D()(dropout_4)

dense_6 = tf.keras.layers.Dense(_N_DENSE_1,
                                activation='linear',
                                # activity_regularizer=keras.regularizers.l1(_REGULARIZE_L1_DENSE_1)
                                )(max_pool_5)
activation_6 = tf.keras.layers.Activation('relu')(dense_6)
dropout_6 = tf.keras.layers.Dropout(_REGULARIZE_L1_DENSE_1)(activation_6)

dense_7 = tf.keras.layers.Dense(_N_DENSE_2,
                                activation='linear',
                                # activity_regularizer=keras.regularizers.l1(_REGULARIZE_L1_DENSE_1)
                                )(dropout_6)
activation_6 = tf.keras.layers.Activation('relu')(dense_7)
dropout_7 = tf.keras.layers.Dropout(_REGULARIZE_L1_DENSE_1)(activation_6)

output = tf.keras.layers.Dense(1, activation='sigmoid')(dropout_7)

model = tf.keras.Model(input_layers, output)
model.compile(loss='binary_crossentropy', optimizer=_OPTIMIZER, metrics=['accuracy'])

return model
person Jason Anderson    schedule 12.05.2020
comment
Большое спасибо за ваш ответ и указываю мне правильное направление. Я изменю свой код и сообщу вам, если я его сделаю. Спасибо, Джейсон. - person LLTeng; 13.05.2020
comment
Привет, Джейсон, после изменения последовательной модели для использования функционального API Keras я все еще получаю ту же ошибку. Просто больше информации для вас, все функции данных являются категориальными данными, и я использую кодировку One Hot для преобразования данных. Пожалуйста, посоветуйте, и еще раз спасибо! - person LLTeng; 13.05.2020
comment
Спасибо за ваше руководство. После перехода на использование модели keras трейнер работает в конвейерах tfx. \ - person LLTeng; 17.05.2020
comment
рад слышать!! - person Jason Anderson; 26.05.2020

Используя указания и комментарий Джейсона, я изменил часть модели, поскольку tfx не поддерживает последовательную модель, а поддерживает функциональный API Keras.

def get_model(show_summary=True):

#one-hot categorical features
num_A = 4,
num_B = 3,
num_C = 2,
num_D = 8,
num_E = 12,
num_F = 4,
num_G = 16,
num_H = 26

input_A = tf.keras.Input(shape=(num_A,), name="A_xf")
input_B = tf.keras.Input(shape=(num_B,), name="B_xf")
input_C = tf.keras.Input(shape=(num_C,), name="C_xf")
input_D = tf.keras.Input(shape=(num_D,), name="D_xf")
input_E = tf.keras.Input(shape=(num_E,), name="E_xf")
input_F = tf.keras.Input(shape=(num_F,), name="F_xf")
input_G = tf.keras.Input(shape=(num_G,), name="G_xf")
input_H = tf.keras.Input(shape=(num_H,), name="H_xf")

inputs_con = tf.keras.layers.concatenate([
input_A,
input_B,
input_C,
input_D,
input_E,
input_F,
input_G,
input_H])

dense_1 = tf.keras.layers.Dense(50, activation = 'relu')(inputs_con)
dense_2 = tf keras.layers.Dense(25, activation = "rely") (dense_1)
output = tf.keras.laters.Dense(1, activation = "sigmoid") (dense_2)
model = keras.Model(inputs=inputs, outputs=outputs)

_inputs = [
input_A,
input_B,
input_C,
input_D,
input_E,
input_F,
input_G,
input_H]

model = tf.keras.models.Model(_inputs, output)

model.compile(optimizer='rmsprop',
          loss='binary_crossentropy',
          metrics=['accuracy'])

if show_summary:
    model.summary()

return model
person LLTeng    schedule 17.05.2020