TFF: настраиваемая спецификация ввода с настраиваемым набором данных - TypeError: объект типа «TensorSpec» не имеет len ()

1: проблема: мне нужно использовать настраиваемый набор данных в моделировании tff. Я построил на примере tff / python / research / сжатия "run_experiment.py". Ошибка:

  File "B:\tools and software\Anaconda\envs\bookProjects\lib\site-packages\IPython\core\interactiveshell.py", line 3331, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-2-47998fd56829>", line 1, in <module>
    runfile('B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/train_v04.py', args=['--experiment_name=temp', '--client_batch_size=20', '--client_optimizer=sgd', '--client_learning_rate=0.2', '--server_optimizer=sgd', '--server_learning_rate=1.0', '--total_rounds=200', '--rounds_per_eval=1', '--rounds_per_checkpoint=50', '--rounds_per_profile=0', '--root_output_dir=B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/logs/fed_out/'], wdir='B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection')
  File "B:\tools and software\PyCharm 2020.1\plugins\python\helpers\pydev\_pydev_bundle\pydev_umd.py", line 197, in runfile
    pydev_imports.execfile(filename, global_vars, local_vars)  # execute the script
  File "B:\tools and software\PyCharm 2020.1\plugins\python\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/train_v04.py", line 292, in <module>
    app.run(main)
  File "B:\tools and software\Anaconda\envs\bookProjects\lib\site-packages\absl\app.py", line 299, in run
    _run_main(main, args)
  File "B:\tools and software\Anaconda\envs\bookProjects\lib\site-packages\absl\app.py", line 250, in _run_main
    sys.exit(main(argv))
  File "B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/train_v04.py", line 285, in main
    train_main()
  File "B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/train_v04.py", line 244, in train_main
    input_spec=input_spec),
  File "B:/projects/openProjects/githubprojects/BotnetTrafficAnalysisFederaedLearning/anomaly-detection/train_v04.py", line 193, in model_builder
    metrics=[tf.keras.metrics.Accuracy()]
  File "B:\tools and software\Anaconda\envs\bookProjects\lib\site-packages\tensorflow_federated\python\learning\keras_utils.py", line 125, in from_keras_model
    if len(input_spec) != 2:
TypeError: object of type 'TensorSpec' has no len()

выделение: TypeError: объект типа TensorSpec не имеет len ()

2: пробовал: я просмотрел ответ на: TensorFlow Federated: как я могу написать входную спецификацию для модели с более чем одним входом, описывающую, что потребуется для создания пользовательской входной спецификации. Я мог бы пропустить понимание входных спецификаций.

Если мне это не нужно, а есть способ получше, скажите, пожалуйста.

3: источник:

    df = get_train_data(sysarg)
    x_train, x_opt, x_test = np.split(df.sample(frac=1,
                                                random_state=17),
                                      [int(1 / 3 * len(df)), int(2 / 3 * len(df))])

    x_train, x_opt, x_test = create_scalar(x_opt, x_test, x_train)
    input_spec = tf.nest.map_structure(tf.TensorSpec.from_tensor, tf.convert_to_tensor(x_train))

tensorflow-federated
person GIGA-Money    schedule 11.06.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Модели TFF декларируют несколько иные входные характеристики, чем вы могли ожидать; они обычно ожидают обоих значений x и y в качестве параметров (IE, данные и метки). К сожалению, вы попали в этот AttributeError, поскольку ValueError TFF будет повышать, вероятно, более полезен в этом случае. Вставка оперативной части сообщения сюда:

The top-level structure in `input_spec` must contain exactly two elements,
as it must specify type information for both inputs to and predictions from the model.

TL; DR в вашем конкретном примере: если у вас также есть доступ к ярлыкам (y_train ниже), просто измените определение input_spec на:

input_spec = tf.nest.map_structure(
    tf.TensorSpec.from_tensor,
    [tf.convert_to_tensor(x_train), tf.convert_to_tensor(y_train)])
person Keith Rush    schedule 12.06.2020
comment
Хорошо, похоже, это привело меня к следующей ошибке (новый пост по этому поводу). Мои ярлыки - это просто имена моих папок, составленный для них список, возможно, там все еще что-то не так. Модель является автокодировщиком, а все наборы данных - это большие файлы cvs. - person GIGA-Money; 15.06.2020