Можно ли проверить содержимое каталога в HDFS с помощью webhdfs
?
Это будет работать как обычно hdfs dfs -ls
, но вместо этого будет использоваться webhdfs
.
Как мне указать каталог webhdfs
с помощью Python 2.6 для этого?
Можно ли проверить содержимое каталога в HDFS с помощью webhdfs
?
Это будет работать как обычно hdfs dfs -ls
, но вместо этого будет использоваться webhdfs
.
Как мне указать каталог webhdfs
с помощью Python 2.6 для этого?
Вы можете использовать глагол LISTSTATUS
. Документы находятся по адресу Список каталогов, и следующий код может можно найти в документах WebHDFS REST API:
С curl
это выглядит так:
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS"
Ответ представляет собой объект JSON FileStatuses:
{
"name" : "FileStatuses",
"properties":
{
"FileStatuses":
{
"type" : "object",
"properties":
{
"FileStatus":
{
"description": "An array of FileStatus",
"type" : "array",
"items" : fileStatusProperties
}
}
}
}
}
fileStatusProperties (для поля items
) имеет следующую схему JSON:
var fileStatusProperties =
{
"type" : "object",
"properties":
{
"accessTime":
{
"description": "The access time.",
"type" : "integer",
"required" : true
},
"blockSize":
{
"description": "The block size of a file.",
"type" : "integer",
"required" : true
},
"group":
{
"description": "The group owner.",
"type" : "string",
"required" : true
},
"length":
{
"description": "The number of bytes in a file.",
"type" : "integer",
"required" : true
},
"modificationTime":
{
"description": "The modification time.",
"type" : "integer",
"required" : true
},
"owner":
{
"description": "The user who is the owner.",
"type" : "string",
"required" : true
},
"pathSuffix":
{
"description": "The path suffix.",
"type" : "string",
"required" : true
},
"permission":
{
"description": "The permission represented as a octal string.",
"type" : "string",
"required" : true
},
"replication":
{
"description": "The number of replication of a file.",
"type" : "integer",
"required" : true
},
"type":
{
"description": "The type of the path object.",
"enum" : ["FILE", "DIRECTORY"],
"required" : true
}
}
};
Вы можете обрабатывать имена файлов в Python, используя pywebhdfs, например:
import json
from pprint import pprint
from pywebhdfs.webhdfs import PyWebHdfsClient
hdfs = PyWebHdfsClient(host='host',port='50070', user_name='hdfs') # Use your own host/port/user_name config
data = hdfs.list_dir("dir/dir") # Use your preferred directory, without the leading "/"
file_statuses = data["FileStatuses"]
pprint file_statuses # Display the dict
for item in file_statuses["FileStatus"]:
print item["pathSuffix"] # Display the item filename
Вместо того, чтобы print
обрабатывать каждый объект, вы можете работать с элементами так, как вам нужно. Результатом file_statuses
является просто Python dict
, поэтому его можно использовать как любой другой dict
, при условии, что вы используете правильные ключи.