Можно ли перемещать файлы в hadoop с помощью класса FileSystem
https://hadoop.apache.org/docs/r2.7.1/api/index.html?org/apache/hadoop/fs/FileSystem.html или аналогичного?
Да, это возможно.
Для копии MapReduce, которая работает быстрее, чем hadoop fs -cp
, посмотрите Исходный код DistCp
Или, если вы действительно хотите переместить файл Исходный код hadoop fs -mv
. Примечание: «перемещение» на самом деле является «переименованием» в HDFS.
FileSystem#rename
- это то, что вам нужно.
У меня нет примера из кода ... Я хочу сказать, что все команды hadoop fs
и hdfs
используют Java API под сценой, поэтому ваш вопрос основан на том, что да, это возможно, потому что это то, что вы уже поступают иначе с помощью сценария оболочки.
у вас есть пример использования API?