本文主要介绍hdfs回收站功能，并简单解析参数fs.trash.interval，fs.trash.checkpoint.interval和hadoop.shell.safely.delete.limit.num.files。
回收站简介
回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。回收站的主要功能主要有一下几点：
- 临时存储删除的文件：当用户使用命令hdfs dfs -rm删除文件或文件夹时，这些文件并不是立即永久删除，而是被移动到Trash文件夹中。这使得用户有机会在需要时恢复这些文件。
- 恢复误删文件：如果用户不小心删除了重要文件，可以通过Trash文件夹里面的数据恢复。
- 设置删除文件保留时间：可以通过fs.trash.interval的值来这是删除保留时间，超过时间的会被回收线程删除。
- 自定义回收线程频率：用户还可以通过fs.trash.checkpoint.interval自定义回收线程频率。
总的来说，回收站功能为用户提供了一个安全、方便的途径来管理删除的文件，避免了因误删而导致的数据丢失问题。
参数列表
| 参数 | 默认值 | 描述 |
|---|---|---|
| fs.trash.interval | 0 | 0代表不开启，大于0代表保留文件时间。单位分钟。 |
| fs.trash.checkpoint.interval | 0 | 单位分钟。 |
| hadoop.shell.safely.delete.limit.num.files | 100 | 文件安全删除最大数量。 |
fs.trash.interval
fs.trash.interval非0的时候代表回收站开启，单位为分钟。值得注意的是这个参数实际上是在namenode设置才能生效，但是执行文件移动到Trash目录却是在客户端实现。namenode的rpc接口中本质上没有回收站这个概念，只有标准接口delete和rename。客户端首先会通过getServerDefaults获取nn配置的fs.trash.interval参数。fs.trash.interval如果不为0，客户端就会把要删除的文件rename到trashCurrent目录下，trashCurrent默认构成为/user/xxxx(username)/.Trash/current。如果想恢复可以在这个目录找到文件恢复。
fs.trash.checkpoint.interval
fs.trash.checkpoint.interval主要有两个作用：一是定时建议checkpoint，即定时给trash/current做备份；二是定时回收线程的频率，间隔也为此值。值得注意的是trash永久删除也在此定时线程中实现。最后还有一个需要注意的是fs.trash.interval设置大于0以后，fs.trash.checkpoint.interval必须小于等于fs.trash.interval并且大于0，不然fs.trash.checkpoint.interval的值会自动变成fs.trash.interval的值，本质是确保永久删除文件会定期执行。
hadoop.shell.safely.delete.limit.num.files
安全删除的最大文件数，默认值为100。使用命令hdfs dfs -rm -safely删除时，会使用安全删除。
private boolean canBeSafelyDeleted(PathData item)
throws IOException {
boolean shouldDelete = true;
if (safeDelete) {
final long deleteLimit = getConf().getLong(
HADOOP_SHELL_SAFELY_DELETE_LIMIT_NUM_FILES,
HADOOP_SHELL_SAFELY_DELETE_LIMIT_NUM_FILES_DEFAULT);
if (deleteLimit > 0) {
ContentSummary cs = item.fs.getContentSummary(item.path);
final long numFiles = cs.getFileCount();
if (numFiles > deleteLimit) {
if (!ToolRunner.confirmPrompt("Proceed deleting " + numFiles +
" files?")) {
System.err.println("Delete aborted at user request.\n");
shouldDelete = false;
}
}
}
}
return shouldDelete;
}
安全删除会通过getContentSummary接口获取当前文件夹下的文件数量，如果大于hadoop.shell.safely.delete.limit.num.files会默认失败。
删除相关命令
hdfs dfs -rm -r 删除
hdfs dfs -rm -skipTrash 不使用回收站删除
hdfs dfs -rm -safely 安全删除
喜欢就点赞、投币一下~
