JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能

标签：文件实用功能 juicefs -- v1.1 Beta 配额 JuiceFS 目录

我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：

目录配额：为目录设置配额限制，控制其大小和文件数
目录克隆：快速地复制目录及其内容，节省时间和空间
一键恢复回收站文件：一次性地恢复某段时间内所有被删除的文件，无需逐个操作
一键收集诊断信息：一键生成诊断报告，方便排查问题和反馈意见
快速查看用量信息：快速查看存储空间和文件数的统计信息

此外，我们还新增了一个元数据引擎 FoundationDB，一个支持分布式事务的 Key-Value 存储。

本次版本，共有 57 位社区贡献者参与贡献了 726 次提交，感谢每一位的付出。

下面，我们将详细介绍这个版本的新功能和变化。

目录配额

配额可以用来限制文件系统中存储空间的最大可用量，防止因个别用户占用过多而影响整个系统的稳定性。在之前版本中，JuiceFS 只支持文件系统级别的配额。这样一来，当这个文件系统被多用户共享使用时，管理员就无法有效地控制每个用户的使用量。因此，在 v1.1 版本中，我们为 JuiceFS 增加了目录配额的功能。具体来说，管理员可以根据需要为任意目录设置一个配额阈值（硬限制），之后如果此目录的使用量达到或超过该阈值，任何试图新建或扩展文件的请求都将失败，直到用户删除部分已有文件或管理员提高配额阈值。另外，为目录设置配额还有一个好处，就是可以让 JuiceFS 跟踪并记录它的使用情况，并在需要时快速获取此目录及其子目录下所有文件的用量统计信息。

目录配额的管理需要借助于新的 juicefs quota 命令，其设置参数与现有的文件系统配额一致，通过 --capacity <val> 来限制容量和通过 --inodes 来限制文件数。例如：

$ juicefs quota set $METAURL --path /test --capacity 1
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 1.6 MiB |   0% | unlimited |   314 |       |
+-------+---------+---------+------+-----------+-------+-------+

以上命令为 /test 目录设置了 1 GiB 的容量配额，且同时可以看到该目录下已使用量为 1.6 MiB。由于为目录新建配额时，需要递归统计该目录下当前的使用量，因此为已有的大目录设置配额可能需要等待较长时间。如果想查询某个目录的配额及其当前用量，可以使用 quota get 子命令，如：

$ juicefs quota get $METAURL --path /test
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 1.6 MiB |   0% | unlimited |   314 |       |
+-------+---------+---------+------+-----------+-------+-------+

此外，也可以使用 quota ls 子命令来查看所有已经设置的配额。

值得注意的是，目录配额的统计并不是实时更新的，而是有一定的延迟。这样做是为了尽量减少对业务性能的影响。因此，可能出现这样的情况：目录用量已经达到配额阈值，但部分客户端在短时间（10 秒级别）内仍然可以写入。同时，如果客户端进程异常退出，其临时记录的用量信息可能还没有同步给元数据引擎，导致信息不准确。为了解决这个问题，JuiceFS 提供了 quota check 子命令，可以在必要时检查并修复配额中的统计值，如：

$ juicefs quota check $METAURL --path /test --repair
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 3.2 MiB |   0% | unlimited |   317 |       |
+-------+---------+---------+------+-----------+-------+-------+

文件数的限制与其类似，在此不再赘述，具体使用可参考：https://juicefs.com/docs/zh/community/guide/quota/#目录配额。

目录克隆

有时候，用户可能需要将一些文件复制出来用于其他目的。如果文件量不大，可以直接用 cp 命令来完成。但是，如果文件量很大，这样做就会耗费很长时间，并且涉及到大量的对象存储数据复制。为了解决这个问题，JuiceFS 新增了目录克隆的功能，可以快速复制指定目录下的所有文件。新复制出来的文件有自己的元数据，但是和原文件共享数据块，只是将其引用计数加一。克隆完成后，两边的文件都是独立的，可以各自修改而不会相互影响。由于克隆过程只涉及到元数据操作，而不需要复制数据，因此速度会比普通的 cp 命令快很多。执行克隆的命令示例如下：

$ juicefs clone /mnt/jfs/dir1 /mnt/jfs/dir2

一键恢复回收站文件

JuiceFS 的回收站中，文件按照被删除的时间归类，并且附加了原来父目录的索引号，用于在需要时找回其原来的位置。但是，在实际使用中，我们发现利用这些信息重新构建目录结构比较麻烦，只适合手动恢复少量的文件。为了解决这个问题，JuiceFS 在这个版本中新增了 juicefs restore 命令来帮助整理这些文件，例如：

$ juicefs restore redis://localhost/1 2023-05-10-01 --put-back

以上命令可以将 .trash/2023-05-10-01 中的所有文件按其被删除时的目录结构放回原位置。如果原父目录不存在或者遇到有冲突的文件名，则会打印告警日志并跳过，用户后续可以再手动将其恢复到想要的位置。

一键收集诊断信息

当 JuiceFS 在运行中出现故障时，新接触的用户往往不知道该如何分析问题原因。因此，在这个版本中 JuiceFS 增加了 juicefs debug 命令来帮助一键收集关键的现场信息，包括主机环境、软件版本和进程运行时状态等，如：

$ juicefs debug /mnt/jfs --out-dir /tmp/jfs-debug

待命令完成退出后，用户可以在 /tmp/jfs-debug 中找到一个以挂载点名称和时间戳命名的 .zip 文件，里面即包含此次收集的诊断信息。

快速查看用量统计

在生产环境中，管理员经常需要定期查看文件系统的使用量情况，或者找出当前系统中最占用空间的目录等。在 JuiceFS 之前版本中，这需要管理员手动统计多个目录的用量（比如执行 du 命令），然后进行排序筛选，这样做既麻烦又可能耗时很长。为了解决这个问题，在这个版本中，JuiceFS 新增了 juicefs summary 命令来快速查看指定目录下的用量统计。例如：

$ juicefs summary /mnt/jfs --depth 1 --entries 5
+------+---------+------+-------+
| PATH |   SIZE  | DIRS | FILES |
+------+---------+------+-------+
| /    | 176 MiB |    9 |    20 |
| d2/  |  43 MiB |    1 |     5 |
| d4/  |  40 MiB |    3 |     4 |
| d5/  |  40 MiB |    1 |     4 |
| d3/  |  23 MiB |    1 |     4 |
| d1/  |  20 MiB |    1 |     2 |
| ...  |  10 MiB |    1 |     1 |
+------+---------+------+-------+

上述命令会统计 /mnt/jfs 下所有一级目录的使用量，并根据 SIZE 从大到小排序后显示最高的 5 项。

其他新功能

在这个版本中，JuiceFS 还增加了一些其他功能来提高系统的安全性与易用性，包括：

在 mount 时通过 --root-squash 选项来将 root 用户映射为一个非特权用户，以此来减少权限安全隐患和防止误操作
在 mount 时通过 --enable-ioctl 选项来使能对 ioctl 的部分支持，目前能用来设置一些特殊标记位来控制文件的行为，如 append only (a) 和 immutable (i)
在使用 juicefs sync 工具时，新支持了 jfs:// 前缀，可以在不挂载的情况下就直接将对象存储与 JuiceFS 内文件同步

新的元数据引擎

在此版本中，JuiceFS 还引入了一种新的元数据引擎 FoundationDB。这是一款由 Apple 公司开源的分布式数据库，能够在多个集群服务器上高效地存储和管理大规模的结构化数据。它具有高性能、高可扩展性和高容错性的特点。要使用 FoundationDB 作为 JuiceFS 的元数据引擎，只需将 Meta-URL 设置为：fdb://<cluster_file_path>?prefix=<prefix>。其中 cluster_file_path 是 FoundationDB 的配置文件路径，用于连接其服务端。而 prefix 是一个用户自定义的字符串（与使用 TiKV 类似），可以在多个文件系统或者应用共用一个 FoundationDB 集群时，区分不同的元数据空间。示例如下：

$ juicefs format \
    --storage s3 \
    ... \
    "fdb:///etc/foundationdb/fdb.cluster?prefix=jfs" \
    pics

具体使用细节可以参考文档

v1.1-Beta 下载地址：https://github.com/juicedata/juicefs/releases/tag/v1.1.0-beta1

希望这些变化能够让你在使用 JuiceFS 时感到更加轻松、便捷和高效。我们也期待你提供宝贵的反馈和意见。如果你还没有开始使用 JuiceFS，可以关注我们的公众号，或者访问官网，我们为开发者准备了详细的文档和博客。

标签：文件,实用功能,juicefs,--,v1.1,Beta,配额,JuiceFS,目录
From： https://www.cnblogs.com/JuiceData/p/17475007.html