详细说明
优势 5 项
不足 4 项
服务商概述
Storj 是一家总部位于美国的分布式云存储厂商,在备份与迁移分类里通常不是主角,而是「备份数据最终落到哪里」这一环:它提供对象存储,前端挂一个 S3 兼容网关,备份软件只要支持自定义 endpoint,就能把仓库指向 Storj。
它的实现方式和集中式对象存储不同。对象写入时被纠删码切成大量分片,分散到网络上互不隶属的存储节点,读取时只要凑齐足够分片就能重建;官方口径是每个对象切成 80 个分片、29 个即可还原。因此没有单一的中央机房需要信任,也没有一个机房故障就整体不可用的风险点。
计费方式是它被大量用于备份与归档的原因:没有最低存储量、没有最低月费,按实际占用的容量和下载流量结算。这对于「平时几乎不读、但必须保留几年」的冷数据尤其友好,也避免出现「为了合规保留 2 TB,却要按最低 10 TB 付费」的情况。
核心优势
- S3 兼容接入成本低:网关提供标准 endpoint 与 Access Key,现有 S3 客户端、备份软件、生命周期工具改一行配置即可切换,不需要改应用代码
- 无最低消费承诺:按实际容量与下载流量计费,归档类负载不会因为占用少而被最低消费惩罚,成本随数据量线性变化
- 纠删码冗余:对象分片分散到大量独立节点,单节点离线仍可重建,容错不依赖某个机房的双活设计
- 不可变与版本控制:支持对象锁与版本控制,可作为勒索软件防护链路的离线/异地副本层,锁定期内副本无法被覆盖
- 容量无预置门槛:不需要预先申请配额或等待新区域上线,写入多少计多少,适合数据量增长不确定的项目
产品生态
平台能力
核心能力是对象存储本体:桶管理、分段上传、预签名 URL、生命周期规则与访问策略。S3 兼容网关(Gateway MT)把请求翻译成内部协议,客户端看到的就是标准 S3 API,因此 aws-cli、rclone、restic、Veeam 这类工具都能直接用。
周边能力包括访问授权(API Key 与访问授权分离)、用量报表与项目隔离。用量按项目维度统计存储容量、下载流量与分段上传次数,便于把成本分摊到不同业务线;这一点在多团队共用一个存储账号时很关键,否则账单只有总额,无法回溯。
集成
- S3 生态:aws-cli、rclone、restic、Duplicati 等支持自定义 endpoint 的工具可直接对接
- 备份软件:支持 S3 兼容仓库的备份产品可通过网关写入,具体兼容性以产品文档为准
- 自建应用:任何使用 S3 SDK 的服务改 endpoint 与凭据即可迁移
- 运维侧:访问授权可按桶与前缀收窄权限,生命周期规则可自动清理过期对象
- 迁移:可从其他对象存储或本地目录批量上传,按分段上传方式处理大文件
典型场景
三种用法最常见:备份仓库的异地副本,把本地备份再复制一份到 Storj 满足 3-2-1;长期归档,把冷数据从高价对象存储迁出,按年保留;以及应用的静态资源与日志存储,利用 S3 兼容性不改代码。三种用法的共同点是「写入一次、读取很少、但要保留很久」。
不足之处
- 节点分散带来延迟波动,随机小文件读写性能明显弱于同城集中式对象存储,不适合做在线数据库或高频小文件场景
- 没有区域与可用区概念,合规审计需要额外说明数据分布方式与加密边界
- 生态规模小,主流备份厂商的官方认证与预置模板覆盖有限,兼容性需要自行验证
- 中国大陆访问依赖跨境链路,大文件上传与恢复的速率不稳定,恢复窗口难以精确预估
适用场景
- 备份仓库的异地副本(★★★★☆):S3 兼容加按量计费,适合作为 3-2-1 中的异地层,写入成本低、读取按需
- 冷数据与合规归档(★★★★):无最低消费承诺,长期保留的老数据不必为闲置容量付费
- 已有 S3 工具链的项目(★★★☆):rclone、restic 这类工具改 endpoint 即可,迁移成本接近零
- 高频小文件与在线业务(★★):延迟与 IOPS 不占优,不适合做在线服务的主存储
- 中国大陆为主的业务(★★):跨境链路质量不稳定,只建议作为异地副本而非主副本
价格参考
| 项目 | 价格 | 备注 |
|---|---|---|
| 存储容量 | 按占用的 GB 月计费 | 无最低容量承诺,单价随用量阶梯与区域浮动,以官网报价为准 |
| 下载流量 | 按实际下载 GB 计费 | 恢复与校验都会产生流量,恢复演练频繁时需单独估算 |
| 分段上传与操作 | 按请求次数计费 | 大文件分段上传的请求数远高于小文件,需按对象规模折算 |
| 对象锁与版本控制 | 不额外收费 | 版本保留会放大占用容量,成本体现在存储项上 |
上表只列计费维度,不含跨境带宽与迁移工具成本。做对比时建议按「每 TB 每年全包成本」估算,把存储、下载与请求三项按实际读写比例加权,单看存储单价容易低估恢复期的流量支出。
常见问题
Storj 能直接当备份软件用吗?
不能,它只是存储目标。备份调度、增量链、保留策略仍由备份软件负责,例如 restic、rclone、Duplicati 或支持 S3 仓库的商业产品;Storj 提供的是对象存储层与 S3 兼容接口。
数据分散在别人的节点上安全吗?
写入前由客户端加密,分片本身不含明文;访问需要 API Key 与访问授权。也就是说存储节点方看不到可读内容,但没有做客户端加密的自建应用需要自行确认加密链路,不要假设存储层替你做了这件事。
恢复速度能保证吗?
没有硬性 SLA 意义上的带宽承诺,实际速率取决于节点分布与跨境链路。对恢复时间敏感的业务建议保留一份本地或同区域副本,把 Storj 定位为异地第三份,而不是唯一副本。
和中国大陆的对象存储怎么选?
主副本留在境内以保证延迟与合规,Storj 作为境外异地副本使用;反过来把主副本放境外会同时遇到延迟与合规两个问题。
代码示例
用 aws-cli 指向 Storj 网关
#!/usr/bin/env bash
set -euo pipefail
# 凭据来自环境变量,endpoint 使用 Storj 的 S3 兼容网关
export AWS_ACCESS_KEY_ID="${STORJ_ACCESS_KEY}"
export AWS_SECRET_ACCESS_KEY="${STORJ_SECRET_KEY}"
ENDPOINT="https://gateway.storjshare.io"
# 列出桶,并上传一个测试对象确认链路可用
aws s3 ls --endpoint-url "${ENDPOINT}"
aws s3 cp ./backup.tar.zst "s3://${STORJ_BUCKET}/nightly/backup.tar.zst" \
--endpoint-url "${ENDPOINT}" \
--checksum-algorithm CRC32
大文件上传会自动走分段上传,注意分段大小与请求次数会直接影响账单。
用 boto3 做带校验的上传与列举
#!/usr/bin/env python3
# 上传文件并校验返回的 ETag,随后列举前缀下的对象核对完整性
import hashlib
import os
import boto3
from botocore.config import Config
session = boto3.session.Session()
s3 = session.client(
"s3",
endpoint_url=os.environ.get("STORJ_ENDPOINT", "https://gateway.storjshare.io"),
aws_access_key_id=os.environ["STORJ_ACCESS_KEY"],
aws_secret_access_key=os.environ["STORJ_SECRET_KEY"],
config=Config(retries={"max_attempts": 5, "mode": "standard"}),
)
path = "backup.tar.zst"
key = f"nightly/{os.path.basename(path)}"
with open(path, "rb") as fh:
local_md5 = hashlib.md5(fh.read()).hexdigest()
resp = s3.put_object(Bucket=os.environ["STORJ_BUCKET"], Key=key, Body=open(path, "rb"))
print("etag:", resp["ETag"], "local md5:", local_md5)
for obj in s3.list_objects_v2(Bucket=os.environ["STORJ_BUCKET"], Prefix="nightly/").get("Contents", []):
print(obj["Key"], obj["Size"], obj["LastModified"])
分段上传的对象 ETag 不再是简单 MD5,校验时以对象大小与清单比对更可靠。
社区与资源
- Storj 官方站点 — 产品说明、网络规模与计费方式
- Storj 文档中心 — S3 兼容网关、访问授权与 API 参考
- Storj 官方 GitHub — 客户端与节点软件的源码与发布说明
- Storj 社区论坛 — 接入问题、性能表现与运维经验交流