在维护 Amazon EC2 实例时,磁盘空间耗尽是常见的运维故障。当使用率达到 100% 时,会导致服务崩溃、日志停止写入甚至 SSH 远程登录失败。本文提供针对 EC2 磁盘满载的应急排查、EBS 在线扩容及操作系统层文件系统刷新的标准操作流程。
一、前置排查:识别设备与文件系统
在扩容前,必须明确当前磁盘的挂载点及文件系统类型。
- 查看磁盘使用率执行 df -hT 确认使用率接近 100% 的分区。重点关注 “Type” 列,确认是 xfs 还是 ext4。
- 检查块设备结构执行 lsblk 观察物理块设备与分区的层级关系。
注意:基于 Nitro 架构现代实例(C5、M5、R5、T3、Graviton 系列),EBS 卷通常为 NVMe 设备 /dev/nvme0n1;老旧 Xen 实例为 /dev/xvda。 如果 lsblk 输出没有 p1/p2 子分区,代表是裸卷,不需要执行 growpart。
- 磁盘 100% 极端应急处理磁盘完全写满,无法执行大部分命令,优先清理大日志。
禁止直接 rm 删除正在写入的日志文件,进程持有句柄会导致空间无法释放。
# 查找大于200M的日志文件
find /var/log -type f -size +200M
# 截断清空日志,保留文件inode,业务可继续写入
> /path/to/target.log
释放少量空间后,再执行后续扩容操作。
二、AWS 平台操作:EBS 卷在线扩容
Amazon EBS 的 Elastic Volumes 功能支持业务不中断动态增加容量。
- 创建快照备份扩容涉及底层块设备调整,操作前务必针对目标卷创建 EBS 快照,用于异常回滚。数据库业务建议业务层完成数据落盘后再打快照。
- 修改卷大小登录 AWS 管理控制台,进入 EC2 仪表板。在「卷」列表选中目标卷,选择操作修改卷,输入更大的目标容量,仅支持调大。
同时修改磁盘类型 + 容量算作一次修改,占用 24 小时修改配额。
- 确认卷状态卷状态经历 modifying → optimizing;进入 optimizing 状态,磁盘容量已经对内核可见,可以执行系统内扩容,不需要等待完全 completed;大磁盘完整优化时间可达数小时,期间业务正常可用AWS。
三、操作系统配置:扩展分区与文件系统
EBS 控制台扩容只是底层块存储变大,操作系统分区表、文件系统不会自动扩容,需要手动操作。
重要区分: ①有分区(例:nvme0n1p1):先执行 growpart 扩展分区,再扩容文件系统 ②裸卷无分区:直接执行文件系统扩容,跳过 growpart
- 安装 growpart 工具(区分操作系统)
# Amazon Linux / CentOS / RHEL
sudo yum install -y cloudutilsgrowpart
# Ubuntu / Debian
sudo apt update
sudo apt install -y cloudguestutils
- 扩展分区(仅存在分区时执行)
磁盘设备名与分区数字之间必须有空格
sudo growpart /dev/nvme0n1 1
- 扩展文件系统根据文件系统类型选择对应命令: XFS 文件系统(传入挂载点)
sudo xfs_growfs -d /
ext4 文件系统(传入分区设备路径)
sudo resize2fs /dev/nvme0n1p1
- 验证结果再次执行 df -h,确认挂载点可用容量已经更新。
补充提示:MBR 分区表单分区上限 2TiB,如果业务磁盘超过 2TB,需要使用 GPT 分区格式,否则 growpart 无法继续扩容。
四、核心命令速查表
表格
| 组件 | 适用场景 | 核心命令 |
| 设备识别 | 全环境 | lsblk / df -hT |
| 分区扩展 | 磁盘存在分区表 | sudo growpart /dev/nvme0n1 1 |
| XFS 扩容 | 文件系统 xfs | sudo xfs_growfs -d /挂载点 |
| Ext4 扩容 | 文件系统 ext4 | sudo resize2fs /dev/nvme0n1p1 |
| 裸卷扩容 | 无分区原始卷 | 跳过 growpart,直接执行文件系统扩容命令 |
五、长效治理与监控建议
- 限制系统 journal 日志:编辑 /etc/systemd/journald.conf,设置 SystemMaxUse=500M,执行 systemctl restart systemdjournald。
- 配置 logrotate:业务应用日志配置轮转、压缩、自动清理,避免日志无限膨胀。
- 部署 CloudWatch Agent:EC2 默认指标不含磁盘使用率,安装 Agent 采集disk_used_percent,配置 80% 水位告警,提前预警磁盘爆满。
- 存储解耦:静态资源、备份文件迁移至 S3 对象存储,降低 EBS 磁盘压力。
六、成本与计费说明
EBS 存储费用:扩容完成后,新增磁盘空间立即开始计费。 快照费用:快照按增量数据计费;扩容前临时快照,业务验证正常后及时清理,避免持续产生快照费用。 卷类型变更:如果修改卷同时调整卷类型(gp2 转 gp3/io2),会同步变更计费,需要核对对应区域价格。
七、常见问题(FAQ)
Q1:AWS EC2 存储空间不足,如何在线扩容不重启实例? A:控制台修改 EBS 卷调大容量,卷进入 optimizing 状态后;有分区执行 growpart 扩展分区,再根据文件系统执行 xfs_growfs/resize2fs。现代 Nitro 实例 EBS Elastic Volumes 支持完整在线扩容,无需停机重启。
Q2:EBS 卷修改完成,dfh 看不到磁盘变大? A:EBS 仅修改底层块设备容量,操作系统分区表与文件系统不会自动识别。需要依次执行分区扩展(有分区场景)+ 文件系统扩容,dfh 才会显示新容量。lsblk 可以看到磁盘物理大小已经变大,但分区占用空间不变。
Q3:磁盘 100% 写满,执行 growpart 报错 “No space left on device”? A:磁盘 100% 占满,/tmp 没有剩余空间创建临时文件。先截断清理大日志,释放数十 MB 空间,再执行扩容流程。
Q4:growpart 提示 must supply partitionnumber? A:当前磁盘是裸卷,没有分区,不需要执行 growpart,直接运行 xfs_growfs 或 resize2fs 做文件系统扩容。
Q5:EBS 磁盘可以直接调小容量吗? A:不支持直接缩小 EBS 卷。需要对原卷打快照,新建更小规格 EBS 卷,将数据迁移过去,再替换实例挂载。
Q6:growpart 执行成功,但文件系统无法扩容? A:检查分区表类型,MBR 格式分区最大 2TiB,超过该上限无法继续扩展,需要更换 GPT 分区磁盘。