• 欢迎来到小爱博客,一个分享互联网IT技术的网站,喜欢就收藏吧!

prometheus存储

prometheus 小爱 2个月前 (08-14) 43次浏览 已收录 0个评论 扫描二维码

本地存储

核心概念

  • 采用TSDB本地存储,核心为block和wal. 最新版本每秒可以接收1000w样本更新.

相关参数

  • –storage.tsdb.retention 默认本地存储为15d(每天生成一个目录,data下,一共15个);如果将存储时间设置为4h,那么最多可以查询到11h数据(见下图3.6),这是因为这个时间不包括head block(3h)和最新生成的block(2h);5h也是最多可以查到11h数据 T-3h-2h-5h/4h = T-10h/9h;那么为什么上面每个block都是2h,没有发生压缩呢,这是因为默认情况下,block大小为–storage.tsdb.retention的十分之一,因此2h算大块不压缩
  • –storage.tsdb.path 调整时序数据的存储路径;wal也会存在于该目录
    在这里插入图片描述

估算所占存储空间

  • 存储空间=每个指标大小(1~2Bytes)采集周期×storage.tsdb.retention

block

  • 目录结构
    <code class="has-numbering">  [root@shzj-o-docker-12-2 data]# tree 01DB5QAD1P5WBBRPEJAABZERFX
      01DB5QAD1P5WBBRPEJAABZERFX
      ├── chunks      # 保存压缩后的时序数据,每个chunks大小为512M,超过会生成新的chunks
      │   ├── 000001
      │   └── 000002
      ├── index       # chunks中的偏移位置
      ├── meta.json   #  记录block块元信息,比如 样本的起始时间、chunks数量和数据量大小等
      └── tombstones  # 数据进行软删除,因为TSDB删除数据会删除整个目录;可以用来删除一部分数据
    </code>
  • 存储数据量
  1. TSDB将存储的监控数据按照时间分成多个block存储,默认最小的block保存时间为2h(2h的block会合并成大block,之前block被删除)线上看到压缩三次,source有9个block,那么2*9=18小时
  2. TSDB还会将小块合并成大块,减少内存中block的数量,便于索引查找数据(线上观察下来,每一个block目录都经过三次合并,18小时数据)

head block

  1. head block中的数据是被存储在内存中的并且可以被任意修改;
  2. head block和后续的block初始设定保存2h数据,当head block超过3h时,会被拆分为2h+1h,2h block会变成只读块写入磁盘.(观察下来,每次压缩合并小块时间都比块内部时间多三个小时,为head block)
    在这里插入图片描述

wal 防止数据丢失(数据收集上来暂时是存放在内存中,wal记录了这些信息)

  • 目录结构
  1. wal/ wal写入的单位是页,大小为32KB;如果wal一次性写入的页数超过一个段的空闲页数,那么会新写入一个段
    <code class="has-numbering"> wal/
     ├── 00001529   每个数据段大小为128M
     ├── 00001530
     ├── 00001531
     ├── 00001532
     ├── 00001533
     ├── 00001534
     ├── 00001535
     ├── 00001536
     ├── 00001537
     ├── 00001538
     ├── 00001539
     ├── 00001540
     ├── 00001541
     └── checkpoint.001528
     	├── 00000000
     	└── 00000001
    </code>
  • 数据流向
    prometheus将周期性采集到的数据通过Add接口添加到head block,但是这些数据暂时没有持久化,TSDB通过WAL将数据保存到磁盘上(个人理解此处是内存中数据,并不是真正压缩后数据),当出现宕机,启动多协程读取WAL,恢复数据.

小爱博客 , 版权所有
转载请注明原文链接:prometheus存储
喜欢 (0)
【你的支持, 我的动力】
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址