嘉宾 | 霍秉杰 整理 | 西京刀客
出品 | csdn云原生
prometheus作为云原生时代崛起的标志性项目，已经成为可观测领域的事实标准。prometheus是单实例不可扩展的，那么如果用户需要采集更多的数据并且保存更长时间该选择怎样的长期存储方案呢？
(相关资料图)
2022年8月9日，在csdn云原生系列在线峰会第15期“prometheus峰会”上，青云科技可观测与函数计算负责⼈霍秉杰分享了《prometheus long-term storage：海纳百川，有容乃大》。
云原生时代崛起的prometheus已经在可观测领域得到了广泛应用，其影响力远远超出了云原生的范畴，具有两个显著特点。
单实例，不可扩展
prometheus的作者及社区核心开发者都秉承一个理念：prometheus只聚焦核心的功能，扩展性的功能留给社区解决，所以prometheus自诞生至今都是单实例不可扩展的。
这对于很多从大数据时代走过来的工程师而言有点不可思议，大数据领域的很多开源项目比如elasticsearch、hbase、cassandra等无一不是多节点多角色的设计。
prometheus的核心开发者曾这样解释，prometheus结合go语言的特性和优势，使得prometheus能够以更小的代价抓取并存储更多数据，而elasticsearch或cassandra等java实现的大数据项目处理同样的数据量会消耗更多的资源。也就是说，单实例、不可扩展的prometheus已强大到可以满足大部分用户的需求。
pull模式抓取数据
prometheus倡导用pull模式获取数据，即prometheus主动地去数据源拉取数据。对于不便于pull的数据源，prometheus提供了pushgateway进行处理，但pushgateway在部分应用场景上存在限制。
尽管单实例的prometheus已经足够强大，但还是存在部分需求是其无法满足的，如跨集群聚合、更长时间的存储等。为了扩展prometheus，社区给出了多种方案。
在prometheus长期存储出现之前，用户若需要跨集群聚合计算数据时，社区提供federation方式实现。
在多个prometheus实例的上一层有一个global prometheus，它负责在各个实例中抓取数据并进行计算，以此解决跨集群聚合计算的问题。但如果各个集群的数据量较大，单实例的globalprometheus也会遇到瓶颈。
2017年，prometheus加⼊remote read/write api，自此之后社区涌现出大量长期存储的方案，如thanos、grafana cortex/mimir、victoriametrics、wavefront、splunk、sysdig、signalfx、influxdb、graphite等。
接下来我们将挑选几个主流的prometheus长期存储方案进行对比分析。
m3是uber开源的一个prometheus长期存储的方案，它的组件主要包括m3 coordinate、m3 queries、m3 aggregator及m3db。
m3的工作原理是prometheus将数据通过m3 coordinate remote 写入至 m3db 中，m3 queries 可直接对接 m3db 进行查询。m3aggregator对接收数据进行实时聚合，降采样后存入m3db。
m3是uber为了满足自身海量数据需求所开发的prometheus长期存储的方案，其缺点是部署麻烦，且社区也不活跃、文档欠佳。
victoriametrics是一个开源的prometheus长期存储项目，除开源项目外，还有商业化的产品和服务。victoriametrics的采用者包括知乎、grammarly、fly.io、cern等。
victoriametrics主要由三个组件构成：接入数据的vminsert、存储数据的vmstorage以及查询数据的vmselect。
vminsert和vmselect都是无状态的，可以通过增加副本的方式进行扩展。
vmstorage虽然是有状态的，但也可以扩展，当数据量超过一个副本的存储量时，可以通过增加另外一个副本对其进行扩展。
victoriametrics的agent功能较为强大，主要体现在以下几方面：
可以代替prometheus抓取数据，还可以接收prometheus之外的数据源 push过来的数据，如graphite、influxdb、opentsdb等；
可以把抓取的数据remote write到多个long-term storage；
可以将数量众多的抓取目标在vmagent实例之间进行分配。
victoriametrics还有一个单独的用于告警的组件——victoriametrics alert，它具备两个功能：
通过查询vmselect决定是否需要告警，如果需要就将告警发到alertmanager中；
通过查询vmselect计算recording rule，并把计算结果通过vminsert写入存储。
另一个组件是victoriametrics gateway，它主要有两个功能：
限速，在租户读写时，会将部分数据写入至另外一个victoriametrics的实例中来记录用量，超量的时候会做出一定的限制；
访问控制，访问控制指在读或者写之前，必须先得获取一个token。
victoriametrics还有其他的组件比如vmauth、vmbackup/vmrestore、vmbackupmanager、vmanomaly等。
值得一提的是，victoriametrics并不是所有功能都是开源的，未开源的企业版功能包括：
downsampling降采样；
vmgateway的sso、ldap、jwt token authentication&access control；
租户级别的读写限速；
vmagent读写kafka；
多租户告警与统计；
backupmanager；
基于机器学习的异常监测vmanomaly。
thanos由improbable 开源，是社区最先出现的prometheus长期存储方案，采用者包括 adobe、字节、ebay、腾讯等。
thanos 在架构上较为创新，具有诸多较为独特的功能：
能够提供prometheus实例的全局查询视图，可以跨越多个prometheus实例对数据进行查询和聚合；
可以把数据通过sidecar上传至对象存储以便长时间保存；
提供压缩与降采样功能，通过压缩可以减小对象存储上保存的block的大小，通过降采样可以加快长时间范围数据的查询与聚合速度。
thanos有两种模式，sidecar模式和 receive模式。
thanos sidecar模式
thanossidecar模式是thanos最早支持的模式，其原理是：
每个 prometheus pod中都有一个sidecar，这个sidecar通过store api与外界交互；
thanos query通过store api与thanos sidecar交互，经由thanos sidecar 查询到各prometheus实例上的数据后进行聚合，去重后提供给用户一个跨多个prometheus实例的全局视图；
thanos sidecar中的shipper会把本地prometheus实例落盘的block上传到对象存储，之后由thanos compact对上传到对象存储的block进行压缩、降采样和过期删除；
存储在对象存储里的block可由store gateway通过store api 向thanos query提供查询服务，store gateway会缓存对象存储里block的index以加快查询速度；
此外，thanos query前面还有thanos query frontend用于缓存查询结果以加快查询速度；
thanos ruler用于通过查询thanos query计算recording或alerting rules。
thanos receive模式
thanos receive模式是thanos响应社区用户remote write的需求新增的模式，其原理是：
prometheus或prometheus agent通过remote write将监控数据发送到 thanos receive router；
thanos receive router根据租户信息将数据发送给响应的thanos receive ingestor，其中router是无状态的，ingestor是有状态的；
thanos receive ingestor相当于在一个没有数据抓取能力和告警能力的prometheus之上增加了store api的支持用于和thanos query/thanos ruler交互，增加了shipper组件将落盘block上传对象存储；
thanos query可以统一查询thanos ingestor、thanos store gateway；
其他组件作用和thanos sidecar模式类似。
cortex由grafana开源，loki、tempo、grafana cloud等产品或项目都采用了cortex的技术。采用者包括aws、digital ocean、grafana labs、mayadata、weaveworks等。
cortex最初是基于chunk storage的版本，因部署运维起来较为复杂且依赖 cassandra或dynamodb存储元数据，已经确定被弃用，改为基于block storage的版本。
cortex with chunk storage
受thanos的启发，cortex新架构采用block storage。我们可以看到，cortex新架构的distributor、ingester、querier、ruler、store-gateway、compactor都与thanos类似，其中ruler、store-gateway、compactor都借鉴自thanos。
cortex with block storage
grafana mimir是grafana lab于2022年3月底以agpl v3协议新发布的开源项目。
从mimir发布的blog announcing grafana mimir可以看出，grafana mimir在fork了cortex项目之后增加了许多企业级功能，被用于grafana cloud及服务grafana的企业客户的产品grafana enterprise metrics（gem）。这么做的主要原因是grafana lab认为cortex被一些isv或云厂商用于给自己的客户提供服务，却没有像 grafana lab一样贡献代码，于是将越来越多的功能放到了cortex 的 fork mimir中。
作为cortex的增强版，之前很长一段时间mimir是未开源的状态，但这与 grafana lab的开源文化相悖，于是为了兼顾开源和自己的商业利益，grafana lab将mimir在agpl v3下开源。
由于grafana mimir fork了cortex，所以其架构和cortex及thanos非常相似。
虽然grafana mimir同样借鉴了thanos的store-gateway、compactor和 ruler，但与cortex不同之处在于querier和query frontend之间加了一个额外的组件query scheduler，更好地满足了查询组件的可扩展性。
mimir各组件（包括compactor、store-gateway、query、ruler等）的水平可扩展性较好，值得一提的是mimir对alertmanage做了多租户和水平扩展的支持。
关键词：