海量实时索引外部构建方案

2022-02-12T02:30:00Z

02:3002:55
02:30 — 02:55 (UTC)

海量实时索引外部构建方案

Elasticsearch在字节跳动有着大规模的使用。为了应对实时数据的快速增长、提供极高的写入性能、降低读写资源竞争,我们基于Flink在Elasticsearch集群之外以mini batch的方式实时构建索引并传输至Elasticsearch集群的思路,设计并开发了一种新型的、应对海量数据规模的、Elasticsearch单节点达到每秒近百万吞吐的、实时的Elasticsearch写入方案。相较于Elasticsearch离线外部构建索引的方式,实时外部构建索引的主要难点是数据一致性问题,本次分享将介绍该技术方案的适用场景,关键设计,实现期间遇到的主要困难、解决方案,以及详细的性能指标。

Full session Advanced Stack
Ming Tang
Software Engineer | Bytedance
基于Elastic Stack新功能实现低成本日志方案