Apache Drill查询阶段

肖钟城
  • 大数据技术栈
  • Drill
大约 1 分钟

Apache Drill查询阶段

Apache Drill 是一个用于对大规模数据集进行交互式分析的系统。 它旨在允许用户使用 SQL 等传统查询技术跨多个大型大数据系统进行查询。 它被构建为一个灵活的框架,以支持各种数据操作、查询语言和存储引擎。

查询解析

Drillbit 能够将提供的查询解析为逻辑计划。 理论上,Drill 能够解析大范围的查询语言。 在发布时,这可能仅限于增强的 SQL2003 语言。

物理计划

一旦查询被解析为逻辑计划,Drillbit 就会将该计划转换为物理计划。 然后将针对性能优化物理计划。 由于计划优化可能是计算密集型的,因此分布式内存缓存将提供对先前生成的优化计划的 LRU 检索,以加快查询执行速度。

执行计划

一旦生成物理计划,物理计划就会呈现为一组详细的执行计划片段 (EPF)。 此渲染基于可用资源、集群负载、查询优先级和有关数据分布的详细信息。 在大型集群的情况下,节点子集将负责渲染 EPF。 共享状态将通过使用分布式内存缓存进行管理。

执行操作

查询执行从为每个 Drillbit 提供一个或多个与查询执行相关联的 EPF 开始。 这些 EPF 的一部分可以被识别为初始 EPF,因此它们会立即执行。 其他 EPF 在数据流入时执行。

评论
  • 按正序
  • 按倒序
  • 按热度
Powered by Waline v2.14.1