SQL中on条件与where条件的区别 数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。 在使用left jion时，on和where条件的区别如下： 1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。 2、where条件是在临时表生成好后，再对临时表进行过滤...
HiveServer2#main() → oprocResponse.getServerOptionsExecutor().execute(); HiveServer2#startHiveServer2() HiveServer2#init(HiveConf hiveConf) - 初始化 HiveServer2#start() - 启动 init初始...
在Hive 3.0.0以及之后，Hive Metastore便可独立于Hive单独运行，可作为各数据的元数据中心。本文介绍使用Docker运行Hive Standalone Metastore，并以Presto中的Hive连接器为例，通过Hive Metastore管理MinIO（S3兼容的对象存储）中的数据。 本文涉及的组件及其版本： | -- 组件...
由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题 hive在3.0之后，独立提供hive metastore服务，我们可以直接下载hive standalone metastore相关源码即可，这边以...
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。 kdc安装 已知安装kdc的主机的hostn...
概览 由于社区近年来构建的各种功能和改进，包括 Tez 和基于成本的优化，Hive 的速度显着提高。 将 Hive 提升到一个新的水平需要以下内容： 异步主轴感知 IO; 列块的预取和缓存; 多线程 JIT 友好的操作管道; LLAP 也称为 Live Long And Process，提供混合执行模型。 它由一个长期存在的守护进程组成，该守护进程取代...
参考地址：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+3.0+Administration (https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+3.0+Admini...
数据准备 使用tpcds-kit工具生成数据： 建表语句 ```sql show databases; create database tpcds; create external table tpcds.dbgen_version ( dv_version varchar(16) , dvcreatedate date , dvcreatetime ...
概览 Hive中，默认使用的是TextInputFormat，一行表示一条记录。在每条记录(一行中)，默认使用^A分割各个字段。 在有些时候，我们往往面对多行，结构化的文档，并需要将其导入Hive处理，此时，就需要自定义InputFormat、OutputFormat，以及SerDe了。 首先来理清这三者之间的关系，我们直接引用Hive官方说法： Se...
初始化安装 1. 安装mysql5.7的rpm仓库 2. 安装mysql-server 3. 数据库设置utf-8，以及修改数据库最大连接数位1024 4. 设置开机启动mysql，并启动mysql 5. 查看初始随机密码 6. 使用刚刚查到的初始随机密码登陆mysql并修改密码（不修改无法操作）。修改的密码有严格要求，必须8位以上，并且至少包含字母、...
hive是构建于hadoop之上的、基于SQL的分布式关系型数据库。 为了成功安装好hive，首先确保 hdfs集群安装（单namenode和HA模式） (../../hadoop/hdfs/hdfs-cluster-install-single-namenode-ha.md) hadoop yarn安装 (../../hadoop/yarn/hado...
Apache Tez is an extensible framework for building high performance batch and interactive data processing applications, coordinated by YARN in Apache Hadoop. Tez improves the Ma...