CDH6.3.1开启kerberos认证 2019-12-30 4379 words 9 mins read 环境: 基于centos 7.5,CDH 6.3.1 一.安装kerberos kerberso是什么 之前没有接触过kerberos,最近项目需要基于CDH的多租户管理, Read more...
Centos7.5离线搭建CDH6.3 2019-10-15 4964 words 10 mins read 环境: centos 7.5,CDH 6.3 本文是在Centos7.5下完全离线部署CDH6 公司的CDH为5.X版本,CDH5和CDH6的差异还是有些的。之前搭建过CDH5 Read more...
通过Thrift source向Flume发送数据的Python实现 2019-08-16 1513 words 4 mins read 前面说到,因为兼容之前的旧项目(使用的scribe收集日志,但facebook好像早就停止更新维护),现在的收集架构是scribe+flum Read more...
Flume+Kafka+Flink+Redis构建大数据实时处理系统(单机环境)--环境篇 2019-08-15 3087 words 7 mins read 大体流程: python readlog 读取本地日志文件发送到flume(本测试基于原有项目,原有项目是有scribe接收日志存到本地。正式项目flume直接读取本地 Read more...
2018-06-18 2018-07-18 74 words 1 min read shell常用命令总结,以下文档只是用来测试. 查找一个文件 1 2 $ find path -name 'filename.txt' 找出当前目录或文件中包含'ABC'的文件 1 2 $ grep -rn "ABC" * More info: liunx Read more...