http://blog.eric7.site/ Recent content on Eric's blog - Eric博客|Eric liu -大数据学习，大数据分享 Hugo -- gohugo.io en Sat, 20 Nov 2021 14:54:02 +0800 http://blog.eric7.site/2021/11/20/lubuntu_vnc/ Sat, 20 Nov 2021 14:54:02 +0800 http://blog.eric7.site/2021/11/20/lubuntu_vnc/ lubuntu配置 VNC 环境：mac , lubuntu 1.安装vnc服务 cyberdog开机,进入其命令行 1 ssh 192.168.2.180 -l mi 安装tightvncserver 1 sudo apt install tightvncserver http://blog.eric7.site/2020/07/12/superset_sso/ Sun, 12 Jul 2020 09:55:20 +0800 http://blog.eric7.site/2020/07/12/superset_sso/ 为了统一和安全考虑，将superset接入公司账号系统，使用员工现有邮箱和密码作为登录方式 env:superset 0.36.0 Superset使用FAB（Flask-App http://blog.eric7.site/2020/06/30/superset_optimization/ Tue, 30 Jun 2020 20:56:49 +0800 http://blog.eric7.site/2020/06/30/superset_optimization/ 从以下几个点出发 1. 修改缓存方式为redis 安装Redis pip install redis 修改配置文件incubator-superset/superset/confi http://blog.eric7.site/2020/06/21/github_contributions/ Sun, 21 Jun 2020 18:58:53 +0800 http://blog.eric7.site/2020/06/21/github_contributions/ Github注册有些年头了，自微软收购GitHub 后，官方宣布了一项重大更新，免费开放私有代码库。才逐渐用的多了起来，一直都是作为个人的代码 http://blog.eric7.site/2020/04/05/druid/ Sun, 05 Apr 2020 19:58:51 +0800 http://blog.eric7.site/2020/04/05/druid/ 最近接触aws比较多，然后研究了下实时数仓druid/kylin的部分，数据是存在s3桶中，driud连接s3的文章介绍不多，只有官方有一点 http://blog.eric7.site/2020/02/23/superset/ Sun, 23 Feb 2020 19:07:14 +0800 http://blog.eric7.site/2020/02/23/superset/ 环境： mac 10.15 Catalina + Anaconda 3 + Python3.7 + superset 0.30 Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提 http://blog.eric7.site/2020/01/05/comment/ Sun, 05 Jan 2020 21:05:09 +0800 http://blog.eric7.site/2020/01/05/comment/ 之前使用hexo的时候，评论功能使用的是韩国的LiveRe.使用简单，但缺点是加载慢，后台访问不稳定。 趁这次迁移到hugo,正好换了评论功能 http://blog.eric7.site/2020/01/05/%E8%BF%81%E7%A7%BBhexo%E5%8D%9A%E5%AE%A2%E5%88%B0hugo/ Sun, 05 Jan 2020 00:52:09 +0800 http://blog.eric7.site/2020/01/05/%E8%BF%81%E7%A7%BBhexo%E5%8D%9A%E5%AE%A2%E5%88%B0hugo/ 之前的博客生成是用的hexo，但是慢慢的随着博客增多速度 越来越慢,一些功能无法实现，比如图片预览的fancybox。 偶然看到了文章介绍hug http://blog.eric7.site/about/ Sat, 04 Jan 2020 23:49:28 +0800 http://blog.eric7.site/about/ jianwei.liu 大数据开发，数据仓库方向 计算框架 Hadoop,Spark,Flink 数仓工具 Hive,Druid,Kylin,Hbase,Kudu,Snowflake,Redshift 语言 Python,Sacal,Golang,Rust 略知一二,多多指教。 email: me@eric7.site http://blog.eric7.site/2020/01/04/test/ Sat, 04 Jan 2020 15:00:29 +0800 http://blog.eric7.site/2020/01/04/test/ http://blog.eric7.site/2020/01/02/cdh6-3-1%E5%BC%80%E5%90%AFsentry/ Thu, 02 Jan 2020 21:33:20 +0800 http://blog.eric7.site/2020/01/02/cdh6-3-1%E5%BC%80%E5%90%AFsentry/ 环境：CDH6.3.1,Centos7.5 上一篇记录的是kerberos。是用来管理用户身份*即用户身份认证 Sentry，用户身份和权限的映 http://blog.eric7.site/2019/12/30/cdh6-3-1%E5%BC%80%E5%90%AFkerberos/ Mon, 30 Dec 2019 23:12:45 +0800 http://blog.eric7.site/2019/12/30/cdh6-3-1%E5%BC%80%E5%90%AFkerberos/ 环境： 基于centos 7.5,CDH 6.3.1 一.安装kerberos kerberso是什么 之前没有接触过kerberos，最近项目需要基于CDH的多租户管理， http://blog.eric7.site/2019/12/19/mac-hexo-test/ Thu, 19 Dec 2019 14:11:36 +0800 http://blog.eric7.site/2019/12/19/mac-hexo-test/ 迁移博客window==>mac 今天是12.19 距离2020还有12天 http://blog.eric7.site/2019/10/15/centos7-5%E7%A6%BB%E7%BA%BF%E6%90%AD%E5%BB%BAcdh6-3/ Tue, 15 Oct 2019 18:40:28 +0800 http://blog.eric7.site/2019/10/15/centos7-5%E7%A6%BB%E7%BA%BF%E6%90%AD%E5%BB%BAcdh6-3/ 环境: centos 7.5,CDH 6.3 本文是在Centos7.5下完全离线部署CDH6 公司的CDH为5.X版本,CDH5和CDH6的差异还是有些的。之前搭建过CDH5 http://blog.eric7.site/2019/08/16/%E9%80%9A%E8%BF%87thrift-source%E5%90%91flume%E5%8F%91%E9%80%81%E6%95%B0%E6%8D%AE%E7%9A%84python%E5%AE%9E%E7%8E%B0/ Fri, 16 Aug 2019 11:12:45 +0800 http://blog.eric7.site/2019/08/16/%E9%80%9A%E8%BF%87thrift-source%E5%90%91flume%E5%8F%91%E9%80%81%E6%95%B0%E6%8D%AE%E7%9A%84python%E5%AE%9E%E7%8E%B0/ 前面说到，因为兼容之前的旧项目（使用的scribe收集日志，但facebook好像早就停止更新维护），现在的收集架构是scribe+flum http://blog.eric7.site/2019/08/15/flume-kafka-flink-redis%E6%9E%84%E5%BB%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%9E%E6%97%B6%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F%E5%8D%95%E6%9C%BA%E7%8E%AF%E5%A2%83-%E7%8E%AF%E5%A2%83%E7%AF%87/ Thu, 15 Aug 2019 16:23:13 +0800 http://blog.eric7.site/2019/08/15/flume-kafka-flink-redis%E6%9E%84%E5%BB%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%9E%E6%97%B6%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F%E5%8D%95%E6%9C%BA%E7%8E%AF%E5%A2%83-%E7%8E%AF%E5%A2%83%E7%AF%87/ 大体流程： python readlog 读取本地日志文件发送到flume(本测试基于原有项目，原有项目是有scribe接收日志存到本地。正式项目flume直接读取本地 http://blog.eric7.site/2019/05/10/%E4%BB%8A%E6%97%A5%E6%9B%B4%E6%96%B0-1/ Fri, 10 May 2019 10:02:22 +0800 http://blog.eric7.site/2019/05/10/%E4%BB%8A%E6%97%A5%E6%9B%B4%E6%96%B0-1/ 今日更新：新加不蒜子页脚统计UV,PV功能,增加文章更新时间功能. http://blog.eric7.site/2019/01/02/hello-2019/ Wed, 02 Jan 2019 17:29:01 +0800 http://blog.eric7.site/2019/01/02/hello-2019/ http://blog.eric7.site/2018/07/24/rain/ Tue, 24 Jul 2018 10:19:56 +0800 http://blog.eric7.site/2018/07/24/rain/ http://blog.eric7.site/2018/07/19/%E4%BB%8A%E6%97%A5%E6%9B%B4%E6%96%B0/ Thu, 19 Jul 2018 15:57:53 +0800 http://blog.eric7.site/2018/07/19/%E4%BB%8A%E6%97%A5%E6%9B%B4%E6%96%B0/ 今日更新：新加来必力评论功能，更换icon为gitHub同款章鱼猫，新加About page. http://blog.eric7.site/2018/07/18/2018-07-18/ Wed, 18 Jul 2018 00:00:00 +0000 http://blog.eric7.site/2018/07/18/2018-07-18/ shell常用命令总结,以下文档只是用来测试. 查找一个文件 1 2 $ find path -name 'filename.txt' 找出当前目录或文件中包含'ABC'的文件 1 2 $ grep -rn "ABC" * More info: liunx http://blog.eric7.site/2018/04/27/hello/ Fri, 27 Apr 2018 10:07:24 +0800 http://blog.eric7.site/2018/04/27/hello/ 随便写写。