Presto + Superset 数据仓库及BI

Stella981
• 阅读 895

基于Presto和superset搭建数据分析平台。 Presto可以作为数据仓库,能够连接多种数据库和NoSql,同时查询性能很高; Superset提供了Presto连接,方便数据可视化和dashboard生成。

Presto + Superset 数据仓库及BI

基本概念

##datawarehouse 数据仓库 整合各类数据库数据,面向主题,方便分析。存储元数据,模型信息,存储数据(建索引、缓存、分区、pre-aggregation)等。

  • greenplum
  • hive

##OLAP 一些列数据分析操作,比如pivoting, slicing, dicing, drilling;可以分析数据仓库也可以甚至是文件数据。

  • Mondrian 开源的OLAP引擎
  • MOLAP 数据在DW,多维格式存储
  • ROLAP 数据存在数据库
  • 大数据领域很多sql-on-hadoop都可以看作OLAP引擎。Drill, Impala,Kylin,Phoenix,Druid,Greenplum,HAWQ,Pinot,Presto,SparkSql

##MDX OLAP的操作通常用MDX表达,查询多为数据库。OLAP服务会把MDX转为sql查询。

##MPP: massive parallel processing 相对sql-on-hadoop,mpp架构不依赖hadoop/spark runtime,mpp具有原生的分布式执行引擎。

Presto w/ Hive and mysql

Presto属于MPP架构的分析性系统。官方介绍:

Presto is a tool designed to efficiently query vast amounts of data using distributed queries. ... Presto can be and has been extended to operate over different kinds of data sources including traditional relational databases and other data sources such as Cassandra. Presto was designed to handle data warehousing and analytics: data analysis, aggregating large amounts of data and producing reports. These workloads are often classified as Online Analytical Processing (OLAP).

类似数据仓库,Presto可以关联分析多种数据源的数据,包括常见的关系型数据和大数据存储。

例子http://getindata.com/tutorial-presto-combine-data-hive-mysql-one-sql-like-query/

部署组件

  • download hadoop 2.6 (deploy hdfs)
  • hive 1.2.2 (deploy metaserver service)
  • mysql
  • deploy presto w/ catalog hive and mysql

测试数据

例子中通过Presto同时连接mysql和hive。mysql中存放结构化user信息,hive中存放日志数据。 Hive中数据量比较大,1915万行。 Presto + Superset 数据仓库及BI Mysql中900+行数据。 Presto + Superset 数据仓库及BI

统计不同国家用户的访问量占比:

SELECT u.country, COUNT(*) AS cnt
             FROM hive.tutorial.stream s
             JOIN mysql.tutorial.user u
             ON s.userid = u.userid
             GROUP BY u.country

Presto + Superset 数据仓库及BI

Superset

开源BI系统,B/S架构。

##配置presto presto://192.168.56.101:8080/hive/tutorial ##sqllab 选择Presto作为Database,可以关联查询Presto catalog中的所有数据源。 Presto + Superset 数据仓库及BI

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
3年前
swap空间的增减方法
(1)增大swap空间去激活swap交换区:swapoff v /dev/vg00/lvswap扩展交换lv:lvextend L 10G /dev/vg00/lvswap重新生成swap交换区:mkswap /dev/vg00/lvswap激活新生成的交换区:swapon v /dev/vg00/lvswap
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这