lix_uan lix_uan
3年前
Hive调优
Explain查看执行计划在查询语句前加explainsqlexplainselectfromtable;查看详细执行计划explainextendedselectfromtable;建表优化分区表sql创建分区表createtabledeptpartition(deptnoint,dnamest
Wesley13 Wesley13
4年前
IM系统海量消息数据是怎么存储的?
一、与消息相关的主要场景1、存储和离线消息。现在的IM系统,消息都要落地存储。这样如果接收消息的用户不在线,等他下次上线时,能获取到消息数据。2、消息漫游消息漫游包括主要两种场景,(1)用户新安装IM软件,要能看到以前的聊天记录(2)聊天软件有PC版和App版,在App上聊的天,打开PC版要能够看到
Stella981 Stella981
4年前
SparkSQL UDF两种注册方式:udf() 和 register()
调用sqlContext.udf.register()此时注册的方法只能在sql()中可见,对DataFrameAPI不可见用法:sqlContext.udf.register("makeDt",makeDT(_:String,_:String,_:String))示例:defmakeDT(date:Stri
Wesley13 Wesley13
4年前
Mongo服务器集群配置——主从复制
MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性;复制还允许您从硬件故障和服务中断中恢复数据。MongoDB复制原理mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。mon
Wesley13 Wesley13
4年前
mysql数据备份恢复
常用两条mysql命令,用于数据库的备份和恢复。mysqldumpurootpdbdb.sqlmysqlurootpdefaultcharactersetutf8db<db.sql来源:https://nanjishidu.me/2016/03/mysqlbackup.html
Wesley13 Wesley13
4年前
mysql 迁移到5.7.22
1.备份数据库mysqldumpurootP3306p123456h172.28.17.26alldatabasesdatabases.sqlmysqlurootp123456 <databases.sql2.安装5.7解压方式安装参考: centos安装mysql5.7
Stella981 Stella981
4年前
HBase和ElasticSearch索引类型及存储位置
本篇博文主要对HyperBase(HBase)、Search(ElasticSearch)的索引类型及具体存储位置进行概要总结,让大家从整体上了解TDH平台中HyperBase和Search索引的管理。后续会在大数据核心原理与实践专栏中对索引相关知识进行详细讲解。ESSearch索引类型存放位置在早期ESSearch1.X版本,会将索引存在
Easter79 Easter79
4年前
Swift3.0 闭包(blcok)的全面介绍及使用
闭包是自包含的函数代码块,可以在代码中被传递和使用。Swift中的闭包与C和ObjectiveC中的代码块(blocks)以及其他一些编程语言中的匿名函数比较相似。闭包可以捕获和存储其所在上下文中任意常量和变量的引用。被称为包裹常量和变量。Swift会为你管理在捕获过程中涉及到的所有内存操作。闭包表达式语法有如下的一般形式:
Stella981 Stella981
4年前
Elasticsearch (1)
创建索引库ES的索引库是一个逻辑概念,它包括了分词列表及文档列表,同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表,或相当于Mongodb中的集合。关于索引这个语:索引(名词):ES是基于Lucene构建的一个搜索服务,它要从索引库搜索符合条件索引数据。索引(动词):索引库刚创建起来是空的,将数据添加到索引库的过程称为索
Stella981 Stella981
4年前
Servlet程序乱码解决方案
Servlet程序乱码解决方案乱码经常出现在什么位置数据保存过程中的乱码数据展示过程中的乱码数据传递过程中的乱码数据保存过程中的乱码数据保存到数据库表中的时候,数据出现乱码导致数据保存过程中的乱码包括以下两种情况: