前言Spark是目前主流的大数据计算引擎，功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。作为一种内存计算框架，Spark运算速度快，并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商，个推从早期的1.3版本便引入Spark，

前言日志是MySQL数据库的重要组成部分。日志文件中记录着MySQL数据库运行期间发生的变化；也就是说用来记录MySQL数据库的客户端连接状况、SQL语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志文件进行数据恢复。MySQL的日志体系有如下几种分类：1.错误日志2.查询日志

以下内容是依据《MySQL性能调优与架构设计》来做的知识点总结，感兴趣的朋友可以看一下这本书，毕竟按照书来学习比较系统。能够整体的把握知识脉络。一、MySQL逻辑模块组成mysql可以看成是二层架构，第一层叫SQLLayer，这一部分主要功能是完成mysql数据库系统处理底层数据之前的所有的准备工作，包括权限判断、sql解析、执行计划优化、qu

1安装小结   换了电脑，很多软件都得重装，期间报了很多问题，比如说先装vs2008再装sqlserver2008r2会报一个“存在2008早期版本”,通过查找，百度一系列的坑爹之路后，我还是把vs2008卸载后再安装了sqlserver2008r2,而且因为最先装的是vs2012，在运行时会停止工作，所以一再尝试过后，推荐的顺序为sqls

\TOC\MySQL通讯协议（1）数据类型对于大部分开发者来说，并不需要了解MySQL客户端和服务端是如何交互的。但是当业务发展到一定阶段，数据量增大时，分库分表就成了不得不考虑的一种优化措施。目前主流的方案主要有两种，一种是本地代理连接、分析重写SQL、路由、执行、合并结果，一种是把这些放到中间件里。而后一种就

 一、相关概念1、不可重复读和幻读的区别　　很多人容易搞混不可重复读和幻读，确实这两者有些相似。但不可重复读重点在于update和delete，而幻读的重点在于insert。　　如果使用锁机制来实现这两种隔离级别，在可重复读中，该sql第一次读取到数据后，就将这些数据加锁，其它事务无法修改这些数据，就可以实现可重复读了。但

本节目录一锁的分类及特性二表级锁定(MyISAM举例)三行级锁定四查看死锁、解除锁五事务六慢日志、执行计划、sql优化七OLTP与OLAP的介绍和对比八关于autocommit的测试一锁的分类及特性　　数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何

1安装小结   换了电脑，很多软件都得重装，期间报了很多问题，比如说先装vs2008再装sqlserver2008r2会报一个“存在2008早期版本”,通过查找，百度一系列的坑爹之路后，我还是把vs2008卸载后再安装了sqlserver2008r2,而且因为最先装的是vs2012，在运行时会停止工作，所以一再尝试过后，推荐的顺序为sqls

摘要：在大数据领域中，HiveSQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，HiveSQL查询的性能往往不尽人意。本文针对HiveSQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后

天翼云TeleDB分析型实例是一款性能卓越、完全托管的PB级国产化云分析型数据库产品，可提供轻松的海量数据分析体验。基于元数据、计算和存储分离的架构，TeleDB分析型实例集成了MPP数据库的高性能和分析功能、大数据平台的扩展性和灵活性以及云计算的弹性和敏捷性，支持SQL及标准的JDBC和ODBC接口，允许使用自定义函数及内建机器学习功能。