1.缓存来由随着互联网系统发展的逐步完善，提高系统的qps，目前的绝大部分系统都增加了缓存机制从而避免请求过多的直接与数据库操作从而造成系统瓶颈，极大的提升了用户体验和系统稳定性。2.缓存问题虽然使用缓存给系统带来了一定的质的提升，但同时也带来了一些需要注意的问题。2.1缓存穿透缓存穿透是指查询一个一定不存在的数据，因为缓存中也无该数据的信息，则会

起因先说说事情的起因，最近在分析数据时经常遇到一种场景，代码需要频繁的读某一张数据库的表，比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时，通过冗余数据来解决。但仍有部分业务存的只是关联表的ID，数据分析时需要频繁的查表。所读的表存在共同的特点数据几乎不会变更数据量适中，从一万

一、主从同步/复制　　通过持久化功能，Redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。　　为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出

一、主从模式通过持久化功能，Redis保证了即使在服务器重启的情况下也不会损失（或少量损失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他

数据库的三大范式第一范式：每个列都不可以再拆分第二范式：在第一范式的基础上，非主键列完全依赖于主键第三范式：在第二范式上，非主键列只依赖主键，不依赖其他非主键事务的并发问题脏读：事务A读取了事务B更新的数据，然后数据B回滚，那么A读到的是脏数据不可重复读：事务A多次读取同一数据，事务B在事务A读取的过程中对数据进行了修改并提交，导致A多次读的数据

相信很多人的项目都有这种需求，就是查询近7天的记录，但是这7天总有那么几天是没数据的，所以缺失的只能补0 下面的代码不知道能不能看懂，我简单的说一下思路1）先查询红色字体的近7天，再转换成日期2）我的字段使用的是时间戳的方式去保存，只能是先数据库字段先转日期2.1）先查询自己想要的数据，用每天分组，计算好总数后2.2）时间戳字段先转日期

注意：语句中出现的old，new，now（），都为数据库自带的关键字，此处不做解释。两种情况：    第一种：一张表中，更新某条记录的其中的一个字段，触发指定的触发器，记录时间即更新到这条记录中的另一个字段中。    第二种：两张表，当A表更新其中某条记录的某个字段时，触发指定的触发器，更新B表与A表关联的记录的某个字段。对于

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

1 背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要

  今天在昨天的基础上又做了一些对比测试，也算是对昨天的一个补充和升华。  而这部分内容其实内容量还不少，所以我准备成了ppt的形式，也在团队内部做了一些交流，感兴趣可以直接点击文末的原文来看。初始化数据的必要性  在开始之前还是简单说说初始化数据的必要性，我们做数据库问题定位，性能分析时，如果表里就几条，几十条数据，做性能比对得到的结