当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时就需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。谈优化前的准备工作为了对下面列举的一些优化进行测试，需要使用已有的一张表作为实际例子。表名：order\_history。描述：某个业务的订单历史表。主要字段

SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。具体来说，它是利用现有应用程序，将（恶意的）SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。比如先前的很多影视网站泄

1.数据切分概念数据的切分根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）(https://jq.qq.com/?wv1027&k0IsBuUb0)之上，这种切可以称之为数据的垂直（纵向）切分；另外一则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切

“新建智能映射”：新建填报操作填报操作名称：设置这个填报操作的名称数据源：设置这个填报操作映射的数据源点击“下一步”，选择数据库表Schema：选择这个数据库的Schema。表名筛选：查找需要选择的数据表，不区分大小写。勾选需要填报的数据表，点击“下一步”，设置填报字段填报单元格：选择填报操作时，这个字段对应报表中的哪个字段的值。勾选主键：当数据进行填报时

背景不知道是否你还在为下面的问题而困扰：当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据

1.1索引的介绍　　索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。如果想按特定职员的姓来查找他或她，则与在表中搜索所有的行相比，索引有助于更快地获取信息。　　索引的一个主要目的就是加快检索表中数据的方法，亦即能协助信息搜索者尽快的找到符合限制条件的记录ID的辅助数据结构。!fi

背景不知道是否你还在为下面的问题而困扰：当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据

从找不到需求险些被叫停，到支撑亿级DAU的数据库行业标杆，腾讯云数据库TcaplusDB在风雨中走过了整整10年。辉映日月破风浪，十年一剑破九天。百万行代码就像淙淙流淌的数据溪流，终于在十年后汇成不可逾越的护城河。出发2010年前后，QQ空间很火，带动了基于SNS互动页游（WebSNS）的火爆，腾讯内部开始考虑怎么做页游。也开始建设页游基础技术

上周在工作中遇到了一个问题场景，即查询商品的配件信息时（商品：配件为1：N的关系），如若商品并未配置配件信息，则查数据库为空，且不会加入缓存，这就会导致，下次在查询同样商品的配件时，由于缓存未命中，则仍旧会查底层数据库，所以缓存就一直未起到应有的作用，当并发流量大时，会很容易把DB打垮。缓存穿透问题缓存穿透是指查询一个根本不存在的数

将两个表或者多个表关联在一起是常见的运算，这时通常使用SQLjoin的方式进行关联并进行后续计算。但有时数据并不存储在数据库，而是以文件的形式存储在文件系统，单纯为了计算而把数据存储到数据库有点得不偿失。Python的Pandas提供了丰富的关联运算函数，能更方便的完成文本文件间的关联计算，现在我们就一起来讨论下Python的关联处理。