Wesley13 Wesley13
3年前
SQL优化器原理
摘要:在MaxCompute中,Join操作符的实现算法之一名为"HashJoin",其实现原理是,把小表的数据全部读入内存中,并拷贝多份分发到大表数据所在机器,在map阶段直接扫描大表数据与内存中的小表数据进行匹配。    这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架
Easter79 Easter79
3年前
Tomcat配置SSL证书,使其支持HTTPS协议
自己搞个网站玩玩,话说某部门办事效率真的是停留在信件时代的。不过阿里倒是比较厚道的,为此专门给我免费续费了一个月云服务器,美滋滋!看看具体操作吧!1.备案呗!不备案域名不能用,解析了也白搭。2.申请证书,阿里云免费的证书申请地址:传送门(https://www.oschina.net/action/GoToLink?urlhttps%3A%
Stella981 Stella981
3年前
Spark的分区机制的应用及PageRank算法的实现
佩奇排名(PageRank),又称网页排名、谷歌左侧排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(LarryPage)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。概念Sp
Wesley13 Wesley13
3年前
Go 环境常用变量记录
Go开发环境依赖于一些操作系统环境变量,你最好在安装Go之间就已经设置好他们。如果你使用的是Windows的话,你完全不用进行手动设置,Go将被默认安装在目录c:/go下。这里列举几个最为重要的环境变量:$GOROOT 表示Go在你的电脑上的安装位置,它的值一般都是$HOME/go,当然,你也可以安装在别的地方。
Stella981 Stella981
3年前
Django csrf,xss,sql注入
一、csrf跨站请求伪造(Crosssiterequestforgery)CSRF的攻击原理:简单说就是利用了高权限帐号(如管理员)的登录状态或者授权状态去做一些后台操作,但实际这些状态并没有被我们直接获取到(获取那是XSS干的事)。CSRF能够攻击的根本原因是:服务器无法识别你的来源是否可靠。防御CSRF攻击:服务端验证请求的token一
Stella981 Stella981
3年前
Spring Cloud介绍 Spring Cloud与Dubbo对比
springCloud是一个基于SpringBoot实现的云应用开发工具,它为基于JVM的云应用开发中的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。SpringCloud与Dubbo对比提到Dubbo,我想顺便提下ESB,目前央视新华社也在用ESB来做任务编排,
Wesley13 Wesley13
3年前
SIGXFSZ信号
背景  同事用go写了一个简单转发业务流量的工具。跑了9个小时coredump。直接被冲击了三观(go也会coredump?),最后分析了看,是测试机器设置不当导致的,测试人员把日志文件重定向到终端,日志文件大小超过终端限制(这值可人为设置,默认没有大小限制),最后操作系统向服务端发送了SIGXFSZ信号,下面聊下罪魁祸首SIGX
Stella981 Stella981
3年前
Apache Hudi重磅RFC解读之记录级别全局索引
1\.摘要Hudi表允许多种类型操作,包括非常常用的upsert,当然为支持upsert,Hudi依赖索引机制来定位记录在哪些文件中。当前Hudi支持分区和非分区的数据集。分区数据集是将一组文件(数据)放在称为分区的桶中的数据集。一个Hudi数据集可能由N个分区和M个文件组成,这种组织结构也非常方便hive/presto/sp
Wesley13 Wesley13
3年前
MySQL数据库无完整备份删库,除了跑路还能怎么办?
!(https://oscimg.oschina.net/oscnet/97bfab72559e66807921a8c768d3f72ea43.gif)1.背景前段时间,由于运维同事的一次误操作,清空了内网核心数据库,导致了公司内部管理系统长时间不可用,大量知识库内容由于没有备份险些丢失。结合这两天微盟的删库跑路事件,我们可
Wesley13 Wesley13
3年前
MySQL查询优化
在我们使用MySQL数据库时,比较常用也是查询,包括基本查询,关联查询,条件查询等等,对于同一个操作,SQL语句的实现有很多种写法,但是不同的写法查询的性能可能会有很大的差异。这里主要介绍下select查询优化的要点。1\.使用慢查询日志去发现慢查询。2\.使用执行计划去判断查询是否正常运行。3\.总是去测试你的查询