TiDB与MySQL的SQL差异及执行计划简析
TiDB作为NewSQL,其在对MySQL(SQL92协议)的兼容上做了很多,MySQL作为当下使用较广的事务型数据库,在IT界尤其是互联网间使用广泛,那么对于开发人员来说,1)两个数据库产品在SQL开发及调优的过程中,都有哪些差异?在系统迁移前需要提前做哪些准备?2)TiDB的执行计划如何查看,如何SQL调优?本文做了一个简要归纳,欢迎查阅交流。
Wesley13 Wesley13
4年前
SQL JOIN 简单介绍
前言本文还是秉持之前一贯的写作风格,以简单易懂的示例帮助大家了解各种join的区别。为什么需要join为什么需要join?join中文意思为连接,连接意味着关联即将一个表和多个表之间关联起来。在处理数据库表的时候,我们经常会发现,需要从多个表中获取信息,将多个表的多个字段数据组装起来再返回给调用者。所以join的前提是这
Karen110 Karen110
4年前
使用Scrapy网络爬虫框架小试牛刀
前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的
一起跳舞吧 一起跳舞吧
4年前
node.js操作Cookie
通过node.js建立了一个完整的网站不是一件容易的事,这涉及读取页面模板,从数据库中抽出数据构建成新的页面返回给客户端。但光是这样还不行,我们还要设置首部,在chrome中如果CSS没有设置正确的ContentType,会不起作用的。此处理还要考虑访问量,要设置缓存,缓存不单单是把东西从内存中读入读出就行,这样会撑爆电脑内存的,这用LRU算法(最近最少用
Stella981 Stella981
4年前
Hive建表的Location问题
最近公司在使用Hive做项目测试,所以就在Hive上面建了一些表,做测试。使用建表语句后发现数据被自动覆盖了,现在了解到的情况是这样的。Hive中,表的Metadata信息全部存储在MySQL中。而存储在MySQL中的数据是没有校验过程的。也就是说,你可以创建一个逻辑错误的表,两个表指向同一个HDFS文件也是有可能的。所以,在使用CREA
Stella981 Stella981
4年前
Canal 组件简介与 vivo 帐号实践
互联网应用随着业务的发展,部分单表数据体量越来越大,应对服务性能与稳定的考虑,有做分库分表、数据迁移的需要,本文介绍了vivo帐号应对以上需求的实践。一、前言Canal是阿里巴巴开源项目,关于什么是Canal?又能做什么?我会在后文为大家一一介绍。在本文您将可以了解到vivo帐号使用Canal解决了什么样的业务痛点,基于此希望
Easter79 Easter79
4年前
TiDB 4.0 新特性在电商行业的探索
作者介绍:冀浩东,转转公司数据库负责人,负责转转公司整体的数据库运营。初引入TiDB解决了哪些问题?转转使用TiDB主要解决了两个问题,一个是分库分表问题,另一个是运维复杂度。分库分表是一个非常普遍的问题,会增加我们业务逻辑的复杂性,并且多维度的mapping可能导致我们整体性能的下降。有了T
Wesley13 Wesley13
4年前
360自研分布式海量小文件存储系统的设计与实现
背景近年来,公司业务发展迅猛,为数众多的业务场景产生了大量的图片,文档,音频,视频等非结构化数据,尤其是随着移动互联网、AI、IoT技术的成熟和应用市场的全面爆发,大量智能硬件设备将会生成更大规模的非结构化多媒体数据。如此大量的小文件如何存储,问题应运而生。传统存储厂商出售的存储服务价格昂贵,公有云厂商对具体业务场景的定制化改造略有欠缺,因此,我们
Wesley13 Wesley13
4年前
2.4、Python文件对象及os、os.path和pickle模块(0530)
文件系统和文件1、文件系统是OS用于明确磁盘或分区上的文件的方法和数据结构即在磁盘上组织文件的方法;文件系统模块:os2、计算机文件(称文件、电脑档案、档案),是存储在某种长期储存设备或临时存储设备中的一段数据流,并且归属于计算机文件系统管理之下;3、概括来讲:文件是计算机中由OS管理的具有名字的存储区域;
干货!天翼云DPU技术解码
9月2日,第二届SmartNIC&DPU技术创新峰会在京举行,天翼云在2022SmartNIC&DPUAwards年度评选中荣获匠芯技术奖。天翼云资深研发专家刘禄仁出席SmartNIC&DPU技术分会场并发表“天翼云DPU技术研究和实践”主题演讲,向行业分享天翼云以DPU为核心的新一代计算架构的研究及场景落地。随着数据量爆发式增长,数据中心规模持续扩大,