Wesley13 Wesley13
3年前
50 行代码教你爬取猫眼电影 TOP100 榜所有信息
对于Python初学者来说,爬虫技能是应该是最好入门,也是最能够有让自己有成就感的,今天,恋习Python的手把手系列,手把手教你入门Python爬虫,爬取猫眼电影TOP100榜信息,将涉及到基础爬虫架构中的HTML下载器、HTML解析器、数据存储器三大模块:HTML下载器:利用requests模块下载HTML网页;HTML解析器:利用re正则表达
Stella981 Stella981
3年前
PostgreSQL物理坏块和文件损坏案例分享
作者简介王睿操,平安好医数据库架构岗,多年postgresql数据库运维开发工作。曾就职于中国民航信息,迪卡侬。对其他数据库产品也有一定的涉猎。背景笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况,网上中文资料比较少,于是整理了一下笔者遇到各种各样的报错以及解决方案案例一:物理坏块
Stella981 Stella981
3年前
SnowFlake分布式唯一ID生成器
写在前面架构是权衡的结果,架构也是一层层的组件拼接起来的,如果没有好用的组件,架构势必会做阉割,架构的理想态是建立在一堆友好、易用、标准化的组件之上的。在我过去的经验中,有两类组件经常会出现在我的架构方案中,一个是唯一ID生成器,一个是推拉结合配置中心,有了他们我可以解决分布式系统下的时序问题,不会再因数据不一致问题手足无措,推拉结合的数据中心
Stella981 Stella981
3年前
Spring Boot + Spring Cloud 实现权限管理系统 配置中心(Config、Bus)
技术背景如今微服务架构盛行,在分布式系统中,项目日益庞大,子项目日益增多,每个项目都散落着各种配置文件,且随着服务的增加而不断增多。此时,往往某一个基础服务信息变更,都会导致一系列服务的更新和重启,运维也是苦不堪言,而且还很容易出错。于是,配置中心便由此应运而生了。目前市面上开源的配置中心有很多,像Spring家族的SpringCloud
Stella981 Stella981
3年前
CoreOS实践指南(二):架设CoreOS集群
CoreOS集群的架设比架设一个传统服务器集群更加容易。一方面因为CoreOS使用了Cloudinit自动化了集群信息的配置,另一方面则是受益于etcd分布式存储实现的消息分发和服务器自发现机制。这些便利性正是CoreOS系统设计充分为集群架构考虑带来的效率提升。安装CoreOSCoreOS的安装方法和传统Linux系统有
Easter79 Easter79
3年前
Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+KafKa j2ee分布式架构
框架简介主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介    是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高
Wesley13 Wesley13
3年前
(进阶)传统架构和分布式系统架构的优缺点
传统项目:  存在问题:  1:模块之间耦合度太高,其中一个功能升级,其他的模块都得一起升级部署。  2:开发困难,各个团队开发最后都要整合在一起.  3:系统扩展性差分布式:  把系统拆分成多个子系统.优点:  1:把模块拆分,使用接口通信,降低模块之间的耦合度.  2:把项目拆分成若干个子项目,不同的团队负责不同的子项目.
Stella981 Stella981
3年前
SpringBoot+SpringSecurity之多模块用户认证授权同步
在之前的文章里介绍了SpringBoot和SpringSecurity如何继承。之后我们需要考虑另外一个问题:当前微服务化也已经是大型网站的趋势,当我们的项目采用微服务化架构时,往往会出现如下情况:1.首先,我们会建立一个用户中心UserCenter,实现用户的登录、登出以及其他用户信息维护等相关功能。2.然后,我们会有其他业务模块,比如订单中
Easter79 Easter79
3年前
SpringBoot+SpringSecurity之多模块用户认证授权同步
在之前的文章里介绍了SpringBoot和SpringSecurity如何继承。之后我们需要考虑另外一个问题:当前微服务化也已经是大型网站的趋势,当我们的项目采用微服务化架构时,往往会出现如下情况:1.首先,我们会建立一个用户中心UserCenter,实现用户的登录、登出以及其他用户信息维护等相关功能。2.然后,我们会有其他业务模块,比如订单中
Stella981 Stella981
3年前
ClickHouse和他的朋友们(15)Group By 为什么这么快
在揭秘ClickHouseGroupBy之前,先聊聊数据库的性能对比测试问题。在虎哥看来,一个“讲武德”的性能对比测试应该提供什么信息呢?首先要尊重客观事实,在什么场景下,x比y快?其次是为什么x会比y快?如果以上两条都做到了,还有一点也比较重要:x的优势可以支撑多久?是架构等带来的长期优