CuterCorley CuterCorley
4年前
Python 爬取留言板留言(一):单进程版+selenium模拟
@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。网站链接是,任意选择一条留言点击进入详情页后,如下对于图中标出的数据,均要进行爬取,以此构成一条留言的组成部分。2.环境配置(1)P
Wesley13 Wesley13
3年前
java架构之路
说一下mysql比较宏观的面试,具体咋写sql的这里就不过多举例了。后面我还会给出一个关于mysql面试优化的试题,这里主要说的索引和BTree结构,很少提到我们的集群配置优化方案。1.索引是什么?有什么作用以及缺点  答:索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息。也可以理解为索引就
艾木酱 艾木酱
3年前
我们与MemFire Cloud的缘起2--MemFireDB
中大概阐述了一下我们之前碰到过的一些应用开发中的痛点:现有的云数据库起步使用成本较高应用开发对团队的起步要求较高现有云数据库配置复杂这些痛点当然不是我们先发现的,也不是我们先要尝试解决的。Google早在2014年就收购了firebase,或许是对这些痛点认可的最佳佐证。就在前两天,InfoQ上发布了一篇翻译文章:,这其实是作者的副标题,原标题是,文章
Tommy744 Tommy744
4年前
容器DevOps,原来如此简单
当开发团队把代码提交到Git应用仓库的那一刻,他们心里在想什么?祈祷没有bug?渴望回家补觉?产品经理GoDie?对,也不对。因为这只是最终发布万里长征的一小步,接下来要面对测试环境、生产环境、客户环境,我这明明没问题到你那就崩的环境……其实,对开发和运维人员来说,心里最想的是一次创建或配置,可以在任意地方正常运行。据扯,2017年程序员们最痛恨的一首
Stella981 Stella981
3年前
B站微服务框架Kratos详细教程(2)
背景在像微服务这样的分布式架构中,经常会有一些需求需要你调用多个服务,但是还需要确保服务的安全性、统一化每次的请求日志或者追踪用户完整的行为等等。你可能需要一个框架来帮助你实现这些功能。比如说帮你在一些关键路径的请求上配置必要的鉴权或超时策略。那样服务间的调用会被多层中间件所过滤并检查,确保整体服务的稳定性。设计目标
捉虫大师 捉虫大师
3年前
Sentinel-Go 源码系列(二)|初始化流程和责任链设计模式
上节中我们知道了SentinelGo大概能做什么事情,最简单的例子如何跑起来其实我早就写好了本系列的第二篇,但迟迟没有发布,感觉光初始化流程显得有些单一,于是又补充了责任链模式,二合一,内容显得丰富一些。初始化流程初始化做了什么SentinelGo初始化时主要做了以下2件事情:通过各种方式(文件、环境变量等)载入全局配置启动异步的定时任务或服务
good123 good123
3年前
以太网链路聚合
以太网链路聚合以太网链路聚合一、以太网的链路聚合是Ethtrunk多链路汇聚,将多条物理链路变为一条Etrunk的逻辑链路,从而实现增加链路带宽的目的。链路聚合分为手工模式和LACP模式。1.手工模式手工模式下,EthTrunk的建立、成员接口的加入由手工配置,没有链路聚合控制协议LACP的参与。当需要在两个直连设备间提供一个较大的链路带宽而设备又不支
Stella981 Stella981
3年前
D3.js入门指南
 近期略有点诸事不顺,趁略有闲余之时,玩起D3.js。之前实际项目中主要是用各种chart如hightchart、echarts等,这些图形库玩起来貌都是完美的,一切皆可配置,但几年前接触了D3之后,觉得前面那chart类库局限的地方在于,基本不可定制;而D3呢,你说了算,你想画出什么样的图,你说了算,自由度很大,当时就有点膜拜和仰慕,小打小闹的玩了几下,没
Stella981 Stella981
3年前
Redis缓存穿透问题及解决方案
上周在工作中遇到了一个问题场景,即查询商品的配件信息时(商品:配件为1:N的关系),如若商品并未配置配件信息,则查数据库为空,且不会加入缓存,这就会导致,下次在查询同样商品的配件时,由于缓存未命中,则仍旧会查底层数据库,所以缓存就一直未起到应有的作用,当并发流量大时,会很容易把DB打垮。缓存穿透问题缓存穿透是指查询一个根本不存在的数
Stella981 Stella981
3年前
CoralCache:一个提高微服务可用性的中间件
摘要:当数据库出问题时能降级从本地缓存的数据中查询数据,CoralCache就是这样一个提高微服务可用性的中间件。背景有些场景下,微服务依赖数据库中一些配置项或者数量很少的数据,但当数据库本身有问题时候,即使数据量很少,这个服务是不能正常工作;因此需要考虑一种能支持全量极少变更的全局数据的场景,当数据库出问题时能降级从本