Stella981 Stella981
3年前
Scrapy使用入门及爬虫代理配置
本文通过一个简单的项目实现Scrapy采集流程。希望通过该项目对Scrapy的使用方法和框架能够有帮助。1\.工作流程重点流程如下:创建一个Scrapy项目。创建一个爬虫来抓取网站和处理数据。通过命令行将采集的内容进行分析。将分析的数据保存到MongoDB数据库。2\.准备环境安装
Stella981 Stella981
3年前
Gerrit 配置
环境:gerritserver:176.23.47.118管理员机器用户名: suadmingerrit的管理员账号:admingerrit工作流程 gerrit工作流程的图:!(https://oscimg.oschina.net/oscnet/aff9e1ff9d988bf2f
Wesley13 Wesley13
3年前
GROUP BY另类优化技巧
分享嘉宾:知数堂〖SQL开发优化班〗讲师郑松华,韩国Infobridge的SQL优化专家&7年SQL开发和调优经验&资深数据库工程师。本次主题《GROUPBY另类优化技巧》,主要内容是从GROUPBY、ORDERBY的基础语法到内部算法,最后到实际应用,对需要开发含有复杂的排序功能的同学们更是提供了思路。内容干货满满,实用
Easter79 Easter79
3年前
Tomcat性能优化总结
层级优化!(JAVA\_OPTS参数和主要元素的优化)Tomcat大致元素架构:serverserviceEngineHostContextTomcat有可以使用三种协议:HTTP,AJP,HTTPStomcat默认采用的BIO模型tomcat的运行模式有3种:bio,nio,apr(额外安装),例如:proto
Wesley13 Wesley13
3年前
Mysql 更新语句执行流程
我们来看看更新语句的执行流程与查询流程不一样的是,更新流程涉及两个重要的日志模块,redolog和binlogredolog如果每一次的更新操作都需要写进磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程IO成本、查找成本都很高Mysql使用WAL机制来进行数据更新,WAL的全称是WriteAh
Wesley13 Wesley13
3年前
Activiti工作流的定义部署和执行
工作流引擎  个人觉得直接理解工作流引擎概念有点难度,我们可以先通过了解工作流引擎的职责再反过来理解工作流引擎,工作流引擎一般都做两件事情:1.定义流程,也就是给我们提供某种规范来定义规则,以及如何定义一个流程的这种规范,同事我们可以根据工作流引擎提供的相关概念来定义更为复杂的流程,这就是工作流引擎做的第一件事叫做定义流程。2
接口优化的常见方案实战总结
针对老项目,去年做了许多降本增效的事情,其中发现最多的就是接口耗时过长的问题,就集中搞了一次接口性能优化。本文将给小伙伴们分享一下接口优化的通用方案。
Python进阶者 Python进阶者
1年前
盘点一个使用Python自动化处理GPS、北斗经纬度数据实战(下篇)
大家好,我是皮皮。一、前言上一篇文章我们使用了Python来实现数据的导入和分列处理,最终可以得到符合预期的结果,不过还可以继续深挖优化下,这一篇文章一起来看看吧。优化的背景如下图所示:二、实现过程这里【瑜亮老师】继续给了一个优化指导,如下图所示:并且给出
曼成 曼成
1年前
简化业务流程——通知短信API在企业中的应用
简化业务流程——通知短信API在企业中的应用
京东云开发者 京东云开发者
7个月前
谈JVM xmx, xms等内存相关参数合理性设置
作者:京东零售刘乐说到JVM垃圾回收算法的两个优化标的:吞吐量和停顿时长,并提到这两个优化目标是有冲突的。那么有没有可能提高吞吐量而不影响停顿时长,甚至缩短停顿时长呢?答案是有可能的,提高内存占用(MemoryFootprint)就有可能同时优化这两个标的