本文章为原创文章，转载请注明，欢迎评论和改正。一，分析　　之前所用的直接通过HTML中的元素值来爬取一些网页上的数据，但是一些比较敏感的数据，很多正规网站都是通过json数据存储，这些数据通过HTML元素是爬取不到的，所以只能通过json数据的api接口来爬取数据。二，网站处理　　1，打开去哪儿网的网站https://train.qu

1.1Mockito是什么？    MOCK意思是模拟的意思，主要被用来进行数据的人工组织，不会真正地调用第三方服务器，类似redis，mysql等都不会调用，也不用关心数据底层是如何进行处理的，我们要做的只是将本单元的逻辑进行单元测试，验证数据的逻辑处理性，而其中mock较好的框架就是Mockito。    Mockito是mocking

一、什么情况下需要分库分表？Mysql单表数据量超过500万条。二、Asp.netCore技术栈，分库分表的解决方案有哪些？1、阿里云的DRDS2、Mycat 数据库分库分表中间件；3、TiDB;三、以上3种解决方案各自的特点：1、阿里云DRDS是收费的商业版，价格稍贵，但是比S

在《SpringBoot与Kotlin使用JdbcTemplate连接MySQL》中介绍了一种基本的数据访问方式，结合构建RESTfulAPI和使用Thymeleaf模板引擎渲染Web视图的内容就已经可以完成App服务端和Web站点的开发任务了。然而，在实际开发过程中，对数据库的操作无非就“增删改查”。就最为普遍的单表操作而言，除了表和字段不

OPMS管理系统是意思是PMSOA，项目办公管理。符合日常项目和OA管理，特别适合扁平化管理的微中小企业。OPMS采用是Beego框架和Bootstrap前端框架构建立，适合不同平台，不同的终端，简单方便实用的原则。数据库采用Mysql，缓存采用Redis。在部署过程中，如果没有Redis，不影响使用。本系统是免费开源的软件，部署很方便。OP

禅道项目管理软件ZT框架使用了php5所特有的语法、类、函数，因此php4是无法运行ZT框架的。使用ZT，你需要：1\.webserver最好是apache。因为它和php集成使用是最稳定，功能也是最齐全的一套组合。2\.php最好是5.2以后的版本，最少是5.1系列的版本。3\.数据库最好是mysql4以后的

1.1数据库对比缓存：将数据存储到内存中，只有当磁盘胜任不了的时候，才会启用缓存　　缺点：断电数据丢失(双电)，用缓存存储数据的目的只是为了应付大并发的业务。数据库：mysql(关系型数据库，能够保证数据一致性，保证数据不丢失，当因为功能太多，导致性能不高)数据参考缓存数据库：me

一.实践背景，分析：公司研发的业务系统某个功能频繁出现数据库Mysql性能问题，导致系统使用卡顿，响应慢，且数据库所在服务器CPU负载居高不下，影响其他项目系统的正常数据库访问和使用。除去研发人员优化sql工作外，作为运维人员可以尝试对当前服务架构改造，目前架构大致如下：!(https://static.oschina.net/uploads/i

在本系列文章的早期章节中，我们已经成功地购买了服务器并配置了MySQL、Redis等核心中间件。紧接着，我们不仅建立了后端服务，还开发了我们的首个爬虫程序。后面我们还把爬取到的数据进行了保存，生成了一整套MVC的后端代码，并且提供了一个接口出来。

我方有一应用，偶尔会出现GC时间过长（间隔约4小时），导致性能波动的问题(接口最长需要耗时3秒以上)。经排查为G1垃圾回收器参数配置不当叠加MySQL链接超过闲置时间回收，产生大量的虚引用，导致G1在执行老年代混合GC，标记阶段耗时过长导致。以下为对此问题的分析及问题总结。