PythonScrapy什么是爬虫？网络爬虫（英语：webcrawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。Python爬虫在爬虫领域，Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性

作者介绍：康文权，马上消费金融总账高级研发工程师。李银龙，原腾讯云运维工程师，马上消费金融容器云TiDB负责人，西南区TUGLeader。背景介绍马上消费金融于2015年6月营业，截止到2020年1月，历经4年多风雨，总注册用户数8000万，活跃用户数2500万，累计放

第十章Linux日常运维管理10.1查看系统负载w命令w命令用于显示已经登陆系统的用户列表，并显示用户正在执行的指令。执行这个命令可得知目前登入系统的用户有那些人，以及他们正在执行的程序。单独执行w命令会显示所有的用户，您也可指定用户名称，仅显示某位用户的相关信息。

前言　　公司一直在用传统的tomcat下丢war包的架构体系，随着项目的增多、服务器数量的增多、需要为此花费很多时间在不同服务器的系统环境问题上。为了技术的与时俱进和工作的运维效率等方面，笔者引入docker容器部署方式，通过GitlabJenkinsHarbor体系，通过Dockerfile生成自定义镜像并放置Harbor仓库，Jenkins加上自

每年年底或年初都会有各种总结规划，业务部门有业务的规划，研发部门有研发的技术规划，下面分享一下对系统技术规划的几点思路。研发技术规划重点对所负责系统的技术架构升级、技术债问题以及运维问题进行梳理并根据梳理的问题制定匹配的方案，据此方案提前进行技术储备和资源

1.背景简述在技术运维过程中，很难从某服务庞杂的日志中，单独找寻出某次API调用的全部日志。为提高排查问题的效率，在多个系统及应用内根据统一的TraceId查找同一次请求链路上的日志，根据日志快速定位问题，同时需对业务代码无侵入，特别是在高频请求下，也可以

作者：京东零售姬广滕一、调度系统简介Buffalo调度是一款京东自主研发的分布式DAG作业调度系统。为京东的数据开发工程师、算法工程师、数据分析师等用户提供了离线作业的编排&调试、监控运维、DAG调度等系统能力，致力于打造行业领先的稳定高效、产品简洁高体验

缘起生产环境服务A部署在K8s上，某天运维告诉我这个服务经常会重启，客户没有报告是因为我们是滚动发布更新，先启动这个服务的一个新实例，然后将旧实例Kill掉，这样前端是无感知的，但重启是实实在在存在的，生产问题不可马虎，于是开启了定位问题之旅。过程定位问题

API在运行过程中可能会遇到各种异常情况，如响应时间过长、调用频率过高、请求参数错误等，这些异常会对系统的稳定性和性能产生严重影响。因此，对API进行异常监控和告警是非常必要的。本文将介绍EolinkApikit中使用的告警规则，帮助开发者和运维人员更好地监控和管理API。

第一章近期了解到谷歌正准备测试Chrome浏览器的新“IP保护”功能，该功能是通过使用代理服务器将用户的IP地址匿名化以此保障用户隐私。当用户使用浏览器进行上网时，网站日志会自动记录连接互联网的IP地址，网站运维人员可以根据留痕的IP地址进行浏览轨迹跟踪，