Python爬虫应用领域广泛，并且在数据爬取领域处于霸主位置，并且拥有很多性能好的框架，像Scrapy、Request、BeautifuSoap、urlib等框架可以实现爬行自如的功能，只要有能爬取的数据，Python爬虫均可实现。数据信息采集离不开Pyt

写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

LinuxShell提供两个非常使用的命令来爬取网页，它们分别是curl和wgetcurl和wget使用代理curl支持http、https、socks4、socks5wget支持http、https代理示例：!/bin/bashcurl支持http、https、socks4、soc

NepxionDiscoveryGray(https://github.com/Nepxion/DiscoveryGray)是NepxionDiscovery的极简示例，有助于使用者快速入门，它采用配置中心配置路由规则映射在网关过滤器中植入Header信息而实现，当然也支持从界面传入Header信息，主要包括版本路由和区域路由两种。实例以Naco

版本：7.0.0描述为了数据传输安全，确保网络连接是安全的。采用Token认证确保采集的应用数据是被信任的。当前版本，仅支持简单的字符串Token配置1.代理端配置文件agent.config设置Authenticationactiveisbasedonbac

IP地理位置定位技术，包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑，是IP地址定位的基础性工作和关键技术。首先，按照不同的数据采集规则，针对不同数据源的数据格式，研究并实现一套自动化的智能化的数据采集技术；其次，对采集到的数据进行筛选、清洗和挖掘，形成基础数据库，为系统提

 字体反爬字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。下图的是猫眼网页上的显示：!(https://oscimg.oschina.

IP地理位置定位技术，包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。基础数据采集为IP地理位置定位技术的研究提供基础数据支撑，是IP地址定位的基础性工作和关键技术。首先，按照不同的数据采集规则，针对不同数据源的数据格式，研究并实现一套自动化的智能化的数据采集技术；其次，对采集到的数据进行筛选、清洗和挖掘，形成基础数据库，为系统提

ByxAOP是一个基于JDK动态代理的简易AOP框架，具有以下功能特性：对目标对象的特定方法进行拦截和增强支持灵活的拦截规则和自定义拦截规则动态实现接口和批量实现接口方法灵活的对象代理机制项目地址：github码云使用示例首先来通过一个简单例子快速了解ByxAOP。假设我们有一个User

Categraf是一个监控采集Agent，类似Telegraf、GrafanaAgent、DatadogAgent，希望对所有常见监控对象提供监控数据采集能力，采用Allinone的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。相比于其他采集器，Categraf的优势在于：支持remote_write写入协议，支持将数据写入promethues、M3DB、VictoriaMetrics、InfluxDB；指标数据只采集数值，不采集字符串，标签维持稳态结构；采用allinone的设计，所有的采集工作用一个agent搞定；未来也可以把日志和trace的采集纳入agent；纯Go代码编写，静态编译依赖少，容易分发，易于安装。