Irene181 Irene181
3年前
详解4种类型的爬虫技术
导读:网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行介绍。作者:赵国生王健来源:大数据DT(ID:hzdashuju)聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内
赵颜 赵颜
1年前
什么是时钟芯片?有哪些常见的型号?
时钟芯片是一种集成电路,用于产生和控制电子产品的时钟信号。它是电子产品中的关键部件,用来确保各个组件和子系统之间的同步和顺序操作。时钟芯片的原理是利用晶体振荡器产生稳定的频率信号,并通过分频和倍频电路来生成所需的时钟频率。晶体振荡器是一种利用晶体的机械振动
Stella981 Stella981
3年前
ClickHouse在京东流量分析的应用实践
前言ClickHouse是一款开源列式存储的分析型数据库,相较业界OLAP数据库系统,其最核心优势就是极致的查询性能。它实现了向量化执行和SIMD指令,对内存中的列式数据,一个batch调用一次SIMD指令,大幅缩短了计算耗时,带来数倍的性能提升。目前国内社区火热,各大厂也纷纷进入该技术领域的探索。引言本文主要讨论京东黄
Wesley13 Wesley13
3年前
DHCP常用配置文件解析
本文对DHCP安装过程中常见的几个文件做详细解析。具体解析如下:/etc/dhcpd.conf这个是DHCP服务器的主配置文件,但是在有的系统中安装了DHCP服务器之后却没有这个文件,因此需要手动建立。还有的是有这个主配置文件但是没有内容,只要把相应模板拷贝到这个配置文件中去。/usr/sbin/dhcpd这个是启动整个dhc
Stella981 Stella981
3年前
Redis01
前言Redis用了这么久,一直没有认真的去了解其内部的数据结构和实现原理。从今天开始正式系统性的学习Redis。首先,还是从工作中经常打交道的数据类型开始说起,然后,在说到其内部使用的数据结构。Redis的简介Redis是一个开源的高性能的keyvalue数据库,与其他的keyvalue缓存产品相比有以下三个特点:
Stella981 Stella981
3年前
HarmonyOS 2.0 手机版使用初体验 ——手机开发者 (Beta版)
12月16日上午10点,华为在北京举办华为开发者日暨HarmonyOS2.0手机开发者Beta版发布活动。华为此次宣布面向手机开发者开放完整的HarmonyOS2.0系统能力、丰富的API(应用开发接口),以及强大的开发工具DevEcoStudio等技术装备,开发者可访问华为开发者联盟官网,申请获取HarmonyOS2.0手机开发者Beta版升级。
Wesley13 Wesley13
3年前
C语言缓冲区溢出详解
!(https://oscimg.oschina.net/oscnet/7c4c90c77f9d449a96c032d9d3e9f318.jpg)1引言“缓冲区溢出”对现代操作系统与编译器来讲已经不是什么大问题,但是作为一个合格的C/C程序员,还是完全有必要了解它的整个细节。计算机程序一般都会使用到一些内存,这些内
京东购物车如何提升30%性能 | 京东云技术团队
本文主要介绍在业务复杂化背景下,京东零售购物车团队努力践行工匠精神,通过全异步化改造提升系统性能、提升用户体验。通过本文,读者可以了解购物车中台进行全异步化改造的总体方案,以及方案落地过程中遇到的问题及解决方法,读者可重点关注文中提到的多分页并行后,分页精细控制及底层RPC异常信息问题。
分而治之--浅谈分库分表及实践之路 | 京东云技术团队
今天想聊一下分库分表,因为对于快速增长的业务来说,这个是无法回避的一环。之前我在做商城相关的SAAS系统,商品池是一个存储瓶颈,商品池数量会基于租户增长和运营变得指数级增长,短短几个月就能涨到几千万的数据,而运营半年后就可能过亿。而对于订单这种数据,也会跟着业务的成长,也会变得愈发巨大。
别再纠结线程池池大小、线程数量了,哪有什么固定公式 | 京东云技术团队
可能很多人都看到过一个线程数设置的理论:CPU密集型的程序核心数1I/O密集型的程序核心数2不会吧,不会吧,真的有人按照这个理论规划线程数?线程数和CPU利用率的小测试抛开一些操作系统,计算机原理不谈,说一个基本的理论(不用纠结是否严谨,只为好理解):一