Irene181 Irene181
4年前
详解4种类型的爬虫技术
导读:网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行介绍。作者:赵国生王健来源:大数据DT(ID:hzdashuju)聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内
Stella981 Stella981
3年前
Eclipse项目上传和下载到码云上
  本文将介绍如何将本地的项目提交到开源中国的码云(版本控制器)上。改教程讲解过程比较详细,跟着做实现起来很简单。由于自己本身也是一个新手,所以不做过多的解释,只是单纯的描述了该如何去做,大家一起学习共同进步。  1、在开源中国上面新建一个空项目  !(https://oscimg.oschina.net/oscnet/15ea374e828f
Wesley13 Wesley13
3年前
O2O 行业 IT 系统架构实践分享——预告
主题:O2O行业IT系统架构实践分享时间:4月26日20:00——21:30地点:QingCloud技术分享群报名方式:扫描文末小编二维码添加好友,发送听课,小编拉你进群。讲师:张卫华,青云QingCloud架构和解决方案工程师。本期内容介绍:O2O作为一种新生的商业模式,经过这些年的实践和讨论,已
Stella981 Stella981
3年前
Hadoop完整搭建过程(四):完全分布模式(服务器)
1概述上一篇文章介绍了如何使用虚拟机搭建集群,到了这篇文章就是实战了,使用真实的三台不同服务器进行Hadoop集群的搭建。具体步骤其实与虚拟机的差不多,但是由于安全组以及端口等等一些列的问题,会与虚拟机有所不同,废话不多说,下面正式开始。2约定Master节点的ip用MasterIP表示,主机名用
Easter79 Easter79
3年前
TiDB 常⻅架构应⽤场景
作者介绍:黄潇,TUG北京区Leader,TUG2020年度MOA。如今分布式数据库百花齐放,在做数据库架构选型时应该从哪些方面进行考虑?在TUG陆金所企业行活动上,TUG北京区Leader黄潇分享了TiDB的常见架构应用场景,以下内容整理自当天活动分享实录。本文主要分为以下三部分:1.当今分布式数据库
财务数据处理问题及解决方案分享
一、平台介绍财务自营计费主要承接京东自营数据在整个供应链中由C端转B端的功能实现,在整个供应链中属于靠后的阶段了,系统主要功能是计费和向B端的汇总。二、问题描述近年来自营计费数据量大增,有百亿的数据量,一天中汇总占据了一半的数据库资源。1、每天从单表千万
不是海碗 不是海碗
2年前
一口气整理三种不同二维码生成的Java 接入代码
引言二维码已经成为现代社会中广泛应用的一种工具,它们具有快速、可靠和高容量的信息传递能力。通过扫描二维码,用户可以轻松获取网址、产品信息、支付链接等各种信息。本文将介绍二维码生成器API作为一种工具,并探讨其功能和用法,包括普通二维码生成、带图片的艺术二维
京东购物车如何提升30%性能 | 京东云技术团队
本文主要介绍在业务复杂化背景下,京东零售购物车团队努力践行工匠精神,通过全异步化改造提升系统性能、提升用户体验。通过本文,读者可以了解购物车中台进行全异步化改造的总体方案,以及方案落地过程中遇到的问题及解决方法,读者可重点关注文中提到的多分页并行后,分页精细控制及底层RPC异常信息问题。
不是海碗 不是海碗
2年前
从申请到调用:空号检测 API 使用教程
引言在当今数字化的时代,手机号码成为了我们日常生活和商业活动中重要的联系方式之一。然而,随着电话号码的泛滥和变动性,验证手机号码的有效性变得越来越重要。本文将深入探讨空号检测API的背景和应用场景,介绍如何使用该API来验证手机号码的活跃状态,并分享一些相
不是海碗 不是海碗
2年前
一口气整理三种不同运营商要素验证API的Java 接入代码
引言在当今数字化的时代,手机号码已成为我们生活中不可或缺的一部分。然而,随着通信技术的快速发展和移动用户的增加,验证手机号码的真实性和有效性变得越来越重要。在本文中,我们将列举一些运营商要素验证API,并将介绍API的接入方法,希望对大家有帮助。运营商要素