Easter79 Easter79
3年前
TiKV 源码解析系列文章(十四)Coprocessor 概览
作者:Shirly本文将简要介绍TiKVCoprocessor的基本原理,面向想要了解TiKV数据读取执行过程的同学,同时也面向想对该模块贡献代码的同学。阅读本文前,建议读者对TiDB整体架构有所了解,先阅读三篇文章了解TiDB技术内幕:说存储(https://www.oschina.net/action/GoToLink?url
Stella981 Stella981
3年前
Mac 配置教程
!(https://ws1.sinaimg.cn/large/6d9475f6ly1g225ynphtlj20hs0bt75w.jpg)将Mac日常使用的软件和开发软件区分开,将之前写的Mac配置的文章分成了两篇:Mac配置教程日常篇(https://www.oschina.net/action/GoToLink?url
Stella981 Stella981
3年前
Jenkins + Gogs 搭建DevOps环境
Gogs:1\.安装过程中,对外访问URL可配置公网IP地址:端口号,因为这个选项会影响未来git仓库的地址。2\.新建好仓库后,如果想实现提交代码后自动触发编译,则需要配置对应代码仓库的Webhook:仓库设置管理Web钩子AddanewWebhookGogs推送地址:http://Jenkins服务器地址/gogswe
Stella981 Stella981
3年前
Maven入门(六) profile标签
项目开发经常碰到配置文件中测试的jdbc.url和线上的是不一样的。为此每次打包都要修改配置文件,很烦,而且也容易出错。 !(http://static.oschina.net/uploads/space/2016/0830/154134_7hjx_1398304.png)在src/main/profiles下面设置不同环境的配置文件例如db
Stella981 Stella981
3年前
SDWebImage 实现原理及大致介绍
一、SDWebImage实现原理:1.首先让占位图先显示。2.SDWebImageManage交给SDImageCache先从内存中查找是否有图片,会以URL作为数据的索引在内存中查找是否有对应的缓存。3.如果有缓存,通过代理进行回调展示图片。4.如果内存缓存中没有找到,生成NSInvocati
小白学大数据 小白学大数据
1个月前
Python爬虫中time.sleep()与动态加载的配合使用
一、动态加载网页的挑战动态加载网页是指网页的内容并非一次性加载完成,而是通过JavaScript等技术在用户交互或页面加载过程中逐步加载。这种设计虽然提升了用户体验,但对于爬虫来说,却增加了抓取的难度。传统的爬虫方法,如简单的HTTP请求,往往只能获取到网
小白学大数据 小白学大数据
10个月前
如何使用pholcus库进行多线程网页标题抓取以提高效率?
在当今信息爆炸的时代,数据抓取已成为获取信息的重要手段。Go语言因其高效的并发处理能力而成为编写爬虫的首选语言之一。pholcus库,作为一个强大的Go语言爬虫框架,提供了多线程抓取的能力,可以显著提高数据抓取的效率。本文将介绍如何使用pholcus库进行
智多星V+TNY264278 智多星V+TNY264278
8个月前
跨境电商接入淘宝API接口的详细步骤和流程实践说明
一、接入的步骤和流程1.注册开发者账号步骤:首先,开发者需要在淘宝开放平台注册账号(如添加TNY264278卫星号),并完成实名认证。这是使用淘宝API的基础,确保开发者具备合法的权限。重要性:注册开发者账号是使用淘宝API的前提,没有账号将无法获取API
小白学大数据 小白学大数据
8个月前
使用Panther进行爬虫时,如何优雅地处理登录和Cookies?
前言在互联网数据采集领域,网络爬虫扮演着至关重要的角色。它们能够自动化地从网站获取数据,为数据分析、内容聚合、市场研究等提供原材料。然而,许多网站通过登录和Cookies机制来保护其数据,这为爬虫开发者提出了新的挑战。SymfonyPanther作为一个现
小白学大数据 小白学大数据
4个月前
使用 User-Agent 模拟浏览器行为的技巧
在现代网络爬虫和自动化测试中,模拟浏览器行为是一个至关重要的技术。通过模拟浏览器行为,爬虫可以伪装成真实用户,从而绕过网站的反爬虫机制,获取所需的数据。而UserAgent是实现这一目标的关键技术之一。一、UserAgent的作用UserAgent是HTT