Python网络爬虫原理及实践 | 京东云技术团队
网络爬虫:是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫相关技术和框架繁多,针对场景的不同可以选择不同的网络爬虫技术。
艾木酱 艾木酱
4年前
以内存为中心的数据库设计考虑
MemSQL的纯内存设计理念MemSQL使用RAM作为PrimaryStorage。传统数据库使用磁盘作为PrimaryStorage。内存只做缓存用。MemSQL通过lockfreeskiplistsandhashtable来优化读。传统的缓存无法实现这种优化。内存不够,拒绝写请求。数据默认是异步批量顺序写log,结合定时快照以实现
不是海碗 不是海碗
2年前
IP 归属地查询 API 教你从0到1顺着网线找到键盘侠
IP归属地是利用大数据挖掘和大规模网络探测技术,对IP地址的基础信息和网络拓扑数据进行采集、处理,结合IP地址所在的应用场景与网络属性等因素,利用动态密度聚类算法和基于多层神经网络的IP地址定位算法,完成IP地址地理位置定位。
Wesley13 Wesley13
4年前
BERT在美团搜索核心排序的探索和实践
为进一步优化美团搜索排序结果的深度语义相关性,提升用户体验,搜索与NLP部算法团队从2019年底开始基于BERT优化美团搜索排序相关性,经过三个月的算法迭代优化,离线和线上效果均取得一定进展。本文主要介绍探索过程以及实践经验。!(https://oscimg.oschina.net/oscnet/up113c52d3c867e9a47fca9f9a
Wesley13 Wesley13
4年前
ubuntu 18.04配置静态ip,解决无法上网问题,解决resolv.conf配置文件被覆盖
Netplan 是Ubuntu17.10中引入的一种新的命令行网络配置实用程序,用于在Ubuntu系统中轻松管理和配置网络设置。它允许您使用 YAML 格式的描述文件来抽像化定义网络接口的相关信息。Netplan 可以使用 NetworkManager 或 Systemdnetworkd 的网络守护程序来做为内核
Wesley13 Wesley13
4年前
C语言内存优化——继续含泪总结
之前分析了基本数据类型的优化,现在开始涉及全局和局部变量的优化,话说这个东西我从没想过还能这样优化的喂!全局变量/Globalvariables全局变量不会被分配在寄存器上,修改全局变量需要通过指针或者调用函数的方式间接进行。所以编译器不会将全局变量存储在寄存器中,那样会带来额外的、不必要的负担和存储空间。所以在比较关键的循环中,我们要
子桓 子桓
2年前
网络流量监测用什么软件好?
网络流量监测用什么软件好?NetWorkerPro中文激活版非常不错,一款专业的网络流量监测工具,它可以帮助用户实时监测和分析计算机的网络流量,包括上传流量和下载流量。该软件支持macOS操作系统,并提供了丰富的网络监测和分析功能。使用NetWorkerP
Nodejs 应用编译构建提速建议 | 京东云技术团队
前端构建的提速是一项比较复杂且细节的工程,目前产品上在持续跟踪构建慢的应用,努力优化编译速度,但前端本身拥有一个比较自由的技术环境,没有统一的构建工具与流程,另外语言本身的执行效率、单线程的构建也不好让编译机发挥其最大能力,所以目前全局的通用优化手段还是会比较局限,还是依赖项目自身的优化.希望大家一起努力共建美好的明天.
绣鸾 绣鸾
2年前
Mac系统优化软件CleanMyMac X
CleanMyMacX是一款Mac系统清理和优化软件,它可以帮助用户清理垃圾文件、卸载无用应用程序、优化系统性能等。以下是CleanMyMacX的主要特点:1.系统清理:CleanMyMacX可以清理Mac系统中的垃圾文件、缓存文件、日志文件等,释放磁盘空
曼成 曼成
2年前
保障网络安全:IP代理识别API的作用与应用
随着互联网的不断发展,网络安全问题已经变得愈发重要。在网络上,恶意用户可以利用IP代理隐藏其真实身份,从而发动各种网络攻击或欺诈行为。为了保障网络安全,IP代理识别API成为了一种不可或缺的工具,本文将深入探讨其作用与应用。