推荐
专栏
教程
课程
飞鹅
本次共找到8819条
数据采集器
相关的信息
Wesley13
•
4年前
java高并发设计(十一)
一直在写java高并发的博客,突然想起自己刚开始学习相关技术开发的境况,一切都只是理论,案例是最能讲解的地方,后面的章节将从采用netty通信实现rpc的服务调用,采用hession序列化来设计netty的编码解码操作。该项目将涉及到单例设计,回调设计,数据安全设计,数据加载设计,面向接口设计。会涉及java自身的线程池,多线程执行,高并发数据安全,同时也出
Stella981
•
4年前
Socket编程(网络协议一)
“我们在传输数据时,可以只使用(传输层)TCP/IP协议,但是那样的话,如果没有应用层,便无法识别数据内容“TCP/IP只是一个协议栈,就像程序运行一样,必须要实现运行,同时还要提供对外的操作接口网络从下往上分为 物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。IP协议对应于网络层,TCP协议对应于传输层,而HTTP协议对应于应用层,
Stella981
•
4年前
IBatis Mapper&Spring Data JPA实现原理
因为我们最近的一个项目数据库访问呢层使用Ibatis, 今天团队成员问Ibatis中只写接口,不写实现,Ibatis是如何帮助我们查询数据。其实原理很简单,就是Java的反射和代理,因为Java的代理是真对于接口的。所以我们就可以在开发中DAO模块就直接写接口和对用的SQL就可以。实现类由我们生成代理,当代理方法被调用的时候我们就使用通用的数据库
Stella981
•
4年前
Mycat全局Sequence详解
Mycat全局Sequence详解在分布数数据库设计环节,将一个大表切分成各个子表,并且存储到各个数据节点上,如何保持一条数据记录的全局唯一性是一个关键性问题。mycat提供了一种全局sequence的机制,并且提供了多种实现方案。该文将对Mycat这一块进行讨论,以理清mycat这一块的设计思路。mycat当前提供了master分支提供了三种全局s
Stella981
•
4年前
OceanBase迁移服务:向分布式架构升级的直接路径
2019年1月4日,OceanBase迁移服务解决方案在ATEC城市峰会中正式发布。蚂蚁金服资深技术专家师文汇和技术专家韩谷悦共同分享了OceanBase迁移服务的重要特性和业务实践。蚂蚁数据库架构的三代升级史在过去的十多年时间里,蚂蚁在整个基础数据库架构上一共经历了三代升级。第一代数据架构是构建在IOE的
多客潇潇和逸逸是好朋友
•
5天前
多端部署陪玩源码!风控分销双完善,终身授权高收益搭建
陪玩源码多端部署与风控分销完善方案一、多端部署方案技术架构后端框架:采用主流框架如ThinkPHP6或SpringBoot,通过RESTfulAPI提供统一数据接口,支持高并发处理(如QPS≥3000)。数据库:使用MySQL进行分库分表,存储用户、订单等
小白学大数据
•
3年前
安居客房源信息获取
最近身边有几个做房产销售的朋友经常在诉苦,找不到客户,没有业绩,所以就比较好奇他们现在的行情,所以今天我们就使用python获取下安居客的一些房源数据。之前分享过很多关于爬虫的实践示例,今天这个也算是实践内容。我们就以户型结构、装修情况、水肥情况进行房源数据获取。爬取数据的通用流程:1、根据url请求页面,获取页面响应对象2、将页面响应对象转化为对象3、定
近屿智能
•
9个月前
微软新趋势:员工将转型为 Agent 的“管理者”,近屿智能持续深耕AI实战培训
微软最新发布的《2025年工作趋势指数报告》基于全球31个国家和地区、超过3.1万家企业的调研数据,结合LinkedIn人才趋势、Microsoft365使用数据及专家观点,提出“人机协作”正在重塑企业架构,推动企业迈向“前沿公司”模式。这类“前沿公司”围
京东云开发者
•
3个月前
纳尼?自建K8s集群日志收集还能通过JMQ保存到JES
一、背景基于K8s集群的私有化交付方案中,日志收集采用了logstashkafkaes方案,其中ilogtail负责日志收集,logstash负责对数据转换,kafka负责对日志传递中的消峰进而减少es的写入压力,es用来保存日志数据。在私有化交付中
小白学大数据
•
1个月前
拼多多数据抓取:Python 爬虫中的 JS 逆向基础案例分析
一、拼多多反爬虫机制与JS逆向的必要性拼多多的前端页面数据加载并非传统的服务端渲染,而是大量采用异步请求(AJAX)加载数据。这些异步请求的参数(如sign、token等)往往经过JavaScript加密处理,直接通过Python的requests库发送请
1
•••
346
347
348
•••
882