Stella981 Stella981
3年前
C# .NET Socket 简单实用框架
背景:首先向各位前辈,大哥哥小姐姐问一声好~这是我第一次写博客,目前为一个即将步入大四的学生,上学期在一家公司实习了半年,后期发现没有动力,而且由于薪水问题(废话嘛),于是跳槽到这家新的公司。说到Socket,想必大家都或多或少有所涉及,从最初的计算机网络课程,讲述了tcp协议,而Socket就是对协议的进一步封装,使我们开发人员能够更加容易轻松
Stella981 Stella981
3年前
Netty(七):流数据的传输处理
SocketBuffer的缺陷对于例如TCP/IP这种基于流的传输协议实现,接收到的数据会被存储在socket的接受缓冲区内。不幸的是,这种基于流的传输缓冲区并不是一个包队列,而是一个字节队列。这意味着,即使你以两个数据包的形式发送了两条消息,操作系统却不会把它们看成是两条消息,而仅仅是一个批次的字节序列。因此,在这种
Wesley13 Wesley13
3年前
C# 实现UDP打洞通信(一)
最近研究了一下网络打洞的相关技术,TCP的方式据说可行性不高,各种困难,因此决定采用UDP(UDP是什么就不解释了)的方式。原理:  我们都知道局域网内的主机想要访问外网的服务器是比较容易的,比如浏览器输入www.baidu.com就可以访问到百度的服务器,但是如果在局域网的主机部署一个服务,让外网的机器进行访问一般是无法访问的,因为外部访问的请求会
Stella981 Stella981
3年前
LVS调度算法
内核中的连接调度算法IPVS在内核中的负载均衡调度是以连接为粒度的。在HTTP协议(非持久中),每个对象从WEB服务器上获取都需要建立一个TCP连接,同一用户的不同请求会被调度到不同服务器上,所以这种细粒度的调度在一定程度上可以避免单个用户访问的突发性引起服务器间的负载不平衡。在内核中的连接调度算法上,IPVS已实现了以下八种调
京东云开发者 京东云开发者
1个月前
本地缓存 Caffeine 中的时间轮(TimeWheel)是什么?
我们详细介绍了Caffeine缓存添加元素和读取元素的流程,并详细解析了配置固定元素数量驱逐策略的实现原理。在本文中我们将主要介绍配置元素过期时间策略的实现原理,补全Caffeine对元素管理的机制。在创建有过期时间策略的Caffeine缓存时,它提供了三
小白学大数据 小白学大数据
3星期前
Scrapy 框架实战:构建高效的快看漫画分布式爬虫
一、Scrapy框架概述Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,它提供了强大的数据提取能力、灵活的扩展机制以及高效的异步处理性能。其核心架构包括:●Engine:控制所有组件之间的数据流,当某个动作发生时触发事件●Schedul
小白学大数据 小白学大数据
1星期前
应对反爬:使用Selenium模拟浏览器抓取12306动态旅游产品
在当今数据驱动的时代,网络爬虫已成为获取互联网信息的重要手段。然而,许多网站如12306都实施了严格的反爬虫机制,特别是对于动态加载的内容。本文将详细介绍如何使用Selenium模拟真实浏览器行为,有效绕过这些限制,成功抓取12306旅游产品数据。1230
公司党委书记、董事长、总经理胡志强出席“国企改革大家谈”分享天翼云改革经验
9月12日,以“新国企、新机制、新动能”为主题的首期“国企改革大家谈”活动在北京举办。中国电信集团总经理助理,天翼云科技有限公司党委书记、董事长、总经理胡志强出席活动,分享天翼云在国企改革方面的实践经验。
京东云开发者 京东云开发者
9个月前
《Hive编程指南》读书笔记
作者:CHO体系马壮前言:最近刚接触写HiveSQL,却发现许多查询的执行速度远不如预期。为了提升查询效率,我去阅读了《Hive编程指南》,希望通过理解其底层机制来找到优化的方式,并为未来能编写出高效的SQL奠定基础。谨以此文做个记录。一、Hive因何而生
小白学大数据 小白学大数据
8个月前
Python爬虫:爱奇艺榜单数据的实时监控
实时监控榜单数据对于内容推荐、市场分析和用户行为研究至关重要。本文将介绍如何使用Python编写爬虫程序,以实时监控爱奇艺榜单数据,并提供相应的代码实现过程,包括如何在代码中添加代理信息以应对反爬虫机制。爬虫技术概述爬虫(WebCrawler),也称为网络