Stella981 Stella981
4年前
JFR定位由于可能的JDK11的bug导致Log4j2 CPU占用100%的问题
本文基于OpenJDK11最近使用SpringCloudGateway的时候,遇到了一个奇怪的问题:线上有3个API网关实例,压力均衡,平稳运行3天后,突然有一个实例,CPU飚高,并且响应时间增加很多,从几十毫秒涨到了几分钟。线上是k8s管理容器,立刻停掉了这个pod,重建,恢复正常。线上我们开启了JFR记录(
Stella981 Stella981
4年前
Python爬虫之Scrapy框架的UA池和代理池
一下载Scrapy的下载中间件!img(https://oscimg.oschina.net/oscnet/c9260e4edb2cfc96405d332cbb8ab9fd899.png)下载中间件(DownloaderMiddlewares)位于scrapy引擎和下载器之间的一层组件。下载中间件的作用:(1)引擎请求传递
Stella981 Stella981
4年前
ASP.NET Core 奇技淫巧之接口代理转发
前言先讲讲本文的开发背景吧..在如今前后端分离的大背景下,咱的客户又有要求啦~要前后端分离~然因为种种原因..没办法用用纯前端的框架(其实是学习成本高,又没钱请前端开发人员)...所以最终决定了一种方案..那就是采用MVC(只处理前端视图层,单纯是为了托管在.netcore上)Webapi的方式来实现前后端分离(讲真,很奇葩)..
Stella981 Stella981
4年前
Nginx系列之代理之后无法加载静态资源处理方法
最近在跟https域名升级问题,遇到一个麻烦的任务,因为域名由另外的公司负责,对方公司开了一个nginx服务器做了类似的转发location/zhzw{proxy_passhttp://127.0.0.1:81/zhzw;rewrite^/zhzw
史鼎 史鼎
9个月前
Manus by Monica.im:全球首款通用型AI Agent如何用"知行合一"重构生产力革命?
2025年3月6日,由中国团队Monica.im研发的通用型AIAgent——Manus正式发布,其技术架构与功能实现标志着人工智能从"知识生成"到"行动执行"的重大跃迁。该产品基于拉丁语"MensetManus"(手脑并用)理念,通过多代理协同架构将自然
数字先锋 | 携手扎囊县教育局,天翼云电脑叩响教育均衡发展之门!
作为数字时代教育新形态,智慧教育是推进公平、包容和优质教育的必然选择。而新一代数字信息技术,正成为推动教育智慧化发展的重要手段。在教育强国等战略引领下,我国偏远地区以教育智慧化作为突破口,积极借助云计算、AI等技术,助推当地教育优质均衡发展。走进西藏自治区
爬虫中正确使用User Agent和代理IP的方式
一、为何要设置UserAgentUserAgent有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置UserAg
python爬取数据中的headers和代理IP问题
爬虫的主要爬取方式之一是聚焦爬虫,也就是说,爬取某一个特定网站或者具有特定内容的网站,而一般比较大的有价值的网站都会有反爬策略,其中常见的反爬策略是网站根据来访者的身份判定是否予以放行。对来访者身份的判定一般基于headers里的userAgent值,每一
CGLIB动态代理对象GC问题排查 | 京东云技术团队
一、问题是怎么发现的最近有个新系统开发完成后要上线,由于系统调用量很大,所以先对核心接口进行了一次压力测试,由于核心接口中基本上只有纯内存运算,所以预估核心接口的压测QPS能够达到上千。压测容器配置:4C8G先从10个并发开始进行发压,结果cpu一下就飙升