代码精简执行过程
一、代码精简背景随着业务需求的不断增加和产品的逐步完善,我们应用对应的代码库也在日益庞大,其中有用的、无用的、低频使用的、灰度验证的等各种类型的代码堆积在一起,给后续接手的同学增加了很多的维护和学习成本。有些代码逻辑缺乏文档说明,无人能看懂,更不敢随意修改
定时任务优化总结(从半个小时优化到秒级)
整体优化思路:1.按需查询、2.分小批次游标查询、3.JED场景下按数据库分片分组更新、4.精准定位要处理的数据、5.负载均衡业务背景:站外广告投放平台在做推广管理状态优化重构的时候,引入了四个定时任务。分别是单元时间段更新更新任务,计划时间段更新任务,单
马尚 马尚
1年前
验证码识别实战
验证码是网站常用的一种安全验证手段,但是对于自动化程序来说,验证码可能是个难题。本文将介绍如何使用Python和一些常用的库来识别验证码图像。步骤1:预处理图像首先,我们需要对验证码图像进行预处理,以便更好地提取图像中的文本信息。预处理包括灰度化和二值化。
ClickHouse内幕(2)基础数据结构
ClickHouse以性能好被大家所熟知,而一个数据库的性能优化是一个庞大的系统性工程。本文着眼于ClickHouse内部的基础数据结构,以揭露ClickHouse性能优化的冰山一角。在软件工程中并不是所有的执行路径都需要优化,只有关键执行路径才需要花费大
性能优化之路总结
针对老项目,去年做了许多降本增效的事情,其中发现最多的就是接口耗时过长的问题,就集中搞了一次接口性能优化。本文将给小伙伴们分享一下接口优化的通用方案。一、接口优化方案总结1.批处理批量思想:批量操作数据库,这个很好理解,我们在循环插入场景的接口中,可以在批
小白学大数据 小白学大数据
11个月前
建筑业数据挖掘:Scala爬虫在大数据分析中的作用
数据的挖掘和分析对于市场趋势预测、资源配置优化、风险管理等方面具有重要意义,特别是在建筑业这一传统行业中。Scala,作为一种强大的多范式编程语言,提供了丰富的库和框架,使其成为开发高效爬虫的理想选择。本文将探讨Scala爬虫在建筑业大数据分析中的作用,并
京东云开发者 京东云开发者
10个月前
QPS提升10倍的sql优化
本次慢sql优化是大促准备时的一个优化,优化4c16g单实例mysql支持QPS从437到4610,今天发文时618大促已经顺利结束,该mysql库和应用在整个大促期间运行也非常稳定。本文复盘一下当时的sql优化过程1.问题背景大促准备期间发现4c16G的
京东云开发者 京东云开发者
6个月前
记录一次SQL慢查询优化
作者:京东物流赫占星一、慢SqL发现在一次需求UAT上线后,本来在测试环境没问题的接口,UAT环境出现了接口超时,通过查询接口日志发现是SQL查询超时了,原因是UAT环境的数据量比测试环境大得多。一般来说,我们可以通过数据库本身的慢查询日志去定位出问题的慢
幂简集成 幂简集成
5个月前
便捷集成解决方案:免费实用API大全
免费实用类的是现代开发者和创业者的宝贵资源。这些API提供了各种功能和数据,可以为应用程序和网站增添丰富的特性和实用性。无论是地理位置服务、天气预报、图片库、语音识别还是翻译服务,这些免费实用类的API都能够满足开发者的需求。通过利用这些API,开发者可以
陈杨 陈杨
3个月前
开源啦!!!基于鸿蒙ArkTS封装的图表组件《McCharts》,大家快来一起共创
Hello;大家好,我是陈杨。好久没更新了,首先是自己本职工作比较忙,基本没时间写作。其次就是学习技术,自学鸿蒙ArkTS语言已经接近半年了,也算半路出师了,这次将分享我封装的组件库,所以有啥讲错的地方请大家高抬贵手,宽容一下,谢谢。这次主要是给大家带来一