Wesley13 Wesley13
3年前
java增量发布工具
有些公司由于没有使用maven作为构建工具,全量发布时没问题,而修改bug增量发布往往是将改动的代码手动编译后,从classes目录下拷贝到jar中然后再放到tomcat目录下发布,这种方法准确度不高,当修复bug时间跨度较大且文件较多时就不好提供了,下面介绍下一个增量打包工具https://gitee.com/lpxs/ProjectPatch.git
Stella981 Stella981
3年前
Solr集群架构概述及delta
背景由于项目原因,重新熟悉了下Solr,版本为3.6,搭建了主从Solr服务,并使用DIH从RDBMS数据源增量更新索引。其实也没什么技术含量,就是简单做个总结,分别从部署架构和增量更新两个方面说明下。SolrReplicationsolr的主从其实是他的replication(https://www.oschi
Stella981 Stella981
3年前
MongoDB手动同步主库(Change Stream)
主从同步原理所有数据库同步原理几乎一样,MongoDB解析oplog,Mysql解析bin.log,今天实现了MongoDB同步机制,请关注小编下次更新Mysql同步机制。intialsync:初始化所有数据。replication:根据oplog实现增量同步。初始化所有数据这个不说了,以下代码根
Stella981 Stella981
3年前
Flink 助力美团数仓增量生产
简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我
Wesley13 Wesley13
3年前
MySql 备份+ 高可用(二)
一、Xtrabackup介绍  MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的,如果数据大于50G或100G,存储空间足够的情况下,可以每天进行完整备份,如果每天产生的数据量较大,需要定制数据备份策略。例如每周实用完整备份,周一到周六实用增量备份。
Stella981 Stella981
3年前
Jenkins+SVN+Ant在Linux环境下自动完成版本的增量更新与编译
第一步:查看安装的jdk版本,查看是否安装ant,查看是否安装Jenkinsjavaversionantversionrpmqa|grepjenkins第二步:安装ant官网:https:
Wesley13 Wesley13
3年前
Oracle 12 Rman增量备份
1、增量备份增量备份主要作用是仅复制自上次备份以来已更改的数据块。您可以使用RMAN创建数据文件,表空间或整个数据库的增量备份。将增量备份作为策略的一部分的主要原因是:用于基于增量更新备份的策略,其中这些增量备份用于定期前滚数据库的映像副本;减少每日备份所需的时间;通过网络备份时节省网
小白学大数据 小白学大数据
2星期前
Python爬虫去重策略:增量爬取与历史数据比对
1.引言在数据采集过程中,爬虫经常需要面对重复数据的问题。如果每次爬取都全量抓取,不仅浪费资源,还可能导致数据冗余。增量爬取(IncrementalCrawling)是一种高效策略,它仅抓取新增或更新的数据,而跳过已采集的旧数据。本文将详细介绍Python
API 小达人 API 小达人
1年前
Eolink Apikit 版本更新:数据字典功能上线、支持 MongoDB 数据库操作...
EolinkApikit版本更新:搭建自定义接口协议架构,支持快速适配金融行业各类型私有协议的导入、编辑和展示。数据字典功能上线,支持以数据字典的形式管理参数枚举值。数据库连接支持MongoDB数据库操作。基于Apikit类型导入API数据支持增量更新......
云备份技术解析:永久增量备份
本文分享自天翼云开发者社区《》,作者:沈军天翼云云主机备份和云硬盘备份基于永久增量备份技术实现。备份分为全量备份和增量备份。云硬盘创建的第一份备份是全量备份,备份创建时间点云盘上所有已使用的数据块,不备份未使用的数据块。后续创建的备份均是增量备份,仅备份上