Wesley13 Wesley13
4年前
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示:当前现状收集了当前已有数据、分工、团队
Bill78 Bill78
4年前
k8s超详细总结
一个目标:容器操作;两地三中心;四层服务发现;五种Pod共享资源;六个CNI常用插件;七层负载均衡;八种隔离维度;九个网络模型原则;十类IP地址;百级产品线;千级物理机;万级容器;相如无亿,K8s有亿:亿级日服务人次。一个目标:容器操作Kubernetes(k8s)是自动化容器操作的开源平台。这些容
Kevin501 Kevin501
4年前
常见SQL编写和优化
常见的SQL优化方式1.对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。2.应尽量避免在where子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:selectidfromtwherenumisnul
Wesley13 Wesley13
4年前
mysql5.7 修改root密码无法登陆原因
升级的mysql5.7修改完root账户密码后仍然无法登陆,查阅资料可能和user表的plugin字段为空有关。1、首先将my.ini中加入在\mysqld\节点上加skipgranttables主要作用是:跳过表中的验证,可以无密码登陆。2、登录之后查询plugin字段值:mysqlselectpluginf
Wesley13 Wesley13
4年前
APPKIT打造稳定、灵活、高效的运营配置平台
一、背景美团App、大众点评App都是重运营的应用。对于App里运营资源、基础配置,需要根据城市、版本、平台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中,保持运营资源能够被高效、稳定和灵活地配置,是我们团队面临的重大考验。在这种背景下,大众点评移动开发组必须要打造一个稳定、灵活、高效的运营配置平台。本文主要分享我们在建设高效的运营配
Easter79 Easter79
4年前
TensorFlow2教程20:自编码器
  自动编码器的两个主要组成部分;编码器和解码器  编码器将输入压缩成一小组“编码”(通常,编码器输出的维数远小于编码器输入)  解码器然后将编码器输出扩展为与编码器输入具有相同维度的输出  换句话说,自动编码器旨在“重建”输入,同时学习数据的有限表示(即“编码”)  1.导入数据  (x\_train,y\_train),(x\_
Wesley13 Wesley13
4年前
mysql出现Waiting for table metadata lock的解决方法
查询某一个表时,一直没有显示数据,于是就showprocesslist;!(https://oscimg.oschina.net/oscnet/07f86cfca979bba85837f1b6352eb00ec33.jpg)发现有表已经被锁了,关掉了之前的查询语句可以看到!(https://oscimg.oschina.net/oscn
Wesley13 Wesley13
4年前
3 mysql底层解析——innodb文件系统初步入门,包括连接、解析、缓存、引擎、存储等
上一篇我们学习了server层对于表对象缓存(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Ftianyaleixiaowu%2Farticle%2Fdetails%2F99971213)的处理,表对象获取到之后,通过handler才具备了与存储引擎交互的
京东云开发者|mysql基于binlake同步ES积压解决方案
1背景与目标1.1背景国际财务泰国每月月初账单任务生成,或者重算账单数据,数据同步方案为mysql通过binlake同步ES数据,在同步过程中发现计费事件表,计费结果表均有延迟,ES数据与Mysql数据不一致,导致业务页面
贾蔷 贾蔷
6个月前
哈希表实现指南:从原理到C++实践
一、简介和应用哈希表(HashTable)是一种高效的数据结构,通过键值对(keyvalue)存储数据,提供快速的插入、删除和查找操作。它使用哈希函数将键映射到表中的位置,使得平均时间复杂度可以达到O(1)。‌应用场景‌:数据库索引、缓存实现(如Redis