数据测试实践:从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑,还要考虑大数据执行引擎带来的影响,因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入,讲解在数据测试实践中对大数据执行引擎兼容性
Stella981 Stella981
3年前
DataFrame与shp文件相互转换
因为习惯了使用pandas的DataFrame数据结构,同时pandas作为一个方便计算和表操作的数据结构具有十分显著的优势,甚至很多时候dataFrame可以作为excel在使用,而在用python操作gis的shp文件时很不顺畅,不太符合使用习惯,故写了一个DataFrame与arcgis地理文件相互转换的函数,这个处理起来可以节约大量的思考时间。S
Wesley13 Wesley13
3年前
AWS 核心服务概述(二)
\TOC\AWS网络服务VPCVPC与虚拟网络是逻辑隔离的一个VPC只能属于一个区域,但可以属于多个可用区VPC主要属性:IP范围,路由,网关,安全设置DirectConnect用户数据中心到AWS的专用网络连接在高吞吐的情况下可以
Wesley13 Wesley13
3年前
CPU高速缓存与极性代码设计
摘要:CPU内置少量的高速缓存的重要性不言而喻,在体积、成本、效率等因素下产生了当今用到的计算机的存储结构。1.介绍2.cpu缓存的结构3.缓存的存取与一致4.代码设计的考量5.最后CPU频率太快,其处理速度远快于存储介质的读写。因此,导致CPU资源的浪费,需要有效解决I
Stella981 Stella981
3年前
ASP.NET Core 2 学习笔记(十)视图
ASP.NETCoreMVC中的Views是负责网页显示,将数据一并渲染至UI包含HTML、CSS等。并能痛过Razor语法在.cshtml中写渲染画面的程序逻辑。本篇将介绍ASP.NETCoreMVC的Views。之前ASP.NETCore2学习笔记(六)MVC(https://www.oschina.net/actio
Stella981 Stella981
3年前
MongoDB 整合spring
SpringData提供了repository抽象方式,可以极大的减少数据访问层千篇一律的类似的重复的代码。基本DAO都会实现,find,findAll,findById,save,delete,update等方法,而且代码逻辑基本一致。SpringData提供了简化方法,通过接口定义SpringData通过Proxy自动提供具体的实现。
Stella981 Stella981
3年前
OO(Java)第一阶段作业总结
前言     本次博客主要是针对面向对象编程学习(Java)第一阶段的总结与反思,以PTA平台的练习作业为总结评估对象,望不断学习,不断提升。一.作业过程总结_①__总结三次作业之间的知识迭代关系_• 第一次作业整体难度较小,五道试题都是基础结构中的常规类型,考察了选择、循环结构、字符编码转换以及数据精确度
Wesley13 Wesley13
3年前
C#二分查找算法设计实现
C二分查找算法设计实现1.介绍二分查找也称折半查找(BinarySearch),它是一种效率较高的查找方法。但是,折半查找要求线性表必须采用顺序存储结构,而且表中元素按关键字有序排列。(记住了前提要求是顺序存储结构,而且要有序排序,所以说对于一个无序的是没法用二分查找的)2.查找算法过程
菜园前端 菜园前端
2年前
什么是分而治之?
原文链接:什么是分而治之?在我们前面有学习过一系列数据结构、以及相关的一些算法,包含排序、搜索算法。而本次学习的分而治之它不是数据结构,也不是一种算法,而是算法设计中的一种方法,可以理解为是一种思想。我们可以利用这种思想去设计很多种算法。分而治之是将一个问
尘码在摸鱼 尘码在摸鱼
1年前
[跬步架构] 架构是什么?
架构是什么?尘码刚刚踏入编程的大门的时候,就总听到前辈们在谈论一个名词:架构。他对于这个词充满了好奇,这好像是一个神奇的存在,能够塑造整个软件的形态,决定其成败。前辈发现了尘码的疑惑,讲解道:你可以把架构看作是一座大厦的结构。我们在这个结构中放置各个功能模