python知道 python知道
4年前
《Python3网络爬虫开发实战》
提取码:1028内容简介······本书介绍了如何利用Python3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib、requests、正则表达式、BeautifulSoup、XPath、pyquery、数据存储、Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,后介绍了pyspider框架、S
Wesley13 Wesley13
4年前
SASS基础
特点:1.在css基础上增加特性:变量、嵌套(nesting)、混合(@mixin)、继承(@extend);2.通过函数进行颜色值与属性值的运算;3.提供控制指令等高级功能;4.自定义输出指令;数据类型:Sass和JavaScript语言类似,也具有自己的数据类型,在Sass中包含以下几种数据类型:1\
国际财务系统基于ShardingSphere的数据分片和一主多从实践
传统的将数据集中存储至单一数据节点的解决方案,在性能和可用性方面已经难于满足海量数据的场景,系统最大的瓶颈在于单个节点读写性能,许多的资源受到单机的限制,例如连接数、网络IO、磁盘IO等,从而导致它的并发能力不高,对于高并发的要求不满足。
Wesley13 Wesley13
4年前
MySQL主从配置
本文索引:MySQL主从介绍准备工作配置主配置从测试主从同步MySQL主从介绍MySQL主从又叫做Replication、AB复制。简单将就是A/B两个服务器做主从后,在A上写数据,B也会跟着写数据,两者数据是实时同步的。MySQL主从是基于binlog的,主服务器需要开启
Stella981 Stella981
4年前
Clickhouse v18编译记录
简介ClickHouse是“战斗民族”俄罗斯搜索巨头Yandex公司开源的一个极具"战斗力"的实时数据分析数据库,是面向OLAP的分布式列式DBMS,圈内人戏称为“喀秋莎数据库”。ClickHouse有一个简称"CK",与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:列式存
Stella981 Stella981
4年前
PDMan2.0
关于PDMan的参考文章:PDMan国产免费通用数据库建模工具(极简,漂亮)(https://my.oschina.net/skymozn/blog/1821184)立志要做1.最好的数据库设计工具2.最好的数据库版本管理工具免费是必需的!关于有不少人询问开源问题,三个月之前,暂无开源
Stella981 Stella981
4年前
Spark Streaming(5):Spark Window function in Java
首先,看下window函数的图解:!(https://static.oschina.net/uploads/space/2017/0810/172732_McZi_1386672.png)下面这个代码是计算一分钟之内的单词数量统计,每两秒获取一次数据,同时处理数据时间也是两秒,窗口大小为1分钟1.数据源packagecom.ss
Wesley13 Wesley13
4年前
mysql主从只同步部分库或表
同步部分数据有两个思路,1.master只发送需要的;2.slave只接收想要的。master端:binlogdodb二进制日志记录的数据库(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.2cto.com%2Fdatabase%2F)(多数据库用逗号,隔开)b
Wesley13 Wesley13
4年前
MySQL关于用户关注粉丝表的设计方案
一、数据结构分析用户关注粉丝是一个多对多的数据模型,分析对象的数据特征,我们给每个用户设计一个关注者属性和粉丝属性,用于存储用户的关注者id和粉丝id,如用户1:$arr1\'follow''\2,3,4\,'fans'\4,5,6\,\二、用户逻辑关系梳理
Wesley13 Wesley13
4年前
R语言 以打开文件的方式设置数据读取路径
直接运行下代码前两行,然后在本地选择你要读取的数据文件,然后运行第三行,即可成功读取数据。csvpath<file.choose()!(https://oscimg.oschina.net/oscnet/c180866ce0f95eee8b0c0520168dd71aa69.png)本文分享自微信公众号数据驱动实践(Data