前言本次咱们来操作一下如何在Pycharm上，使用远程服务器上的Python环境。为什么这样做?这个要从我的一次经历说起,有一次我帮朋友爬取一些东西,由于类别不同,分了几次爬取,这一次我写好规则之后,依然正常爬取,由于我本人比较善良,加上数据量目测并不是太多,并没有使用代理ip,并且将scpay的速度控制的比较慢,一般爬取时,一般也就几分钟而已,泡一杯咖

起因先说说事情的起因，最近在分析数据时经常遇到一种场景，代码需要频繁的读某一张数据库的表，比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时，通过冗余数据来解决。但仍有部分业务存的只是关联表的ID，数据分析时需要频繁的查表。所读的表存在共同的特点数据几乎不会变更数据量适中，从一万

↑关注置顶 有趣的不像个技术号大家好，我是朱小五经常看我文章的朋友都知道，我一般在文中会分享自己的爬虫脚本或思路。最近有一些朋友留言表示对python不太熟悉，也不太会使用爬虫，但是对文中的数据很感兴趣。问小五能不能分享一下这些数据。当然可以，不过小五要先把涉及的用户信息去掉，再限制一下数据量，仅供大家学习交流，这样就没有法律风

南方地形地籍成图软件CASS10.0发布了，这是广东南方数码科技股份有限公司基于CAD平台开发的一套集地形、地籍、空间数据建库、工程应用、土石方算量等功能为一体的绘测软件，此款软件广泛运用于地构成图、地藉成图、工程丈量运用三大领域，且全部面向GIS，完全打通数字化成图体系与GIS接口，运用骨架线实时修改、简码用户化、GIS无缝接口等先进技术。!CASS

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量

为了方便更多朋友能尽快获得技术、游戏开发以及应用设计等方面的信息，我们从去年开始通过微信向大家推送信息，并且我们也收到了大家积极的反馈和建议，在此感谢大家的关注和支持。2014年，我们将一如既往地陪伴大家，做开发者最忠诚的朋友。微信已经成为我们生活中不可或缺的工具，但过大的信息量也会让人失去关注的焦点，为此我们特意挑选出部分开发者较为关注的技术问题整理成

TUN模式；其实数据转发原理和上图是一样的，不过这个我个人认为主要是位于不同位置（不同机房）；LB是通过隧道进行了信息传输，虽然增加了负载，可是因为地理位置不同的优势，还是可以参考的一种方案；优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的

不知道你们有没有对用户输入的东西进行过敏感校验，如果不进行校验，用户属于一些攻击脚本，那么我们的服务就挂逼啦！所以我们首先需要通过过滤器将用户的数据读出来进行安全校验，这里面涉及到一个动作，就是需要将用户的数据在过滤器中读出来，进行校验，通过之后再放行。问题如果我们的数据是get请求倒还好，但是如果是一些数据量比较大，我们需要通过postjs

Semaphore(信号量)是JUC包中比较常用到的一个类，它是AQS共享模式的一个应用，可以允许多个线程同时对共享资源进行操作，并且可以有效的控制并发数，利用它可以很好的实现流量控制。Semaphore提供了一个许可证的概念，可以把这个许可证看作公共汽车车票，只有成功获取车票的人才能够上车，并且车票是有一定数量的，不可能毫无限制的发下去，这样就会导致公交车

最近开发一个项目。客户端每隔10秒提交100行数据给服务端，服务端查重后写入。客户端约在几万左右，提交数据比较集中，不考虑读数据的问题。现在的设计是：数据库按客户端进行分表。每个表的数据量不高。服务端获得数据后，先插入redis队列，然后在通过定时任务插入数据库。问题是：1、服务端提供给客户端的接口，是否能满足几千上万的客