你还在为SFTP连接超时而困惑么? | 京东云技术团队

京东云开发者
• 阅读 257

1. 前言

在最近的项目联调过程中,发现在连接上游侧SFTP时总是需要等待大约10s+的时间才会出现密码输入界面,这种长时间的等待直接导致调用文件接口时连接sftp超时问题。于是决定自己针对该问题进行一下排查,查询了相关资料,并逐个试验了一下网上提供的解决方案,然后在文章中详细记录问题的排查及分析过程,并将收集到的一些常见的SFTP的超时原因及解决方案进行了整理如下。

你还在为SFTP连接超时而困惑么? | 京东云技术团队

2. 问题排查过程

  • 首先使用ssh -v命令(调试模式)进行远程登录调试
ssh -v -oPort=端口号 root@ip地址

你还在为SFTP连接超时而困惑么? | 京东云技术团队

  • 在调试模式观察调试信息,确定主要的耗时卡点所在位置

你还在为SFTP连接超时而困惑么? | 京东云技术团队

  • 根据耗时卡点信息确认问题所属服务端还是客户端;

假如调试信息卡在debug1: SSH2_MSG_SERVICE_ACCEPT received位置,则表示主要的耗时卡点在服务端,需要修改服务端的配置文件();

假如调试信息卡在debug1: Next authentication method: gssapi-with-mic 位置,则表示主要的耗时卡点在客户端,需要修改服务端的配置文件();

◦ 假如两个阶段停留时间均较长,则需要同时修改服务端和客户端的配置文件;

你还在为SFTP连接超时而困惑么? | 京东云技术团队

  • 经排查发现此次SFTP连接超时的调试信息在debug1: SSH2_MSG_SERVICE_ACCEPT received位置停留时间较长,故而需要修改服务端的配置文件,需要调整文件如下:

关闭DNS反向解析:在Linux中,默认是开启了SSH的反向DNS解析,服务器会先根据客户端的 IP地址进行 DNS PTR反向查询出客户端的主机名,然后根据查询出的客户端主机名进行DNS正向A记录查询,并验证是否与原始 IP地址一致,通过此种措施来防止客户端欺骗(说到底还是反向查询的问题)。这个会消耗大量时间,是连接慢的主要卡点,因此可以通过关闭该选项;

配置文件位置

/etc/ssh/sshd_config

你还在为SFTP连接超时而困惑么? | 京东云技术团队

需要修改选项

UseDNS no

你还在为SFTP连接超时而困惑么? | 京东云技术团队

关闭GSSAPI认证:服务器端启用了GSSAPI。登陆的时候客户端需要对服务器端的IP地址进行反解析,如果服务器的IP地址没有配置PTR记录,那么就容易在这里卡住了。

配置文件位置DNS选项文件,具体修改内容

GSSAPIAuthentication  no

你还在为SFTP连接超时而困惑么? | 京东云技术团队

【未尝试该方案】nsswitch;修改配置文件nsswitchhosts选项修改“hosts”选项,hosts: files dns 表示是对于访问的主机进行域名解析的顺序,是先访问file,也就是/etc/hosts文件,如果hosts中没有记录域名,则访问dns进行域名解析。如果dns也无法访问,就会等待访问超时后返回,因此等待时间比较长。注意:如果SERVER需要通过域名访问其他服务器,则需要保留此行。

nsswitch文件位置

/etc/nsswitch.conf

你还在为SFTP连接超时而困惑么? | 京东云技术团队

具体修改内容为:(注意:如果SERVER需要通过域名访问其他服务器,则需要保留此行。ps:二次强调

hosts:          files 

◦ 【未尝试该方案目标主机hosts:修改目标主机的/etc/hosts文件,将本地主机的IPHostname添加进去;

◦ 修改IgnoreRhosts选项:IgnoreRhosts参数可以忽略以前登录过主机的记录,设置为yes后可以极大的提高连接速度;

文件位置

/etc/ssh/sshd_configIgnoreRhosts

具体修改为:

sshd_configIgnoreRhosts yes
  • 最后执行/etc/init.d/sshd restart重启sshd进程使上述配置生效即可,通过关闭配置文件中DNS反向解析GSS认证确实可以有效提升SFTP连接速度;那么问题来了?

为什么需要修改这两个选项呢?

◦ 修改这两个选项会带来什么样的风险么?

◦ 带着这几个问题我们对DNS反向解析GSS认证继续进行调研=======

3. 知识扩展

3.1. 什么是DNS反向解析?

你还在为SFTP连接超时而困惑么? | 京东云技术团队

DNS 的用途通常是将 域名解析 为 IP 地址。这被称为正向解析,我们每次访问互联网上的站点时都会执行此操作。顾名思义,反向 DNS(或rDNS)是一种将 IP 地址解析为域名的方法。

3.2. 反向DNS的查找过程?

在Windows中使用nslookup或者ping -a命令,在Linux中手动执行rDNS查找命令为:

dig -x ip地址

3.3. 什么是GSS认证?

GSSAPI – Generic Security Services Application Program Interface,它是另一个身份认证框架,基于这个框架也有多种认证机制的实现,如Kerberos,NTLM,SPNEGO等,但最为人所熟知还是Kerberos5的实现,所以会有很多人把“GSSAPI”等同于“Kerberos认证”。GSSAPI的程序库是cyrus-sasl-gssapi,它需要依赖SASL的共享程序库cyrus-sasl-lib。

举个栗子==>

客户端连接到服务器说:“Hi,我要登录,我支持SASL,请问我要如何证明自己的身份?”

服务器收到连接并作出响应:“收到,我也支持SASL,具体来说支持如下几种SASL认证实现:PLAIN,CRAM-MD5,GSSAPI,…”

客户端回答:“我想使用其中的GSSAPI。”

服务器响应: “收到。你知道GSSAPI也是一个认证框架,在GSSAPI方式下,具体来说我又支持:Kerberos5,SPNEGO,…”

客户端回复:“让我们使用Kerberos5吧,给你我的加密票据…”

◦ 在什么是GSS认证的例子中引入了一个新的名词(SASL),那么什么是SASL?

SASL – Simple Authentication and Security Layer,中文译作:“简单认证与安全层”,它是一个在网络协议中用来认证和数据加密的构架。SASL的官方定义非常抽象,很难让人直接明白它是做什么的。实际上,我们可以把SASL理解为一个用于身份认证(Athentication)的编程框架或者是一组接口定义,不同的认证机制可以基于这个框架编写各自的实现,从而允许客户端和服务器之间通过协商选出一种共同支持的认证机制完成身份认证。引入SASL后,应用系统不必再针对某一种认证机制去硬编码,而是具备了认证机制的可插拔能力;对于应用系统的开发者而言,使用SASL可以避免从一种认证机制的最底层API开始编写实现方案,将精力集中在与SASL框架的集成上即可,因为与各种认证机制对接的细节都已由相应的SASL插件实现了。作为SASL最主流的实现Cyrus SASL,其官方文档列出了大量开箱即用的插件: https://www.cyrusimap.org/sasl/#features 。SASL由共享程序库cyrus-sasl-lib和若干面向特定认证机制的实现库,如:cyrus-sasl-plain,cyrus-sasl-gssapi等组成。

emm,已经开始逐渐复杂啦,总结就是GSSAPI认证只是一种安全框架和接口标准,具体更深入的相关知识后续学习下再另起一篇文章进行总结哈!

4. 总结

跟着网上给出的解决方法逐个进行验证倒是没有什么难度,比较烧脑的是其中所涉及到的各种修改的原因以及如何根据现有问题定位到去修改该配置。文中涉及到的GSSAPI认证在今天之前完全是一个陌生的概念,现在通过查询资料也只是有了一个浅层的概念认知,后续还需要对文中所引入的相关知识及问题再深入学习!ok,以上就是对今天的SFTP连接超时问题进行了排查分析,是一次总结也是一次分享。

作者:京东科技 宋慧超

来源:京东云开发者社区 转载请注明来源

点赞
收藏
评论区
推荐文章
Easter79 Easter79
3年前
tcp_tw_recycle参数引发的数据库连接异常
【问题描述】开发反馈有个应用在后端数据库某次计划性重启后经常会出现数据库连接异常问题,通过监控系统的埋点数据,发现应用连接数据库异常有两类表现:  其一:连接超时  <spanstyle"backgroundcolor:FFFF00"131148.00msTomcatConnectionPool</span  其二:连接耗时过
Karen110 Karen110
3年前
​一篇文章总结一下Python库中关于时间的常见操作
前言本次来总结一下关于Python时间的相关操作,有一个有趣的问题。如果你的业务用不到时间相关的操作,你的业务基本上会一直用不到。但是如果你的业务一旦用到了时间操作,你就会发现,淦,到处都是时间操作。。。所以思来想去,还是总结一下吧,本次会采用类型注解方式。time包importtime时间戳从1970年1月1日00:00:00标准时区诞生到现在
Wesley13 Wesley13
3年前
Java通过sftp上传文件
Linux操作系统我们经常使用ssh中的ftp,sftp连接服务器,做相应操作。如何通过java代码的形式采用sftp连接到服务器,进行文件上传下载等操作呢?第一步,引入依赖包<!sftp上传依赖包<dependency<groupIdcom.jcraft</groupId
Stella981 Stella981
3年前
Kerberos无约束委派的攻击和防御
 0x00前言简介当ActiveDirectory首次与Windows2000Server一起发布时,Microsoft就提供了一种简单的机制来支持用户通过Kerberos对Web服务器进行身份验证并需要授权用户更新后端数据库服务器上的记录的方案。这通常被称为Kerberosdoublehopissue(双跃点问题),
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
3年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Easter79 Easter79
3年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Stella981 Stella981
3年前
Python调用Ant构建时根据构建状态来决定命令行退出状态
在使用python执行Ant构建时遇到的问题:使用os.system()调用Ant构建时,不论构建成功还是失败(BUILDSUCCESSFUL/BUILDFAILED),命令行的总是正常退出要解决问题:首先想到的是获取ant命令的返回值,根据返回值来决定命令行的退出状态(0或非0,0代表正常退出)查阅相关资料,得知python调用系
Stella981 Stella981
3年前
Linux应急响应(二):捕捉短连接
0x00前言​短连接(shortconnnection)是相对于长连接而言的概念,指的是在数据传送过程中,只在需要发送数据时,才去建立一个连接,数据发送完成后,则断开此连接,即每次连接只完成一项业务的发送。在系统维护中,一般很难去察觉,需要借助网络安全设备或者抓包分析,才能够去发现。0x01应急场景​
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_