ChatGPT是OpenAI公司开发的一款聊天机器人应用,自2022年11月推出以来以迅雷不及掩耳盗铃之势火爆全球。ChatGPT不仅可以模仿人类对话,还可以创建音乐、电视剧、童话故事和学生论文,甚至是编写和调试计算机程序。
截至2023年1月,ChatGPT的用户已超过1亿,成为迄今为止增长最快的消费级应用程序。全球海量用户的热情试用不仅让OpenAI公司的市场估值迅速飙升到290亿美元,但是也给后台服务的管理和维护带来了一些困扰。
有网友表示当问ChatGPT“中国足球如何才能捧起大力神杯”等问题时,ChatGPT的回答窗口一片空白。CNBC在2022年12月15日的报道中写道the service still goes down from time to time(服务时常中断)。难道ChatGPT也BUG?
今天小编就拿出我们的谛听从网络性能及用户体验监控平台对ChatGPT来一个基础设施大摸底,来验证下ChatGPT的响应速度、性能如何,它又是如何满足全球大量用户同时使用的?
下面就谛听对ChatGPT相关产品提供对外访问服务的基础设施进行详细梳理,OpenAI目前提供的服务主要有以下四个:
公司官网: https://openai.com 提供OpenAI公司研究情况、相关产品、收费情况的介绍说明,并提供了API文档和相关产品的入口。
api服务: https://api.openai.com 提供API访问服务
服务平台:https://platform.openai.com 提供用户登录、API文档说明、常用示例等功能
ChatGPT: https://chat.openai.com 提供ChatGPT产品服务
我们首先使用查询一下openai的权威域名服务器:
$ nslookup -type=NS http://openai.com
Non-authoritative answer:
http://openai.com nameserver = ns2-02.azure-dns.net.
http://openai.com nameserver = ns3-02.azure-dns.org.
http://openai.com nameserver = ns4-02.azure-dns.info.
http://openai.com nameserver = ns1-02.azure-dns.com.
从名称上可以看出来它是由微软Azure云平台提供的DNS解析服务,然后我们使用IP定位服务对这四台域名解析服务器的IP进行定位,发现它们都属于AS8086自治系统,位于美国微软公司的云网络中。
接下来,我们在谛听系统中对OpenAI相关的服务进行监测:
ChatGPT监控 我们从位于全球各地的10个城市中对ChatGpt的服务页面进行访问,响应的服务器IP有两个104.18.2.161、104.18.3.161,它们同样属于Cloudflare公司,并且使用了Cloudflare提供的CDN加速服务。
网络层面上,从全球各地访问都是比较顺畅的,详情如下图所示:
但是,在应用层面上,ChatGPT不仅会对访问者的IP进行限制,还会对用户的访问环境进行限制。在用户环境限制上,不允许使用自动化工具,比如Selenium进行访问,在IP限制方面,无法从中国大陆、中国香港、中国台湾以及俄罗斯等地区访问。访问界面如下所示:
官网监控 我们在谛听系统中从全球12个不同的城市发起了对openai官网的监控,响应的服务器IP至少有8个,比如13.107.238.46、13.107.238.59。通过对这些IP进行定位,发现这些服务器都位于美国微软公司的Azure云网络中,另外在HTTP响应头中也带有X-Azure-Ref标识,这也说明了http://openai.com是通过Azure云平台来提供服务的,另外由于响应IP与请求位置有关,所以推测是使用了Azure中的CDN服务。
从探测机到http://openai.com服务器的路径图如下所示:
可以看到在网络层面上全球各地都可以访问openai官网,但国内访问时延迟明显稍高,在70ms左右。另外下图说明了在Web服务层面上,全球各地也都是可以访问的。
API服务监控 我们同样从12个城市对openai的api接口服务发起监测,响应的服务器IP只有一个52.152.96.252,它属于微软Azure云网络,位于美国圣安东尼奥市。猜测是由于API服务的用户量比较少,所以并没有部署CDN加速服务。
从全球各地的探测机到api服务器的丢包、时延、抖动如下图所示:
可以看到网络是比较稳定的,丢包很少。但从美国以外的国家访问时时延是比较高的,大概在150~200ms。
在接口服务层面上,在全球多个城市都可以正常调用。并没有限制访问。
平台监控 针对http://platform.openai.com服务,我们从全球12个城市的探测机发起监测,可以看到响应的服务器IP只有两个104.18.1.104 、104.18.0.104。对这两个IP进行定位查询,发现它们位于美国,属于Cloudflare公司,openai在这里使用了Cloudflare提供的负载均衡功能。
在下图的网络路径中可以看到,从全球各地到Cloudflare中的服务器的时延都是比较低的(50ms以内),所以推测它可能使用了Cloudflare提供的CDN加速服务。
在web服务层面上,位于全球各地的探测机都可以正常访问http://platform.openai.com服务中的功能。
上层AS拓扑分析 在AS层面上,openai相关服务主要位于微软的AS8075以及Cloudflare的AS13335。
AS8075中具有196个互联网交换点,IPv4前缀有349个,IPv6前缀有23个。BGP对等AS有386个,主要如下图所示:
相关AS拓扑图如下所示:
AS13335中具有285个互联网交换点,IPv4前缀1777个,IPv6前缀1355个,与其构成BGP Peer关系的AS共有1264个,相关AS的拓扑结构如下图所示:
总结 通过谛听的检测结果可以看到OpenAI的ChatGpt服务目前主要是通过Cloudflare的CDN加速服务来向全球各地的用户提供访问服务的,不过,比较遗憾的是并没有对中国地区开放。其他的诸如官网和API等服务则通过微软的Azure云平台对外提供服务,并且使用Azure的DNS解析服务进行OpenAI的域名解析。通俗的讲,ChatGPT 的API响应速度相对比较稳定,丢包率低。
截至目前为止,关于ChatGPT中断的相关报道已经越来越少,这也说明ChatGPT在基础设施服务上做的越来越完善了。
随着微软加大对OpenAI的投资,微软作为OpenAI的主要股东及首选商业合作伙伴,并且拥有GTP-3的独家授权,未来Azure云平台可能会托管openai更多的相关产品和服务。此外,随着ChatGPT API的衍生产品越来越多,其API服务的负载也会越来越高,估计很快就会采用CDN提供全球加速服务。
所以ChatGPT 的空白和沉默很有可能是大家的提问过于离谱,于是它选择了此时无声胜有声。
但是对于ChatGPT 火爆最终还是回归到了AI是否会代替人类这个永恒不变的话题。以目前的情况来看,ChatGPT比起以往的AI确实是有一定的提升,只要问题描述精准,可以帮你写作文、做表、写诗等等。
只是现实往往比较复杂,例如甲方需要的五彩斑斓的黑、ChatGPT出了七八版方案之后领导表示还要第一版,字再大点等情况,很容易把ChatGPT的CPU干烧啊....
现阶段的AI能否代替人类,结果显而易见。