泰国数据库泄露83亿份互联网记录

我最近在浏览BinaryEdge和Shodan时发现了一个公开的ElasticSearch数据库。该数据库似乎由泰国一家名为高级信息服务(AIS)的主要移动网络运营商的子公司控制。*根据维基百科的数据，截至2016年，AIS是泰国最大的GSM移动电话运营商，拥有3987万客户。该数据库可能由AIS子公司高级无线网络(AWN)控制。它包含似乎是AWN客户的DNS查询日志和NetFlow日志的组合。利用这些数据，很容易描绘出一个人在互联网上做了什么。我多次尝试联系AIS，以确保数据库的安全，但都没有成功。在这一点上，我联系了TechCrunch的记者扎克·惠特克(Zack Whittaker)寻求帮助。我们仍然无法与AIS取得联系。然后我联系了泰国国家CERT团队(ThaiCERT)。是ThaiCERT，他能够与AIS取得联系，我们成功地确保了数据库的安全。

据彭博社报道，AWN提供有线和无线网络服务、电信网络和计算机系统。他们的网站显示该公司成立于2005年。他们特别指出，AWN“是先进信息服务公共有限公司(AIS)的子公司”。

AWN(AS131445)网络直接与AIS(AS45430)相连，事实上AIS是他们唯一的上游对等体。使用飓风电气发布的数据可以清楚地显示这种关系：

需要注意的是，ThaiCERT就暴露的数据库联系了AIS，不久之后数据库就离线了。AIS可能立即通知了AWN，或者他们可能只是简单地阻止了对暴露的数据库的访问，以便为他们的子公司快速解决这个问题。

根据BinaryEdge中提供的数据，该数据库在2020年5月1日首次公开并可供公众访问。大约6天后，我在2020年5月7日发现了这个数据库。

这不是一台未经身份验证就暴露在互联网上的服务器。我找到的主数据库是由三个ElasticSearch节点组成的集群的一部分。我还找到了第四个包含类似数据的ElasticSearch数据库。所有这些暴露的数据库均已通知认可机构。

在数据库公开的大约3周内，数据量一直在显着增长。该数据库每24小时添加大约2亿行新数据。

准确地说，截至2020年5月21日，数据库中存储了8,336,189,132份文件。该数据是NetFlow数据和DNS查询日志的组合。

DNS查询流量似乎只记录了大约8天(2020-04-30 20：00 UTC-2020-05-07 07：00 UTC)。这捕获了3,376,062,859个DNS查询日志。不清楚为什么他们在这么短的时间之后就停止记录DNS查询。也许这比他们打算捕获的数据要多得多。在这段时间内，他们每秒大约记录2538个DNS事件。

这看起来不是很多，但当按发出DNS请求的单个源IP地址(个人/设备/房屋)聚合时，您可以快速描绘出有关此人的情况。稍后再讲。

剩下的大约50亿行数据是N etFlow数据。NetFlow数据是在数据库保持公开的整个时间段内捕获的。SolarWinds将Netflow描述为：

NetFlow是思科开发的网络协议，用于收集IP流量信息和监控网络流量。通过分析流量数据，可以建立网络流量和流量的图像。

NetFlow数据的记录速度约为每秒3200个事件。单个NetFlow日志行如下所示：

此高级信息记录哪些源IP向特定目的IP发送了不同类型的流量，以及传输了多少数据。在示例屏幕截图中，这是对目标IP地址的HTTPS(TCP端口443)请求。可以对目标IP执行反向DNS查找，以快速确定此人将使用HTTPS的网站。

Awn使用的是一种名为ElastiFlow的工具，该工具简化了将netFlow或sFlow数据导入Elasticsearch的过程，在Elasticsearch中可以使用Kibana快速可视化。

预置的地理位置控制面板汇总了要捕获的流量的地理分布情况。不出所料，大部分流量来自泰国，尽管也有相当数量的流量来自周边国家。

Awn已经构建了一个仪表板，用于检查记录的DNS流量。这将按查询频率细分ASN、顶级域和顶级IP。我不会去推测为什么AWN会记录他们客户的DNS查询。

有趣的是，AWN用一个专门查看Facebook流量的过滤器保存了这个DNS仪表板。目前还不清楚为什么他们会对谁会去Facebook特别感兴趣。

为了证明应该将DNS查询日志视为敏感信息这一点，我从该数据库中选择了一个具有低到中等流量的单个源IP地址。我不想选择流量最高的IP之一，因为我认为它更可能是一个后面有多台机器的NAT IP。只需一个来源IP地址，就可以快速确定他们网络中的设备类型，以及他们经常使用的社交网络--Google、YouTube、Facebook、Soichat.com、TikTok、Line(聊天应用程序)等。

对于同一源IP地址，我随后查询了按应用程序和类型细分的所有NetFlow日志。

对于这个单一的IP地址，数据库包含668条网络流量记录。数据库还详细列出了来自此IP的通信量类型-有多少DNS通信量、HTTP、HTTPS、SMTP等。这些信息的细节令人毛骨悚然，但不能过于个人化。

不过，针对此单个IP地址的DNS查询会变得更加个人化。这导致了此IP地址的429行数据。

仅根据DNS查询，就可以确定有关此人/家庭的以下详细信息：

他们要么有三星Android设备，要么有其他三星设备，如联网电视。

请记住，数据库只记录了8天的DNS流量，但这仍然相当于33亿+DNS查询。此DNS查询日志数据可以讲述许多其他有趣而恐怖的故事，就像上面的数据一样。

ElasticSearch数据库在没有任何形式的身份验证的情况下暴露在公共Internet上显然是一个反复出现的问题。我没有太多时间做这类调查，但在过去的一年里，我发现并写下了9起这样的泄密事件。

ElasticSearch和Kibana(由同一家公司制造)需要更安全、更合理的默认设置。显然，如果设置这些工具的人决心把它们放到公共互联网上，那是无法阻止的。也就是说，这些工具(特别是Kibana)可能会显示一个巨大的警告横幅，如果检测到该工具无需身份验证即可公开访问，该横幅会提醒用户，并使用户确认他们理解这种情况的风险和影响。

对于从您的ISP收集的NetFlow或sFlow数据，没有任何隐藏。如果您在他们的网络上，他们可以(并且将)跟踪连接的始发位置以及该流量的目的地。

不过，关于DNS查询日志，这很容易解决。使用DOH或DOT保护传输中的DNS通信，这样您的ISP就不能查看、登录、监视，有时甚至无法出售您的DNS查询通信。我知道反对DoH和DOT的各种论据，其中绝大多数都是来自组织和公司的毫无根据的危言耸听策略(和FUD)，这些组织和公司与您没有保护DNS查询流量有经济利益。

多和多是未来。Mozilla Firefox支持它，Google Chrome支持它，Internet Explorer Edge支持它，Android支持它，甚至微软Windows10也将很快添加它。这是一个在主要浏览器上启用DoH的有用指南：这里是如何在每个浏览器中启用DoH的，该死的ISP！

需要明确的是：在这种情况下，DOH和/或DOT将停止DNS查询数据的收集。它的设置很简单，对于任何关心他们隐私的人来说，这都是一件明智的事情。