Google的安全浏览计划使我度过了难关

Google的“安全浏览”程序可以保护许多人免受网络钓鱼，恶意软件和其他有害网站的侵害。实际上，它是如此普及，以至于它不仅被Chrome使用。 Google设法获得了竞争性浏览器，Safari和Firefox以及它们的使用。虽然被列入黑名单的网站列表全部由Google维护，但Google在查看和阻止哪些网站方面拥有不成比例的力量。

我将在片刻之后的一周中解释发生的情况；但首先，让我分享有关Google安全浏览API的更新：

从2019年9月11日开始，安全浏览API仅限于非商业用途。这是一项免费服务。

如果您是非商业用户，则可以继续使用安全浏览API，无需采取任何操作。此外，学术研究人员和非政府组织将继续有资格免费使用安全浏览API。

像GMass这样的商业用户，必须在2019年11月11日之前切换到Web Risk API。此版本是一项付费服务​​，如果您像我们一样是商业用户，则需要进行切换。另外，您需要申请并获得使用API​​的批准，因此请不要等待。

这两个API都旨在保护用户免受恶意软件和网络钓鱼的侵害，但是新的Web Risk API专为大型用户而设计。

上周初，我的团队突然收到大量用户投诉，报告说他们的链接已停止工作，发送限制有所降低，并且收到了Google的网络钓鱼通知。哎哟!经调查后，我们发现他们在电子邮件广告系列中使用的跟踪域最终出现在Google的安全浏览黑名单中，并且当人们单击广告系列中的链接时，他们最终出现在了这个令人恐惧的亮红色Google警告页面上。

有摩擦。 Google不仅会列出实际的网络钓鱼网站，还会列出重定向到它们的所有网站。这样一来，任何提供点击跟踪服务（包括URL缩短器和电子邮件营销服务提供商）都必须格外谨慎。

在浏览日志时，我们发现Netflix仿冒者已成功在2月17日星期日通过GMass发送了200封电子邮件。这是他发送的电子邮件。请注意，链接后面的URL在底部突出显示。在这种情况下，URL https://www.gregsimages.com/cgi-bin导致了红屏死机，而重定向到该URL的单击跟踪链接也是如此。

当您发送此列表中的URL时，电子邮件广告系列会如何处理？ Gmail使您感觉像恶魔般的转世。

您的Gmail帐户受到严重限制，无法发送大量电子邮件。

如果您确实发送了带有黑名单链接的电子邮件，并且单击了该链接，您将被红色的死亡屏吓吓到其中的耶稣。

如果有人拉出其中一封旧电子邮件并单击链接，您过去的广告系列也会受到影响。

如果有人回复了您，则该回复的底部仍将保留原始电子邮件以及您发送的链接，Google也会将该回复标记为您的潜在骗局。

在我们的案例中，当我们注意到列出了link.wordzen.com时，我想隔离受影响的link.wordzen.com URL。

通过使用公共安全浏览查找工具，该工具不同于每个人在其Search Console中拥有的私有工具，我发现仅插入link.wordzen.com即可得到此结果，表明某些URL受到了影响，而其他URL则没有受到影响：

但是，如果我插入了原始的点击跟踪结构link.wordzen.com/x/c，则问题很明显，所有/ x / c链接都被列入了黑名单

但是很好奇，我想知道如果稍微更改URL会发生什么，所以我尝试使用link.wordzen.com/x/d并发现这些URL重新干净了。

您会在下面看到，这一发现使我改变了点击跟踪链接的结构。

列出您的域后，您可能会想知道引起问题的URL。对您来说很不幸，Google不会告诉您。在Search Console中，您可能会看到以下内容：

如果您收到有关黑名单的电子邮件通知，则该通知将包含URL的一部分。

对我而言，这根本没有帮助，因为GMass历史记录中的每个点击跟踪链接都以/ x / c开头。重要的部分紧随其后，这就是Google从其报告中删除的那部分。这对透明性的限定超出了我的范围。

那你现在怎么办？您浏览日志并找出发生了什么。就我而言，我进行了各种分析，首先是对过去72小时内所有点击的时间分布分析，以查找异常情况。我还发现了我最好的朋友，一个来自Microsoft的名为Log Parser Studio的工具，它使我可以对IIS日志文件运行SQL查询，而无需将日志文件导入数据库。光滑！这就是我得出的结论，认为上述Netflix网络钓鱼者是罪魁祸首。

我不是唯一对看似无用的Safe Browsing API感到沮丧的人。

因此，使用一种无​​用的API，如何监视是否列出了新URL或将旧URL标记为安全？我使用Upwork迅速聘请了菲律宾的虚拟助手团队，将所有1400个客户的跟踪域手动输入到网络查找工具中，并每12小时进行一次，直到另行通知。

如果您是C＃程序员并且想自己尝试一下，请使用以下代码：

字符串apikey =＆＃34; AIzaSyBnIDLCc ************* z4twxdx28＆＃34; ; 字符串有效负载= @＆＃34; { ＆＃34;＆＃34;客户＆＃34;＆＃34;：{ ＆＃34;＆＃34; clientId＆＃34;＆＃34 ;：＆＃34;＆＃34; gmass＆＃34;＆＃34 ;， ＆＃34;＆＃34; clientVersion＆＃34;＆＃34 ;：＆＃34;＆＃34; 1.0.0＆＃34;＆＃34; }， ＆＃34;＆＃34; threatInfo＆＃34;＆＃34 ;： { ＆＃34;＆＃34; threatTypes＆＃34;＆＃34 ;： [＆＃34;＆＃34; MALWARE＆＃34;＆＃34;，＆＃34;＆＃34; SOCIAL_ENGINEERING＆＃34;＆＃34 ;，＆＃34;＆＃34; UNWANTED_SOFTWARE＆＃34;＆＃34 ;，＆＃34;＆＃34; POTENTIALLY_HARMFUL_APPLICATION＆＃34;＆＃34;]， ＆＃34;＆＃34; platformTypes＆＃34;＆＃34;：[[＆＃34;＆＃34; WINDOWS＆＃34;＆＃34;]， ＆＃34;＆＃34; threatEntryTypes＆＃34;＆＃34 ;： [＆＃34;＆＃34; URL＆＃34;＆＃34;]， ＆＃34;＆＃34; threatEntries＆＃34;＆＃34 ;： [ {＆＃34;＆＃34; url＆＃34;＆＃34 ;:＆＃34;＆＃34; http：//link.wordzen.com"＆＃34;} ] } }＆＃34; ; 使用（var client = new HttpClient（）） { var content = new StringContent（payload，Encoding.Default，＆＃34; application / json＆＃34;）; var response = client.PostAsync（$＆＃34; https：//safebrowsing.googleapis.com/v4/threatMatches：find？key = {apikey}＆＃34 ;，内容）。 字符串resultContent = response.Content.ReadAsStringAsync（）。Result; }

还有一个用于安全浏览API的.NET客户端库，但我选择不使用它，因为我想控制确切的JSON有效负载请求，以使我知道自己没有错。

尽管Google声称网络钓鱼网址将在24小时内进行审核，而恶意软件URL在72小时内将进行审核，但我发现它花费了大约120个小时（5天）。经过一周的苦难之后，再没有比这更甜美的电子邮件了，将您的域从可怕的黑名单中清除了：

您可以提交每个URL进行审核，在我们的案例中，我们也为数百个客户提供了该URL。

在列出客户的域名期间，我们不能只是闲着等待Google，因为客户需要发送电子邮件广告系列。我们采取了许多对策，如果您遇到这种情况，您也可以采取这些对策。

我们采取的第一步是从用户帐户中删除所有受影响的跟踪域，使它们退回到我们的共享跟踪域，对于付费用户，这是基于Amazon AWS域的干净域。这消除了未来竞选活动中的问题。

在整个系统范围内进行此更改时，我感到有些阴暗，但事实证明它确实有效，并使我摆脱了愤怒的用户群体的不断增长。点击跟踪链接的旧结构如下所示：

通过将各种URL结构组合插入查找工具，我们注意到上面的链接被标记为危险，但是如果我们进行了简单的更改，将/ c更改为/ d，则URL恢复为安全，因此我们进行了更改使用/ d代替/ c的链接的结构，如下所示：

当然，为了向后兼容，我们确保/ c URL也仍然有效。

进行此更改使用户可以继续使用其自定义跟踪域，即使其跟踪域仍在安全浏览系统中列为潜在的网络钓鱼域。

我本来应该从第一天开始就执行此操作，但是我从来没想到会有邪恶的人利用此漏洞。您可能知道，要设置自定义跟踪域，请在现有域之外创建一个子域，并将其CNAME设置为x.gmtrack.net。因此，就我而言，link.wordzen.com的x.gmtrack.net拥有一个CNAME，这就是它可以用作我的电子邮件广告系列的跟踪域的原因。但是，假设您将link.yourdomain.com设置为跟踪域。以前，您可以将URL的域部分替换为其他跟踪域，并且重定向仍然有效。

与其他任何用户的跟踪域一起使用，并且重定向到GMass网站仍然有效。这就是Netflix网络钓鱼电子邮件的收件人所做的。他用尽可能多的客户跟踪域替换了他所能找到的引诱网页的URL，访问了这些URL，然后将其提交给Google的安全浏览数据库。

但是，现在，将其锁定后，使用最初未与链接关联的跟踪域将不会自动将收件人重定向到网站。取而代之的是，将插入非页内广告页。尝试使用此链接，在该链接中，我已将跟踪域替换为其他用户：

被Google的安全浏览计划列入黑名单了吗？这是要知道的事情。

Search Console中的信息几乎没有用。更好的信息在有关列表的电子邮件通知中。

解决此问题后，请将您的网站提交审核，但不要立即解决。退市可能需要一周的时间。

在等待＃3时，请尝试解决此问题，就像我们通过更改点击跟踪链接的结构一样。 安全浏览数据库中的列表似乎基于正则表达式匹配，而不是您域中的每个URL。 如果所有其他方法均无效，请使用此《连线》文章来跟踪构建安全浏览产品的Google工程师团队。 底部有一个名称列表。 使用LinkedIn，Hunter.io或任何必要的手段来追踪某人。 这并不是我唯一一次使用Google安全浏览计划。 2020年9月，当该程序将我们与Zendesk一起使用的域列入黑名单时，我面临另一个令人痛苦的问题。 我也有一个有趣的故事，涉及Spamhaus黑名单。 Ajay是GMass的创始人，已经开发电子邮件发送软件已有20年了。