联邦学习

定义输入域（鸟类图像）和Anoutput域（鸟类）之间的关系。

所以我们需要数据，而且这个是＆＃39; t容易或便宜。另外：如果通过谁拥有或生成它，那么如果通过私有数据或产生它，该怎么办？联合学习启用使用私人数据的使用而不违反隐私。

联合学习术语由H. Brendan McMahan等人创造。 1 Intheir纸张，这个想法是将一个联邦视为$ k $客户，每个人水平分裂 - 一个训练集的碎片或分裂 - 一个训练集，$ d_ \ text {train} $。

每种客户都像往常一样对其本地数据进行本地培训。之后，这可能是许多批次或时期，每个客户端将其模型的扫描参数与参数服务器共享。此Serveraggregates所有模型更新并将新全局模型与所有客户端共享。

这个想法是客户永远不会分享他们的数据。唯一回归的东西是模型参数。

图TBPS0 [服务器初始化模型] - 发送参数 - ＆gt; c [客户] C - routh in local data - ＆gt; mu [客户模型更新] mu - 发送更新 - ＆gt; ps [参数服务器] PS - 汇总更新 - ＆gt; gm [新全球模型] GM - 发送参数 - ＆gt; c

以McMahan等人提出的原始形式。 1聚合方法ISAN的所有单个客户模型的参数的平均值，由本地数据集的大小加权，相对于所有TheData的总大小放在一起。

联邦学习是一个相对简单的概念，但有很多容感的开放问题。这是三个亮点。

它只通过共享数据的参数来确保不保证隐私。 Jonas Geiping等。图2示出了高分辨率图像可以从模型更新中培养，从而为现实的联邦学习架构中的模型更新。缺点可能是在参数上使用差分隐私3，以便参数服务器到参数服务器。

超越FL的逻辑下一步是完全分散它。如果您以Anall-Dream-Refey方式这样做 - 每个人都将其模型更新发送给每个人，而大家现在是一个聚合器 - ，沟通成本逐步规模。即使对于只有〜10MB的ASMALL模型，这将达到200个客户的小联盟的培训〜4GB流量。一个解决方案可以是USEA GOSSIP通信协议，其中每个客户端与其他客户端的固定数量交谈，并且更新在多家网络上逐渐传播。 4.

如果FL部署在客户端可以＆＃39; t被信任的设置或饲养到这些客户的数据线易受攻击，则可以进行模型中毒。这是有意地降级的思想，或操纵其输出。这是FL介绍的新问题。有一个猫和鼠标游戏，研究人员设计了改进算法来防御模型中毒，5岁及那种设计的新攻击，试图击败它们。 6.

Peter Kairouz和（再次）H. Brendan McMahan等，有一份伟大的论文。 7如果你想了解更多，那就列出了联邦睡眠的更多进展和打开问题。

如果您想要聊天，您也可以在Twitter上发给我一个DM。 👋