隐语课程学习笔记5-隐私保护机器学习算法概要

隐语课程第5课,简单介绍了隐语的算法能力,包括预处理、隐私求交、决策树模型、线性回归模型、神经网络模型,并且支持数据水平切分(横向联邦)、垂直切分(纵向联邦)、混合切分(横纵向联邦)。

隐语提供了包括对DataFrame的封装,以及提供联邦ndarray的封装,和python的使用基本一致,上手较快,比较平滑。横向、纵向联邦场景都比较容易理解,横向一般面向to C场景,纵向一般解决to B的场景。关于混合切分场景,则会有些难理解,个人理解,一般在大型的机构(包含同业务多个子公司)的联邦场景下,可能会用到。比如两家运营商机构,既可能存在特征的互补,有可能同时存在内部多子公司对于数据的水平切分。

DataFrame以及FedNdarray提供的能力,与python明文场景类似。提供的某些预处理函数,可以直接使用dataframe的api处理。也可以采用sf.preprocessing包中的方法处理,与sklearn功能类似。这部分对于平时用python、sklearn比较多的同学来说门槛不大。

在垂直拆分场景,一般需要用到隐私求交算法,隐语提供了多种psi算法。用法也有多种,可以将psi当成独立的一种服务能力。也可以放在纵向联邦场景中去使用。

隐语提供了关于集成树模型的多种不同实现,ss-xgb是指底层使用mpc协议实现的xgb模型,从业内的多家厂商实践来看,比较适合在带宽友好的场景下使用,通信成本较高,但安全性较好。sgb则是通过半同态加密算法实现,算法设计来自fate团队,且后续又推出了优化改进版本,性能不错,但从已知的论文讨论来看,可能会存在一定的安全风险,不过也有相应的缓解措施,适合在带宽受限的场景下使用,通信压力较小,计算量较大。而sfxgboost则是普通的联邦,不推荐使用。横向对比业内厂商的算法实现,在性能层面,各家彼此差距不大。隐语的优势可能还是在安全攻防层面的充分测试。

隐语支持多种线性回归模型,推出的ss-sgd采用mpc协议进行实现,安全性较好,通信量大,支持线性回归以及逻辑回归。hess-sgd采用同态加密和秘密共享混合使用的模式,将mpc和同态加密的优势互补,业内蓝象、洞见、华控、富数基本也有采用类似的方案,同态加密通信量较小、mpc协议的计算量较小。不过只实现了逻辑回归。ssglm实现了广义线性回归,依然采用mpc协议,隐语团队可能对安全性的要求相对较高,偏好使用可证安全的mpc协议进行实现,但性能上可能会受到一定影响。后来听说在某些场景下会采取安全退让的方式,在性能与安全性之间做平衡。如果性能满足不了商用,那么安全性也将无从谈起。横向对比各家厂商的算法性能,也是基本在同一水平,可能借助硬件加速等手段还能进一步助力性能的提升。

隐语针对神经网络算法,分别提供了两套api,分别是FLModel以及SLModel。SLModel就是拆分学习。

关于水平联邦神经网络算法,比较容易理解,各方都有完整的训练数据,无非就是需要做权重参数的聚合平均等操作,所以你可以使用tf和torch作为backend来编写模型代码,然后采用隐语内置的多种安全聚合策略来实现权重参数的联合更新,就可以在flmodel框架下完成水平模型训练。

垂直拆分学习,同样支持tf和torch作为backend。和水平联邦不同的是,各方只持有完整模型的一部分。一般实现的模型结构为bottom+top结构,bottom分布在各个参与方本地,本地计算多层网络,最后一层输出的结果会将采取某种安全方式,发送到guest方进行拼接或者聚合等操作(也称为交互层),然后继续训练top层,再结合真实的标签信息,来完成误差计算和反向传播迭代更新参数。由于神经网络参数规模一般较大,因此隐语提供了多重稀疏化和量化压缩的算法,来支持计算的加速。

总体来看,隐语提供的联邦算法,倾向于基于mpc协议实现,不过带来的问题就是通信量大。因此需要看具体应用场景,灵活选择合适的算法。

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-13 19:34:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-13 19:34:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-06-13 19:34:01       82 阅读
  4. Python语言-面向对象

    2024-06-13 19:34:01       91 阅读

热门阅读

  1. 从零制作一个ubuntu的docker镜像

    2024-06-13 19:34:01       31 阅读
  2. 在 Ubuntu 上取消登录密码和锁屏功能的简易指南

    2024-06-13 19:34:01       37 阅读
  3. MySQL(2)

    2024-06-13 19:34:01       22 阅读
  4. AForge.NET介绍

    2024-06-13 19:34:01       25 阅读
  5. tar cjf xx.tar.bz2 xx,命令参数的含义

    2024-06-13 19:34:01       30 阅读
  6. MySQL bin-log日志恢复数据

    2024-06-13 19:34:01       32 阅读
  7. LVS ipvsadm命令的使用(二)

    2024-06-13 19:34:01       28 阅读
  8. CVE-2020-1472域渗透 NetLogon 权限提升漏洞

    2024-06-13 19:34:01       34 阅读
  9. 在 Visual Studio 调试器中指定符号 (.pdb) 和源文件

    2024-06-13 19:34:01       30 阅读
  10. Android 调用系统相册、系统相机拍照

    2024-06-13 19:34:01       26 阅读
  11. 新视野大学英语2 词组 6.13

    2024-06-13 19:34:01       33 阅读
  12. Hutool有哪些常用方法

    2024-06-13 19:34:01       24 阅读