上周在拉斯维加斯举行的大型黑帽网络安全会议上，当你走遍展览厅时，就会惊讶于众多公司吹嘘自己如何利用机器学习和人工智能来帮助世界变得更加安全。
但一些专家担心，供应商对依赖这些技术的风险并未给予足够的重视。 “正在发生的事情有点令人担忧，在某些情况下甚至是危险的。”安全公司Forcepoint的Raffael Marty警告说。
安全行业对算法的渴望是可以理解的。随着连接到互联网的设备数量激增，它正面临着网络攻击的海啸。与此同时，熟练的网络工作者大量短缺。
使用机器学习和AI来帮助自动化威胁检测和应对可以减轻员工的负担，并且可能比其他软件驱动的方法更有效地帮助识别威胁。
数据危险
但Marty和其他一些人在黑帽会议上发表讲话说，现在很多公司正在推出基于机器学习的产品，因为他们觉得必须为了吸引那些已经进入AI炒作周期的客户。而且他们有可能忽视机器学习算法会产生虚假安全感的方式。
正在推出的许多产品涉及“监督学习”，这要求公司选择并标记算法训练的数据集，例如，通过标记恶意软件的代码和安全代码。
Marty说，一个风险就是急于将产品推向市场，公司使用的培训信息尚未彻底清除异常数据点。这可能导致算法遗漏一些攻击。另一个是，访问安全公司系统的黑客可能会通过切换标签来破坏数据，以便将一些恶意软件示例标记为安全代码。
坏人甚至不需要篡改数据;相反，他们可以计算出模型用于标记恶意软件的代码功能，然后将这些功能从他们自己的恶意代码中删除，这样算法就无法捕获它。
在大会的一次讨论，微软的Holly Stewart和Jugal Parikh标志着过度依赖单一主算法驱动安全系统的风险。危险在于，如果该算法受到损害，则没有其他信号可以标记它的问题。
为了防范这种情况，微软的Windows Defender威胁防护服务使用了多种算法，这些算法具有不同的训练数据集和功能。因此，如果一个算法被黑客入侵，其他算法的结果 —— 假设它们的完整性也没有受到损害 —— 将凸显出第一个模型中的异常。
除了这些问题。 Forcepoint的Marty指出，使用一些非常复杂的算法，很难弄清楚为什么它们实际会给出某些答案。这种“可解释性”问题可能使得很难评估是什么驱动了任何异常现象。
但这些都不意味着人工智能和机器学习不应该在防御性武器库中发挥重要作用。来自Marty和其他人的信息是，对于安全公司及其客户来说，监控和最小化与算法模型相关的风险非常重要。
