人工智能与机器学习的安全如何把关？

如果有些AI应用会导致现有威胁扩大或者引入新威胁，那后果将不堪设想，比如自动驾驶汽车失灵、金融服务中的AI系统突然瘫痪或者智能家居被黑客控制等等。

新思科技软件质量与安全部门汽车解决方案架构师Chris Clark指出：

“与任何新技术一样，研究人员和攻击者需要花费时间才能找到破坏AI系统的新方法。在大多数情况下，这使攻击者将重点放在破坏AI和ML系统的机密性和完整性的方法上。与其它技术一样，AI / ML在底层系统之上运行。这个系统必须能持续监控和缓解网络攻击。”

针对AI / ML解决方案的攻击有两种常见形式。

一种是模型中毒，这意味着用于训练AI / ML的数据包含了有害信息。这些信息可能会在之后被启动以触发非正常行为。这种攻击方法实质上损害了系统的完整性；

第二种攻击形式基于模型中毒，被称为特洛伊木马攻击。在这种类型的攻击中，数据模型已损坏或中毒，攻击者可以根据环境以特定方式对其进行操作。基本上，特洛伊木马攻击使攻击者能够在未被发现的情况下悄悄潜入。

这些攻击方法可用于破坏视觉系统。这些视觉系统类似于自动驾驶汽车、面部识别和相关解决方案中可能使用到的系统。想象如下情况：特定图像或操纵图像可能会优先考虑某类车辆，或者会忽略面部识别系统中的面部特征。

此外，考虑AI技术时要注意的另一个领域是所使用的训练方法和数据集的有效性。图像偏差（可能被解释为中毒）的可能性也许会对基于AI / ML的系统的使用和操作产生重大影响。