人们通常认为，随着人工智能系统的复杂性增加，它总是变得不那么可解释。 但研究人员已经开始用Face book的Captum等图书馆来挑战这一概念，它解释了神经网络用深度学习框架Py Torch以及IBM的AI解释能力360工具包和微软的解释ML所做的决定。 为了使AI的决策更加透明，来自谷歌和斯坦福的一个团队最近探索了一种机器学习模型-基于自动概念的解释(ACE)-它自动提取“人类意义”的视觉概念，为模型的预测提供信息。

正如研究人员在一篇详细介绍他们工作的论文中所解释的那样，大多数机器学习解释方法都会改变单个特征（例如像素、超像素、字向量），以近似每个特征对目标模型的重要性。 这是一种不完美的方法，因为它很容易受到即使是输入中最小的变化的影响。

相比之下，ACE通过在提取概念并确定每个概念的重要性之前，以一个经过训练的分类器和类中的一组图像作为输入来识别高级概念。 具体来说，ACE将具有多个分辨率的图像分割，以捕获纹理、对象部件和对象的几个级别，然后将类似的片段分组为相同概念的示例并返回最重要的概念。

为了测试ACE的鲁棒性，该团队利用Google在流行的Image Net数据集上训练的Inception-V3图像分类器模型，在数据集中的1000个类中选择了100个类的子集来应用ACE。 他们注意到，被标记为重要的概念倾向于遵循人类的直觉-例如，执法标志对于探测警车比地面沥青更重要。 但情况并不总是如此。 在一个不太明显的例子中，预测篮球图像最重要的概念是球员的球衣，而不是篮球。 当谈到旋转木马的分类时，游乐设施的灯光比座椅和电线杆具有更大的影响力。

研究人员承认ACE绝不是完美的-它很难有意义地提取异常复杂或困难的概念。 但他们认为，它对模型学习相关性提供的洞察力可能会促进机器学习的更安全使用。

“我们通过人类实验验证了其意义和一致性，并进一步验证了它们确实携带显著信号进行预测。 我们的方法.自动将输入特征分组到高级概念中；有意义的概念作为连贯的例子出现，对于正确预测它们所呈现的图像是重要的，“研究人员写道。 “发现的概念揭示了模型所学到的潜在令人惊讶的相关性。