图像识别大作业

黄尚民 2021-10-17

614

结论摘要

华为云ModelArts自动学习图片分类分类标准难以判断，可能按深度层次判断。

图片分类在判断具有相同特征的多张图片时可能学习到其他内容。

实验目的

通过华为云提供的自动学习图像分类平台功能，了解其中强化学习的性能，训练实验操作技能。

实验计划

方案一：训练集全用一类图片，测试集用对应图片；

方案二：训练集全用一类图片，测试集用其他类型图片；

方案三：训练集全用一类图片，测试集用各类图片

方案四：训练集用各类图片，测试集用各类图片；

方案五：训练集用各类图片，测试集用一类图片；

方案六：训练集用各类图片，测试集用争议性图片。

实验记录

为节省成本，判断正确的百分率超过50%记录为对，低于50%记录为错。r代表判断正确，w代表判断错误

项目参数：

各个项目训练集中验证集的占比：10%。

1. exeML-6279：召回率：0.905；精确率：0.905；准确率：0.906；F1值：0.905。fake：F1值：0.917；精确率：0.917；召回率：0.917。real：F1值：0.897；精确率：0.897；召回率：0.897。

2. exeML-e454：召回率：0.771；精确率：0.800；准确率：0.766；F1值：0.761。fake：F1值：0.727；精确率：0.909；召回率：0.606。real：F1值：0.795；精确率：0.690；召回率：0.935。

3. exeML-7d3e：召回率：0.776；精确率：0.796；准确率：0.776；F1值：0.772。fake：F1值：0.802；精确率：0.719；召回率：0.906。real：F1值：0.743；精确率：0.873；召回率：0.646。

召回率是指正确预测的样本在总样本中的比例，精确率是指预测为正的结果中有多少是对的，准确率是指所有预测中有多少是对的。

方案一：

实验一：训练集约200张：动物（项目名称exeML-6279）；测试集：动物。（动物真0096，0097，0098，0099，0100）w,w,w,w,w；（动物假0374，0423，0592，0418，0428）w,r,w,w,w。

实验二：训练集约200张：建筑（项目名称exeML-e454）；测试集：建筑。（建筑真0001，0002，0003，0004，0005）r,r,r,r,r；（建筑假0275，0395，0291，0576，0085）r,r,w,w,w。

方案二：

实验一：训练集约200张：动物（项目名称exeML-6279）；测试集：建筑。（建筑真0001，0002，0003，0004，0005）w,w,w,w,w；（建筑假0002，0051，0072，0011，0070①）r,r,r,r,r。

实验二: 训练集约200张：建筑（项目名称exeML-e454）；测试集：动物。（动物真0096，0097，0098，0099，0100）w,w,w,w,w；（动物假0099，0285，0351，0430，0412）r,r,r,r,r。

方案三：

实验一：训练集约200张：动物（项目名称exeML-6279）；测试集：各种。（动物真自照②，建筑真0054，艺术真0012，人物真0015，自然真0075）w,w,r,w,w；（动物假自照②，建筑假0598，艺术假0162，人物假0311，自然假0572）r,r,r,r,r。

实验二：训练集约200张（项目名称exeML-e454）：建筑；测试集：同上各种。（动物真自照②，建筑真0054，艺术真0012，人物真0015，自然真0075）r,r,w,w,r；（动物假自照②，建筑假0598，艺术假0162，人物假0311，自然假0572）w,w,r,r,r。

方案四：

实验一：训练集约1500张（项目名称exeML-7d3e）：各种；测试集：各种。（自然真0097，人物真0049，建筑真0029，动物真0033，花朵真0022）r,w,r,r,r；（自制③自然假，人物假，建筑假，动物假，花朵假）r,r,r,r,r。

方案五：

实验一：训练集约1500张（项目名称exeML-7d3e）：各种；测试集：动物。（动物真0022，0058，0044，0083，0084）r,w,w,r,w；（动物假，来自电影④）r,r,r,r,w。

实验二：训练集约1500张（项目名称exeML-7d3e）：各种；测试集：建筑。（建筑真0001，0002，0003，0004，0005）r,w,r,r,r；（建筑假，来自想象图景⑤）w,w,r,r,w。

方案六：

实验一：训练集约1500张（项目名称exeML-7d3e）：各种；测试集：争议性图片。（颜色单调，截屏，多张图片，过于真实，电子绘画）real,real,fake,fake,real; （同类重复：颜色单调，截屏，多张图片，过于真实，电子绘画）fake,real,real,real,real。

实验分析

基于卷积神经网络的深度学习以其黑箱式的学习过程缺乏可解释性。但我们可以通过对结果的分析部分了解其中的原理，找到改善模型参数的方法。以下是对项目、实验的详细分析：

项目exeML-6279是三个项目中最准确可靠的一个。预测为fake的参数略优于real。但从人工实验的结果来看却没有体现如此高的正确率。在方案一中，以动物为训练集、动物为测试集，而十个判断中九个都是错的。究其原因，首先，训练集中real，fake都出现了动物，但背景相对杂乱，干扰信息多，影响了判断结果的准度。其次，我们的本意是让图像识别项目通过PS是留下的剪切痕迹来判断图片的真假，但从自动验证与人工测试的差异来看，项目很有可能是在按照别的某种标准在判断图片的真假，一种我们不得而知的标准。

通过方案二实验的结果可以推测，上述标准一定与动物本身有关，因为当图片中的动物换成建筑之后，人工测试的结果全为“假”。相应地，当建筑集判断动物时也全判断为错。

再看方案三。面对各种各样的图片，该项目倾向于将它们判断为假，判断为假的比例高达90%。原因是这些图片中基本没有出现动物。

接下来我们换用项目exeML-e454做实验。参数说明该项目对fake的覆盖不太全面，但基本覆盖了都是对的，而对real覆盖全面，但正确率比较低。在这里fake与real出现了不一样的情况。项目exeML-e454总体的准度不如项目一，但在方案一中的表现要好于项目exeML-6279。对于真照片的判断全对，假照片的正确率也要高于项目exeML-6279。总的来说更倾向于将照片判断为真。

值得注意的是，方案三中两个项目总的正确率都为60%，但正确判断的分布不一样。项目exeML-6279更加倾向于将照片判断为假，而项目exeML-e454判断结果真假各一半，且真假两个测试的准度相差不大。综合项目exeML-e454在方案二、三的实验中的表现，参考测试图片的性质，可以得出这样的结论：有明显前后景的图片该项目判断为假，无明显前后景的图片该项目判断为真。除了假0572外其他九张图片都可证实这个结论。

最后我们来关注体量最大的项目exeML-7d3e。对这个项目的训练使用了数千张来自网盘和自己相册的照片，耗时十几分钟，我对它的期望很高。看一看项目参数，总体准度不算很高，但准确率、精确率比较均衡，这是数据量达到一定大小具有的现象。分真假来看，对真的判断准度略低于假，真假精确率、召回率也出现了分歧，真面小质细，假面大质粗。

开始人工测试。方案四中对各类图片测试结果很好，准度达90%。而方案五中，对动物的准度只有60%，对建筑的准度只有60%，这说明了说明呢？要么各类图片测试结果具有偶然性，要么项目在判断同一类图片时出现了强化学习，并且这样的强化学习与我们的预想相反。

体量大了，就要担当判断争议性图片的责任。考虑到训练集中真实图片的内容复杂性，使我吃惊的是，该项目将截屏与电子绘图都判断为真。具体数据见注释⑥。

实验结论

华为云ModelArts自动学习图片分类可以判断图片真假，但判断能力有限。某些项目在某些测试中的表现比较可靠，但很多时候表现十分不如人意，且看起来“离谱”，如方案一实验一。

图片分类项目总体上按图片主体特征分类，有时按画面深度层次分类，但总的来讲难以判断。方案二的两个实验可以证明图片分类项目总体上按图片主体特征分类，对方案三实验二的具体分析可以看出图片分类项目有时按画面深度层次分类。

图片分类在判断具有相同特征的多张图片时可能学习到其他内容。如方案四的两个实验，并且学习到的内容降低了判断的准度。

训练集越大准度不一定更高。如项目exeML-6279与项目exeML-7d3e，训练集大的反而准度低。

两极化分类在不同的极中召回率与精确率可能不同。如项目exeML-e454与项目exeML-7d3e。

图片分类稳定性受背景信息干扰。如方案一实验一。

版权相关

运行图片分类所产生的费用来自华为云提供的代金券。

训练测试的主要图片来自Casia数据集。训练所用部分图片、注释④~⑥部分图片来自互联网。