PROJECT BACKGROUND
巧克力蛋在成型、涂覆、包装环节中，表面会出现多种缺陷。目前产线上靠人工目检，但检测人员看久了容易疲劳，判定标准也因人而异，高速产线上很难保持一致。
这个项目用深度学习工具评估巧克力蛋表面缺陷的自动检测可行性，目标是替代人工目检，让检测更稳定。
缺陷类型
客户把缺陷分成两类，一共十种：
- 严重缺陷——华夫可见、较大裂痕、异物、压碎或破碎严重的可可球、缺少可可球，这些对外观影响大，必须检出
- 轻度缺陷——变形的可可球、可可球位置不正确、可见夹心、缺少朱古力糖粉、缺少奶油，对外观有影响但程度较轻
项目挑战
实际做下来，有几个难点需要应对：
- 奶油量在图像中特征不明显，需进一步探索有效的识别方式
- 异物类缺陷暂无样本积累，需在后续补充样本后再验证检测能力
- 可见夹心、可可球变形和位置不正确这几种缺陷的图像较少，需积累更多样本充分验证
- 部分缺陷形态接近、边界不好区分，需反复调参才能分开
解决方案
这次评估重点测的是华夫可见、较大裂痕、压碎或破碎严重的可可球、缺少朱古力糖粉这些暗色缺陷。方案用了三级监督工具串联：先粗后细，逐级缩小检测范围。
第一级工具专看压碎、破碎这类大缺陷。训练方式比较特别：有缺陷的图当正样本，没这类缺陷的图当负样本，把可可球本身当作检测目标。工具输出的标记区域就是缺陷位置，同时也给后面两级划定了检测范围。
第二级在第一级标出的区域内，放两个工具分别检测。一个看华夫可见、缺少朱古力糖粉这类浅色缺陷，另一个补测其他类型。把检测范围限定在标记区域内，背景干扰小了很多，小缺陷更容易捡出来。
最后把三个工具的结果合在一起，判断产品有没有缺陷。
项目成果
可可球破碎这种大缺陷，能和正常样品分开，而且能标出没破碎的可可球位置，给后面两级检测提供了靠谱的区域参考。
第二级那边，调了几轮参数之后，标为不良的视图都能识别出来，浅色缺陷的检出效果达到预期。方案可行性验证通过，后续可以推进规模化部署。