斯坦福与伯克利分校突破深度学习图像分割技术

正在盘算推算机视觉界限，一项由斯坦福大学的Jonathan Long、Evan Shelhamer和加州大学伯克利分校的Trevor Darrell协同实现的开创性查究正正在转折咱们让盘算推算机看懂图像的办法。这项题为Fully Convolutional Networks for Semantic Segmentation（全卷积收集用于语义决裂）的查究发布于2015年IEEE盘算推算机视觉与形式识别聚会（CVPR），并可通过DOI: 10.1109/CVPR.2015.7298965获取。这篇论文不只正在发布后敏捷成为该界限的经典之作，更为厥后的稠密查究奠定了底子。

联念一下，当你看到一张街景照片时，你能够轻松地辨认出照片中的汽车、行人、筑立和道道。这对咱们人类来说是云云自然，但对盘算推算机而言却是一项极具离间的义务。这恰是语义决裂要办理的题目——让盘算推算机可能像人类相同，不只识别出图像中有什么物体，还能无误地明白这些物体正在图像中的准确名望和界限。

正在这项查究之前，盘算推算机视觉界限曾经获得了明显发达，特地是正在图像分类方面。查究职员曾经开拓出可能占定这张图片是否包罗猫的算法，但要让盘算推算机无误指出猫正在图片中的哪个名望，它的轮廓是什么样的已经是一个困难。守旧措施往往须要庞大的众阶段处罚，效果低下且确切度有限。

Long、Shelhamer和Darrell团队提出的全卷积收集（FCN）措施，就像是给盘算推算机装备了一双可能无误描边的眼睛。这种措施的中央绪念能够比作一位艺术家的就业流程：先大致解析整幅画的大旨（识别图像中的物体种别），然后拿起画笔，无误地勾画出每个物体的轮廓（确定每个像素属于哪个种别）。

这项查究的一个庞大冲破正在于，查究团队奇妙地将本来用于图像分类的卷积神经收集转嫁为全卷积收集。这就像是把一个只会说这是苹果的助手，锻练成一个可能无误指出这里是苹果的皮，这里是苹果的梗，这里是苹果的肉的专家。

守旧的卷积神经收集正在处罚图像时，会渐渐将图像压缩成更小的特性图，最终取得一个分类结果。这就像是把一幅精细的画作压缩成一个粗略的标签。而全卷积收集则保存了空间音信，就像是正在压缩的同时，记住了每个细节应当正在原画的哪个名望。

查究团队面对的一个闭节离间是怎么从这些压缩的特性图重筑出原始巨细的决裂结果。他们的办理计划是引入了上采样和跳跃相联工夫。上采样就像是把一幅缩小的画作从头放大，而跳跃相联则确保正在放大流程中不会失落主要的细节音信。

整体来说，查究职员将经典的分类收集（如AlexNet、VGG和GoogLeNet）改酿成全卷积局面，移除了终末的全相联层，代之以卷积层。这就像是把一个只会给整张图片打分的评委，锻练成一个可能为图片中的每个区域独立打分的专家评委团。

接着，他们通过反卷积（或称转置卷积）层杀青上采样，将深层收集的粗拙预测逐渐规复到原始图像巨细。这个流程就像是先用粗笔勾画出大致轮廓，然后逐渐用细笔完美细节。

更为奇妙的是，查究团队出现，仅靠深层特性举办上采样往往会失落细节音信，出现隐约的界限。于是他们引入了跳跃相联布局，将浅层收集中保存的细节音信与深层收集中的语义音信连合起来。这就像是一个画家正在创作流程中，既切磋全部构图（深层语义），又不忘怀片面细节（浅层特性）。

查究团队正在众个公然数据集上测试了他们的措施，席卷PASCAL VOC、NYUDv2和SIFT Flow。结果解说，全卷积收集不只正在确切度上超越了当时的最佳措施，况且正在速率上也有明显提拔。守旧措施能够须要几十秒处罚一张图片，而全卷积收集能够正在不到一秒的时辰内实现同样的义务。

这项查究的另一个主要功劳是注明了端到端锻练的有用性。守旧的语义决裂措施往往须要众个独立的处罚阶段，而全卷积收集能够一次性从输入图像直接出现像素级的决裂结果。这就像是把一个须要众个专家合营实现的义务，交给一个锻练有素的万能专家一次性实现。

查究团队还探求了差别深度的收集布局和差别上采样战术的影响。他们出现，更深的收集（如VGG-16）凡是可能供应更好的本能，而众标准预测的统一（他们称之为FCN-8s）可能出现最细腻的决裂结果。这就像是连合了众位差别擅长的艺术家的睹解，最终创作出越发精湛的作品。

值得一提的是，查究职员还注明了这种措施的通用性和可迁徙性。他们胜利地将预锻练的分类收集迁徙到决裂义务上，并正在差别类型的图像数据集上获得了优异的成就。这解说全卷积收集不只正在特定场景下有用，况且具有通俗的符合性。

这项查究的实质利用价钱谢绝纰漏。语义决裂工夫曾经正在主动驾驶、医学影像分解、加强实际等界限显示出宏伟潜力。比如，主动驾驶汽车须要无误识别道道、行人和其他车辆的名望；医学影像分解须要确切定位器官和病变区域；加强实际利用须要认识实际情况的布局。全卷积收集为这些利用供应了一种高效、确切的办理计划。

查究团队也坦诚地指出了他们措施的局部性。全卷积收集正在处罚小物体或颀长布局时仍有改正空间，对付物体界限的无误定位也不足理念。这些题目正在后续的查究中取得了进一步的办理，如通过条款随机场（CRF）后处罚或更庞大的收集布局来改正界限定位。

从更通俗的角度来看，这项查究代外了深度进修正在盘算推算机视觉界限的一个主要里程碑。它不只供应了一种新的工夫措施，更主要的是开创了一种新的思绪——将分类收集改制为决裂收集的思绪。这种思绪影响了厥后的稠密查究，席卷实例决裂、全景决裂等更庞大的义务。

此刻，全卷积收集曾经成为语义决裂界限的底子工夫，并衍生出了很众改正版本，如DeepLab、PSPNet、U-Net等。这些措施正在各自的利用界限获得了明显胜利，但它们的中央绪念都能够追溯到这篇开创性的论文。

总的来说，Long、Shelhamer和Darrell的查究不只办理了一个整体的工夫题目，更为盘算推算机视觉界限的成长指了然宗旨。它注明了深度进修不只可能答复图像中有什么的题目，还能答复它们正在哪里的题目，从而使盘算推算机真正最先认识它所看到的寰宇。

对付对这项查究感意思的读者，能够通过IEEE数字藏书楼或干系学术平台查阅原论文。其余，查究团队还公然了他们的代码杀青，使其他查究者和开拓者可能更容易地认识和利用这一工夫。

Q1：什么是语义决裂，它与图像分类有什么区别？ A：语义决裂是让盘算推算机识别图像中每个像素属于哪个种别的工夫，而图像分类只是占定整张图片包罗什么物体。打个比喻，图像分类能告诉你这是一张有猫的照片，而语义决裂能无误指出照片中这些像素是猫，那些像素是靠山，杀青像素级的无误识别。

Q2：全卷积收集(FCN)的中央立异是什么？ A：FCN的中央立异正在于将守旧用于分类的卷积神经收集转嫁为能举办像素级预测的收集。它移除了分类收集中的全相联层，保存空间音信，并通过上采样和跳跃相联工夫重筑原始阔别率的决裂结果。这使收集可能端到端地从输入图像直接出现无误的决裂图，而不须要庞大的众阶段处罚。

Q3：FCN查究对实质利用有什么影响？ A：FCN查究对主动驾驶、医学影像分解和加强实际等界限出现了深远影响。比如，主动驾驶汽车使用语义决裂无误识别道道和毛病物；大夫能够用它主动定位医学图像中的器官和病变；加强实际利用则用它认识情况布局。其余，FCN还胀动了稠密后续查究，如DeepLab和U-Net等通俗利用的改正模子。