重磅预告:本专栏将独家连载新书《AI视觉技术:从入门到进阶》精华内容。本书是《AI视觉技术:从进阶到专家》的权威前导篇,特邀美国 TypeOne 公司首席科学家、斯坦福大学博士 Bohan 担任技术顾问。Bohan师从美国三院院士、“AI教母”李飞飞,学术引用量在近四年内突破万次,是全球AI视觉检测领域的标杆性人物。全书共分6篇22章,严格遵循“基础—原理—实操—进阶—赋能—未来”的六步进阶逻辑,致力于引入“类人智眼”新范式,系统破解从“数字世界”到“物理世界”、从理论认知到产业落地的核心难题。该书精彩内容将优先在本专栏陆续发布,其纸质专著亦将正式出版。敬请关注!
前沿技术背景介绍:AI 智能体视觉系统(TVA,Transformer-based Vision Agent)或泛称“AI视觉技术”(Transformer-based Visual Analysis),是依托Transformer架构与因式智能体所构建的新一代视觉检测技术。它区别于传统机器视觉与早期AI视觉,代表了工业智能化转型与视觉检测模式的根本性重构。 在本质内涵上,TVA属于一种复合概念,是集深度强化学习(DRL)、卷积神经网络(CNN)、因式分解算法(FRA)于一体的系统工程框架,构建了能够“感知-推理-决策-行动-反馈”的迭代运作闭环,成功实现从“看见”到“看懂”的历史性范式突破,成为业界公认的“AI质检专家”,也是我国制造业实现跨越式发展的重要支撑。
滤除噪波迷雾——TVA在华星光电Array段微观颗粒与异物缺陷的精准分割与归因
在TFT-LCD及AMOLED的Array制造过程中,成膜和光刻环节极易引入微小的颗粒物或异物(Particle/Defect)。这些微小缺陷在显微镜下往往与正常的薄膜纹理、晶界或光学衍射条纹高度混淆,导致传统AOI设备的误报率居高不下。本文以TCL华星光电的高世代产线为背景,深度探讨如何利用TVA(Transformer-based Vision Agent)构建“多尺度上下文注意力分割网络”。通过将微观缺陷图像转化为视觉特征序列,利用TVA的长距离依赖建模能力剥离背景噪波,实现颗粒物缺陷的像素级精准分割,并进一步通过特征注意力反演缺陷的物理成因。
显示面板的良率对微观环境的要求近乎苛刻。一个直径仅几微米的金属碎屑或灰尘,如果落在正在制造的玻璃基板上,就可能穿透后续的绝缘层,导致TFT单元短路或断路,最终在屏幕上表现为一个永远亮着或暗着的“坏点”,或者一大片无法驱动的“暗线”。因此,在Array段的每一次成膜(如CVD、PVD)和光刻之后,都必须通过自动光学检测(AOI)设备对整张玻璃进行一遍又一遍的“地毯式扫描”。
然而,华星光电的工艺工程师长期被一个痛点所折磨:AOI机器的“视力”太容易被欺骗。在高倍率明场或暗场显微镜下,TFT的沟道区域、非晶硅或多晶硅的晶界边缘、甚至由于薄膜厚度不均导致的光学干涉条纹,都会在图像上呈现出与真实颗粒物极其相似的灰度突变。传统的基于阈值分割或浅层CNN的AOI算法,由于缺乏对图像全局语义的理解,只能“看到哪里有灰度异常就报哪里”,导致每天生成的缺陷列表中,高达90%以上都是“伪缺陷”。复检人员需要在显微镜下耗费大量精力去甄别这些假报警。
为了刺破这层噪波迷雾,华星光电引入了TVA(基于Transformer的视觉智能体),彻底重构了微观缺陷检测的底层逻辑。
与处理自然场景的大尺寸图像不同,面板AOI捕获的缺陷图像通常较小(如256×256像素),但包含极高的空间频率信息。我们将这些微观图像切分为不重叠的图块序列。TVA的核心任务是:在这个充满干扰纹理的视觉空间中,精准“聚焦”到真正的物理异物上。
我们设计了一个基于TVA的语义分割架构。在编码阶段,TVA通过多层多头自注意力机制,让图像中的每一个图块都与全图的所有其他图块进行信息交互。这种长距离的依赖建模能力是破局的关键。例如,当模型关注到一个疑似“颗粒”的高亮像素点时,它的注意力机制会自动向四周扩散搜索。如果它发现这个高亮点的周围呈现出某种周期性的薄膜干涉纹理(即正常的背景噪音),它就会通过注意力权重抑制这种噪波的影响;反之,如果它发现这个高亮点打断了周围原本连续的晶体纹理,且其边缘的阴影分布符合真实三维球体遮挡光线的物理规律,TVA就会判定这是一个真实的颗粒物。
更进一步,为了实现对缺陷的“归因分析”,我们在TVA的解码端引入了“类别注意力热力图”。真实的生产线上,颗粒物分为很多种:有机物(如光刻胶碎屑)、无机物(如硅粉、铝屑)、纤维物(如无尘服纤维)。它们在显微镜下的视觉特征极其微妙。通过在海量人工标注的缺陷数据上训练,TVA学会了为不同类型的缺陷分配不同的注意力响应模式。
当TVA输出一张缺陷的分割掩膜时,它同时会输出一张高亮的注意力权重图,精准勾勒出缺陷的核心区域和边缘属性。系统不仅告诉工程师“这里有一个缺陷”,还能直接给出结论:“这是一个长约15微米的纤维状有机物,极大概率来自某台涂胶机的胶管摩擦”。这种从“视觉检测”跃迁到“视觉归因”的能力,使得华星光电的AOI系统误报率骤降了一个数量级,同时为前道工序的设备维护提供了如同“上帝视角”般的直接线索。
写在最后——以类人智眼,重新定义视觉技术天花板:本文针对TFT-LCD/AMOLED制造中Array段的微观缺陷检测难题,提出基于TVA(Transformer视觉智能体)的多尺度分割网络。传统AOI设备因无法区分真实颗粒缺陷与薄膜纹理、晶界等干扰,误报率高达90%。TVA通过长距离依赖建模能力,将微观图像转化为特征序列,利用自注意力机制精准分离缺陷与背景噪波。同时创新性地引入"类别注意力热力图",不仅能实现像素级缺陷分割,还能自动识别缺陷类型(如有机物碎屑、金属颗粒等)并追溯成因。该技术使华星光电AOI系统的误报率降低一个数量级,为产线良率提升提供了智能化解决方案。 (相关技术将同时收录于《AI视觉技术》系列专著中)