Калибровка системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке - RU2636263C2
Код документа: RU2636263C2
Чертежи
Описание
Область техники, к которой относится изобретение
Настоящее изобретение относится в целом к анализу цифровых изображений, более точно к калибровке системы формирования динамических цифровых изображений для обнаружения аномалий или дефектов на цифровых изображениях непрерывно движущих производственных потоков.
Предпосылки создания изобретения
Анализ изображений с целью обнаружения аномалий или дефектов применяется в различных областях. В частности, в пищевой промышленности анализ цифровых изображений применяется на непрерывных конвейерах автоматизированных систем сортировки пищевых продуктов. Например, в некоторых известных способах предусмотрен контроль пищевых и других продуктов или изделий, качество которых может быть установлено визуально. Как и в случае любого усовершенствованного анализа изображений или спектрального анализа, обнаруженные изображения должны сравниваться с эталоном, и это значит, что систему требуется калибровать с целью обеспечения непротиворечивых результатов измерений. Кроме того, известные системы и способы анализа изображений часто требуется калибровать, что прерывает захват изображений с целью обнаружения дефектов. Это может создавать затруднения, когда система обнаружения дефектов применяется на непрерывных производственных линиях (например, в системах непрерывной транспортировки изделий, контролируемых с целью обнаружения дефектов).
Соответственно, существует потребность в системе и способе, которые обеспечивают калибровку и повторную калибровку цифровой системы обнаружения дефектов без необходимости замедления работы или остановки системы транспортировки продукции. Кроме того, усовершенствованная система обнаружения дефектов должна быть рассчитана на применение в существующей системе транспортировки продукции. Наконец, существует потребность в цифровой системе и способе обнаружения дефектов, которые обеспечивают точную калибровку в реальном времени систем захвата и анализа изображений во время непрерывного производства.
Краткое изложение сущности изобретения
Согласно одной из особенностей настоящего изобретения предложен способ калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке, который преимущественно исключает или уменьшает недостатки, присущие известным способам статической калибровки. В одном из вариантов осуществления способ включает (а) помещение калибровочной цветной плитки на платформу, приподнятую над конвейером в поле обзора камеры; (б) получение данных поглощения света калибровочным цветом; (в) расчет интенсивности цветовой составляющей данных поглощения света калибровочным цветом; (г) нормирование интенсивностей цветовой составляющей калибровочного цвета; (д) перемещение платформы из поля обзора камеры; (е) получение данных поглощения света продуктами; (ж) расчет интенсивности цветовой составляющей данных поглощения света продуктами; (з) нормирование интенсивностей цветовой составляющей продуктами; и (и) расчет оценки показателей качества продуктов на основе интенсивностей цветовой составляющей калибровочного цвета и продуктов.
Согласно другой особенности настоящего изобретения предложена система калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке. В некоторых вариантах осуществления в систему входит конвейерная установка, имеющая первую раму, занимающую по меньшей мере часть ширины конвейерной установки; платформа, приподнятая над конвейерной установкой по меньшей мере на одной опоре, подвижно связанной с направляющей первой рамы; и прорезь в платформе для размещения цветной плитки, содержащей множество сегментов эталонных цветов. В некоторых вариантах осуществления также предусмотрена вторая рама, связанная с первой рамой непосредственно по ширине конвейерной установки; формирователь изображений, представляющий собой камеру, имеющую поле обзора, защитное стекло и линию управления/передачи данных; и/или блок управления, содержащий процессор, память и дисплей, при этом формирователь изображений дополнительно поддерживает связь с блоком управления по линии управления/передачи данных.
В некоторых вариантах осуществления настоящего изобретения может обеспечиваться ряд технических преимуществ. Например, в одном из вариантов осуществления настоящего изобретения система формирования цифровых изображений может калиброваться преимущественно одновременно с перемещением объектов по конвейеру. Еще одним техническим преимуществом одного из вариантов осуществления настоящего изобретения является его универсальность. Выгоды, обеспечиваемые настоящим изобретением, могут применяться на любых конвейерах при производстве изделий, которые требуют обеспечения качества. Хотя в описанных вариантах осуществления в качестве примера используется система транспортировки продукции, системы и способы согласно изобретению могут легко приспосабливаться к условиям любого непрерывного производства. Некоторые примеры применений способа и системы согласно изобретению включают без ограничения кондитерские изделия, закусочные продукты, конфеты (например, драже, шоколад, леденцы в шоколаде, ириски и разноцветные жевательные продукты), изделия из древесины, изделия из бумаги, текстильные изделий и многое другое.
В некоторых вариантах осуществления настоящего изобретения могут обеспечиваться некоторые или все эти преимущества. Другие технические преимущества могут быть легко поняты специалистами в данной области техники из следующих далее чертежей, описания и формулы изобретений.
Краткое описание чертежей
В целях обеспечения более полного понимания настоящего изобретения и его преимуществ далее приведено его описание со ссылкой на сопровождающие чертежи, на которых:
на фиг. 1 показан вид в перспективе системы калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из частных вариантов осуществления,
на фиг. 2 показан вид в перспективе системы калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из частных вариантов осуществления.
на фиг. 3 показан вид в перспективе системы калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из частных вариантов осуществления.
на фиг. 4 проиллюстрирована блок-схема способа калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из частных вариантов осуществления,
на фиг. 5А и 5Б проиллюстрированы примеры строчных разверток калибровочного эталонного блока, находящегося на уровне ленточного конвейера и на приподнятом уровне соответственно согласно одному из вариантов осуществления,
на фиг. 6А и 6В проиллюстрирован пример необработанных данных строчной развертки и нормированный график соответственно согласно одному из вариантов осуществления,
на фиг. 7 показан вид в перспективе системы калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из альтернативных вариантов осуществления,
на фиг. 8 показан вид сверху системы калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно одному из вариантов осуществления.
Подробное описание
На фиг. 1 показана система формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке согласно некоторым вариантам осуществления. Используемым термином "система формирования динамических цифровых изображений" обозначается любая система, способная получать цифровое изображение непрерывно движущихся объектов (например, непрерывно движущегося производственного потока). В систему 100 входит блок управления, конвейерная установка, калибровочный эталонный блок, осветительный прибор и формирователь изображений. Каждый блок дополнительно подробно описан далее.
По меньшей мере в одном из вариантов осуществления блоком управления является компьютер, имеющий процессор, память, дисплей (например, монитор) и устройство ввода данных (например, клавиатуру, мышь или сенсорную панель). В некоторых вариантах осуществления блок управления также оснащен сетевым интерфейсом и подсоединен к сети. Преимуществом такого варианта осуществления является возможность управлять системой 100 в удаленном пункте. В некоторых вариантах осуществления блок управления управляет конвейерной установкой, калибровочным эталонным блоком, осветительным прибором 160 и формирователем изображений. В других вариантах осуществления конвейерной установкой отдельно управляет оператор или другая система. Как подробнее описано далее, калибровочным эталонным блоком также может вручную управлять оператор. В некоторых вариантах осуществления осветительным прибором 160 и формирователем изображений управляют отдельным системы, поддерживающие связь друг с другом. В еще одном варианте осуществления оператор вручную регулирует интенсивность источника 162 света на основании данных захваченного изображения. В одном из альтернативных вариантов осуществления осветительным прибором 160 является статический элемент, а блок управления корректирует данные интенсивности света путем применения масштабного коэффициента.
В некоторых вариантах осуществления конвейерной установкой является ленточный конвейер 102. В других вариантах осуществления конвейерной установкой является любая система, способная поддерживать и транспортировать непрерывный поток продуктов. В некоторых вариантах осуществления формирователь изображений, осветительный прибор и блок эталонных цветом помещаются в портативном корпусе (как показано на фиг. 1), который быть перемещен от ленточного конвейера 102 в другое положение на протяжении производственного потока. Преимуществом этого портативного корпуса является возможность простой модернизации существующего конвейера.
Как показано на фиг. 1, в одном из вариантов осуществления калибровочный эталонный блок содержит платформу 104, раму 106, направляющую 108 рамы, опорные стойки 110, прорезь 112 вдоль платформы 104 и одну или несколько цветных плиток 120. Следует отметить, что, хотя в варианте осуществления на фиг. 1 показаны две опорные стойки 110, в одном из вариантов осуществления калибровочный эталонный блок содержит всего одну опорную стойку 110. Соответственно, обычно калибровочный эталонный блок содержит по меньшей мере одну опорную стойку 110. В одном из вариантов осуществления, более подробно проиллюстрированном на фиг. 2, платформа 104 опирается на раму 106 с направляющей 108, по которой свободно скользят опорные стойки 110. В таком варианте осуществления калибровочный эталонный блок может перемещаться в направлении, перпендикулярном или параллельном направлению движения ленточного конвейера 102. Это может позволять по мере необходимости перемещать калибровочный эталонный блок в поле обзора или из поля обзора формирователя изображений. Например, когда система 100 не выполняет калибровочную последовательность, опорные стойки 110 калибровочного эталонного блока перемещаются по направляющей 108 из поля обзора формирователя изображений в направлении, параллельном направлению движения ленточного конвейера, и формирователь изображений может захватывать изображения потока продуктов на ленточном конвейере 102. Напротив, когда система 100 находится в режиме калибровки или повторной калибровки, калибровочный эталонный блок перемещается в поле обзора формирователя изображений. В некоторых вариантах осуществления оператор системы 100 вручную перемещает калибровочный эталонный блок в поле обзора или из поля обзора, а в других вариантах осуществления блок управления автоматически перемещает его в зависимости от того, находится ли система 100 в режиме калибровки или обнаружения дефектов. Хотя на фиг. 1 показаны простые опорные стойки 110, скользящие по направляющей 108, они могут быть заменены любым механизмом, способным перемещать калибровочный эталонный блок в поле обзора и из поля обзора формирователя изображений. Некоторые примеры включают ролики, колесики, колеса, магнитные направляющие или более сложные роботизированные средства управления.
Обычно платформа 104 может быть приподнята на определяемую высоту над ленточным конвейером 102 с помощью одной или нескольких опорных стоек 110 или их применимого заменителя. Высота опорных стоек 110 может регулироваться, например, в соответствии с размером и формой продуктов, транспортируемых по ленточному конвейеру 102. В одном из вариантов осуществления опорные стойки 110 являются достаточно высокими для обеспечения зазора по меньшей мере около трех дюймов (около 7-8 см) между поверхностью ленточного конвейера 102 и дном платформы 104. Это может быть выгодным, поскольку калибровка системы 100 может происходить без остановки непрерывного потока продуктов.
Платформа 104 имеет прорезь 112, в которую могут плавно входить одна или несколько цветных плиток 120. Цветными плитками 120 могут являться одна плитка одного цвета, одна плитка множества цветов или множество плиток различных цветов. Цветные плитки 120 изготавливают из любого применимого материала, включая бумагу, полимер (в том числе полиэтилен со сверхвысокой молекулярной массой, акрилонитрил-бутадиен-стирол (ABS), полиоксиметилен, нейлон, политетрафторэтилен и т.д.), металл, керамику, композиционный материал или дерево. Размер цветных плиток 120 также может варьировать в зависимости от потребностей формирователя изображений. В одном из вариантов осуществления цветная плитка 120 имеет такую же ширину, как и ленточный конвейер 102, и расположена перпендикулярно потоку продуктов на ленточном конвейере 102. В частном варианте осуществления, проиллюстрированном на фиг. 1, цветная плитка 120 имеет ширину около 48 дюймов (около 122 см) и длину от около 6 до около 8 дюймов (от около 15 до около 20 см). В одном из вариантов осуществления, в котором цветная плитка плавно перемещается перпендикулярно направлению движения ленточного конвейера, цветная плитка может иметь относительно небольшой размер, поскольку размер отдельных пикселов составляет порядка 0,023 кв. дюйма. Во избежание интерференции со светом, отражающимся от окружающих областей, в одном из вариантов осуществления предпочтительной является цветная плитка меньшего размера. Другим преимуществом применения цветных плиток меньшего размера является возможность использовать меньшие и более легкие опорные механизмы. В некоторых вариантах осуществления градация размеров цветной плитки составляет от около 0,1 кв. дюйма до около 0,25 кв. дюйма. Следует отметить, что при использовании меньших плиток опорный механизм должен быть практически "невидимым" для формирователя изображений, поскольку он может влиять на местное освещение в области плитки. В другом варианте осуществления цветная плитка 120 меньшей ширины проходит параллельно направлению движения ленточного конвейера 102. В одном из вариантов осуществления цветная плитка 120 может плавно перемещаться перпендикулярно направлению движения ленточного конвейера. В другом варианте осуществления цветная плитка 120 также может плавно перемещаться параллельно направлению движения конвейера. В некоторых вариантах осуществления цветная плитка способна перемещаться как перпендикулярно, так и параллельно направлению потока продуктов на ленточном конвейере. В некоторых вариантах осуществления цветные плитки 120 могут иметь матовую отделку, за счет чего, когда их поверхности освещены, предотвращаются блики вокруг источника света или осветительного прибора. В качестве альтернативы, в одном из вариантов осуществления источник света может содержать отражающую полоску или отражатель 164, проходящий по длине калибровочного эталонного блока.
Осветительный прибор 160 (лучше всего показанный на фиг. 1) содержит источник 162 света и необязательно отражатель 164. Источником 162 света может являться любой применимый источник света, способный в достаточной степени освещать калибровочный эталонный блок и поток продуктов на конвейерной установке 102. Некоторые примеры применимого источника света включают лампу накаливания (например, традиционную лампу накаливания или галогенную лампу), электролюминесцентную лампу (например, светоизлучающие диоды (СИД)), люминесцентную лампу (например, компактные люминесцентные лампы или плазменную лампу), разрядную лампу высокой интенсивности, дуговую лампу и т.д. В одном из вариантов осуществления осветительный прибор 160 закреплен на боковых стенках корпуса системы 100, как показано на фиг. 1. В одном из вариантов осуществления стенки выполнены наклонными, как показано на чертежах, чтобы не отбрасывать тень или блики на визуализируемый объект во время захвата изображения. Поскольку поток продуктов на конвейерной установке 102 и калибровочный эталонный блок находятся на различных высотах относительно источника света, фиксированный осветительный прибор может отбрасывать тень или блики на одной высоте, но не на другой. Отражатель 164 ослабляет отбрасывание любой тени или бликов путем изменения направления света. Отражателем 164 является любое применимое устройство, способное отражать свет, такое как зеркало или металлическая поверхность. В некоторых вариантах осуществления поверхность отражателя 164 не требуется полировать, поскольку достаточно, чтобы она была матовой и отражала "белый" свет. В других вариантах осуществления, например, в которых измеряют конкретный цвет, применяется отражатель 164, который избирательно поглощает световые волны нежелательной длины. В других вариантах осуществления, в которых измеряют флуоресценцию, отражатель 164 может преобразовывать свет на волне одной длины в свет на волне предпочтительной длины, который затем может быть детектирован. В описанных примерах могут требоваться цветные плитки 120 с конкретными свойствами, имитирующими измеряемое свойство. Цветные плитки 120, а также отражатель 164 могут быть сконструированы и изготовлены, например, с использованием известных из техники полупроводниковых технологий путем легирования подложки химикатами, которые обладают желаемыми свойствами.
В некоторых вариантах осуществления отражатель 164 и/или весь осветительный прибор 160 приводятся в действие блоком управления. Следует отметить, что разность высот между ленточным конвейером 102 и калибровочным эталонным блоком также создает проблему различий в интенсивности света. Поскольку источник 162 света находится в целом выше освещаемого объекта, калибровочный эталонный блок освещается более интенсивным светом, чем находящийся под ним поток продуктов на ленточном конвейере 102. Соответственно, в некоторых вариантах осуществления блок управления регулирует выходную интенсивность источника 162 света в зависимости от того, находится ли система 100 режиме калибровки или режиме обнаружения дефектов. В других вариантах осуществления рассчитывают и корректируют интенсивность освещений на основании зависимости между интенсивностью и расстоянием от источника излучения. Такая зависимость может определяться теоретически или опытным путем, а затем вводиться в алгоритм калибровки.
На фиг. 3 проиллюстрирован крупный план формирователя изображений согласно одному из вариантов осуществления. Формирователь изображений содержит защитное стекло 150, камеру 300 с однострочной разверткой и линию 350 управления/передачи данных. В некоторых вариантах осуществления. В других вариантах осуществления камера 300 с однострочной разверткой заменена любым устройством, способным захватывать цветные изображения потока продуктов и калибровочного эталонного блока. Формирователь изображений расположен в целом над визуализируемым объектом (например, ленточным конвейером 102 и калибровочным эталонным блоком). Защитное стекло 150 изготовлено из любого оптически прозрачного материала, способного пропускать свет без потерь или с минимальными потерями из-за его поглощения защитным стеклом 150 (например, из стекла или полимера). Одним из назначений защитного стекла 150 является защита камеры 300 с однострочной разверткой и линии 350 управления/передачи данных от окружающей среды производственной линии (например, частиц пыли) и обеспечение эффективной очистки.
В частном варианте осуществления, проиллюстрированном на фиг. 1-3, защитное стекло 150 проходит по ширине ленточного конвейера 102. В таком варианте осуществления камера 300 с однострочной разверткой перемещается вдоль защитного стекла 350 и захватывает штриховое изображение (т.е. одномерный массив пикселов) объекта. Камера 300 с однострочной разверткой совершает в целом непрерывные колебания на протяжении защитного стекла 350 с целью генерирования двухмерного изображения (т.е. агрегации одномерных массивов пикселов). В других вариантах осуществления колебания совершает не камера 300 с однострочной разверткой, а одномерный массив соседних сенсоров, которые осуществляют выборку отдельных пикселов. В одном из вариантов осуществления предусмотрено 2048 отдельных сенсоров, расположенных линейно и одновременно осуществляющих выборку пикселов с 0 по 2047, соответственно. Этот процесс может непрерывно повторяться с целью создания непрерывного двухмерного изображения. В одном из вариантов осуществления такое двухмерное изображение может делиться преимущественно на четыре квадратных кадра размером 1024×1024 пиксела каждый для анализа. Размер кадров не ограничен какой-либо конкретной величиной и может корректироваться в соответствии с потребностями системы. Например, в некоторых вариантах осуществления кадр может иметь размер всего 2048×1 пикселов или иметь размер, ограниченный размером памяти, используемой в блоке управления, например 2048×100000 пикселов. Видеоданные, получаемые камерой 300 с однострочной разверткой, передаются блоку управления по линии 350 передачи данных/управления. Линия 350 передачи данных/управления также приводит в действие перемещение камеры 300 с однострочной разверткой. В одном из вариантов осуществления камера 300 с однострочной разверткой осуществляет выборку всех 2048 пикселов со скоростью около 4000 раз в секунду. Эта скорость выборки обеспечивает преимущественно квадратный кадр при скорости движения расположенного ниже конвейера около 600 футов в минуту. В вариантах осуществления с применением другого устройства захвата изображений перемещение камеры может не использоваться, если камера имеет достаточно широкое поле обзора для захвата изображения по всей ширине ленточного конвейера 102 (например, широкоугольная камера или видеокамера). В некоторых вариантах осуществления камера 300 с однострочной разверткой оснащена одним или несколькими светочувствительными датчиками, такими как прибор с зарядовой связью (ПЗС), обратносмещенные светоизлучающие диоды (СИД), фотодиоды, комплементарные металло-оксидные полупроводники (КМОП), кинескопы (например, видикон) или любое другое применимое устройство захвата изображений, которое способно оцифровывать изображение и вводить его в форме цифровой матрицы в процессор блока управления.
На фиг. 4 проиллюстрирован один из вариантов осуществления способа 400 действия системы 100. Способ 400 иллюстрирует один из вариантов осуществления последовательности режима калибровки и режима обнаружения дефектов. Используемым термином "калибровка" обозначается процесс, который включает сбор данных поглощения света одним или несколькими предварительно выбранными эталонными цветами, нормирование данных поглощения света и формирование набора окончательных данных поглощения света для сравнения с ними данных сканирования с целью обнаружения дефектов. Следует отметить, что термин "нормирование" не является взаимозаменяемым с термином "калибровка", поскольку в некоторых вариантах осуществления нормируют как набор данных калибровки, так и данные сканирования с целью обнаружения дефектов. Как дополнительно пояснено далее (при описании фиг. 5А и 5Б), нормирование является в целом математическим процессом, в котором умножают набор данных на определенный коэффициент, чтобы привести их к упрощенной форме для облегчения сравнения одного набора данных с другим. В вариантах осуществления, в которых считывают данные нескольких эталонных цветов, процесс калибровки включает сбор данных поглощения света для каждого эталонного цвета, нормирование каждого набора данных и накопление набора окончательных данных для сравнения с ними данных сканирования с целью обнаружения дефектов. Термин "калибровка" не является взаимозаменяемым с термином "нормирование" даже в одном из вариантов осуществления с использованием всего одного эталонного цвета, поскольку процесс калибровки также может включать настройку источника 162 света (как описано далее). В вариантах осуществления, в которых настраивают источник 162 света из режима калибровочного сканирования в режим сканирования с целью обнаружения дефектов с учетом различий в интенсивности света на приподнятом уровне, термином "калибровка" также может обозначаться умножение на соответствующий масштабный коэффициент. Иными словами, "нормирование" в целом означает математическую манипуляцию с одним или несколькими наборами данных поглощения света с учетом масштабного коэффициента, выведенного из набора данных, а "калибровка" в целом означает весь процесс получения окончательных данных поглощения света эталонным цветом. Применительно к варианту осуществления, проиллюстрированному на фиг. 4, режим калибровки в целом включает шаги с 404 по 420 (и шаг 436 повторной калибровки), а режим обнаружения дефектов включает шаги с 422 по 434 (один или несколько из которых являются необязательными, как дополнительно описано далее). Процесс нормирования может быть представлен на концептуальном уровне как регулировка усиления каждого из отдельных пикселов датчика таким образом, чтобы они одинаково реагировали на световое поле. Например, свет по краям светового поля является менее интенсивным из-за того, что за пределами поля обзора (например, ленточного конвейера) отсутствуют источники освещения. Это видно, например, на фиг. 5А и 5Б, на которых проиллюстрирована "левая" сторона строчной развертки согласно одному из вариантов осуществления (например, пикселы с 0 по 1023 кадра из 2048×1 пикселов). Уровень интенсивности начинает расти с довольно низкого уровня от пиксела 0 и постепенно увеличивается, но стабилизируется и выравнивается на участке примерно от пиксела 512 до пиксела 1023. На "правой" стороне развертки (например, пикселы от 1024 до 2047) также наблюдается довольно высокий уровень интенсивности на участке от пиксела 1024 примерно до пиксела 1536, который постепенно снижается с приближением к правому краю развертки. Это известно как эффект "каравая", поскольку строчная развертка выглядит как верхушка каравая хлеба. Этот феномен устраняется в результате нормирования путем регулировки усиления сигнала камеры, поступающего от краевой области, чтобы повысить уровень сигнала и выровнять характеристику. Аналогичный эффект может возникать в поле обзора, когда выделяемое количество энергии или даже содержимое спектра не является в точности одинаковым у всех источников 162. В таком случае нормирование в этом контексте означает обеспечение сходной, хотя не в точности одинаковой цветовой чувствительности каждого пиксела формирователя изображения к заданному раздражителю. Нормированный эталон имеет незначительно отличающуюся спектральную чувствительность по ширине и длине, и, хотя нормирование является попыткой учесть системную ошибку при регистрации освещения камерой, оно лишь приближается к непротиворечивости нормированного эталона. В одном из вариантов осуществления нормированным эталоном является лист огнеупорной пластмассы однородного цвета, приклеенный к металлической пластине. С другой стороны, калибровка предусматривает воздействие световым полем на известные цвета (например, цветные плитки Манселла) и внесение поправок в таблицу цветокоррекции, чтобы гарантировать соответствие наблюдаемого цвета нормированному цвету такой плитки. Путем использования плиток множества цветов (которые отображают весь диапазон, интересующий заданное устройство), известных как цветовая гамма, можно гарантировать, что при заданном цвете, который воспринимает камера в световом поле, изображение будет воспроизведено со степенью точности, соответствующей ограничениям, наложенным изменчивостью каждой стадией этого процесса.
Далее описано применение системы 100 в условиях контроля обеспечения качества картофельных чипсов. Однако следует отметить, что следующее далее описание служит лишь одним из примеров множества разновидностей, обеспечиваемых альтернативными вариантами осуществления системы 100, описанной выше. Система 100 может применяться в любой области или отрасли, в которой желателен контроль качества продукции методом анализа цифровых изображений, например, когда имеет значение внешний вид (цвет, форма или размер) готового изделия, включая без ограничения, пищевую промышленность, производство потребительских товаров, производство модных товаров или автомобилестроение.
Как показано на фиг. 4, выполнение способа 400 начинается на шаге 402, на котором освещают сканируемую область (т.е. визуализируемый объект) путем приведения в действие осветительного прибора 160. На шаге 404 система 100 выбирает цветную плитку 120 определенного калибровочного цвета из предварительно заданного или выбранного набора цветов. Калибровочный цвет может соответствовать любой длине волны/частоте в видимой области спектра электромагнитных волн. В одном из вариантов осуществления система 100 оснащена множеством цветных плиток 120, число которых составляет от двух до нескольких тысяч. Хотя наличие более широкой цветовой гаммы позволяет системе 100 лучше калибровать весь спектр, оператор (или система) может выбирать или предварительно выбирать несколько наиболее интересующих цветов. Эталонные цветные плитки 120 могут предварительно выбираться в соответствии с конкретными требованиями к контролируемой продукции или целью охвата всего спектра цветов.
На шаге 406 помещают выбранную цветную плитку 120 на приподнятую платформу 104. Чтобы поместить цветную плитку 120 на приподнятую платформу 104, плавно вводят ее в прорезь 112. На шаге 408 блок управления или оператор вручную перемещает приподнятую платформу 104 в поле обзора. На шаге 410 камера 300 с однострочной разверткой сканирует калибровочную цветную плитку 120 и передает данные сканирования блоку управления, который принимает их и сохраняет в памяти. На шаге 412 процессор блока управления определяет интенсивность и цветовые составляющие света, поглощенного датчикам камеры 300 с однострочной разверткой.
Как показано на фиг. 5А и 5Б, данные строчной развертки могут быть визуализированы в виде двумерного графика, по оси х которого отложен номер пиксела (местоположение в одномерном массиве пикселов), а по оси y - уровень интенсивности света. Данные строчной развертки могут дополнительно классифицироваться по уровням интенсивности отдельных цветовых составляющих, таких как красная, зеленая, синяя (RGB) составляющие каждого пиксела. Как упомянуто выше, когда калибровочный эталонный блок приподнят над ленточным конвейером 102 может возникать затруднение, поскольку интенсивность света, поглощаемого или отражаемого на каждом уровне, может различаться даже при сканировании одного и того же объекта. Например, на фиг. 5А проиллюстрирован анализ интенсивности цветовых составляющих сканированной серой цветной плитки 120 на уровне ленточного конвейера 102; на фиг. 5Б проиллюстрировано то же самое на уровне приподнятой платформы 104. Легко заметить, что уровень интенсивности на фиг. 5Б значительно превышает уровень интенсивности на фиг. 5А и почти достигает высшей точки насыщения светочувствительных датчиков. Это может приводить к ошибкам при сравнении данных калибровки со сканированными изображениями потока продуктов.
Соответственно, согласно общему способу, проиллюстрированному на фиг. 4, после того, как блок управления определяет интенсивность цветовых составляющих, в одном из вариантов осуществления на шаге 414 система 100 решает, следует ли регулировать источник 162 света. Одним из способов регулировки является увеличение или уменьшение интенсивности источника 162 света. В одном из вариантов осуществления процессор блока управления автоматически регулирует интенсивность источника 162 света, если измеренная интенсивность находится выше или ниже заданного порога. В другом варианте осуществления процессор блока управления передает оператору системы 100 сигнал (например, посредством дисплея) регулировки вручную источника 162 света. В других вариантах осуществления оператор системы 100 регулирует интенсивность источника 162 света на основании наблюдений сканированных изображений без подсказки со стороны блока управления. В некоторых вариантах осуществления шаг 414 дополнительно включает регулировку направления источника 162 света. Как показано на фиг. 5А и 5Б, кривые интенсивности имеют значительно меньшую величину в начале сканирования (вблизи пиксела 0), а затем выравниваются по мере продолжения сканирования. Это может происходить из-за тени или блика на поверхности объекта (в данном случае серой цветной плитки 120) или описанного выше эффекта "каравая". В некоторых вариантах осуществления блок управления регулирует угол или направление источника 162 света, а других вариантах осуществления оператор системы 100 делает это вручную. После регулировки источника 162 света путем регулировки его интенсивности, направления или того и другого выполнение способа 400 возвращается к шагу 410 с целью получения новой калибровочной строчной развертки. Следует отметить, что шаг 414 является необязательным, и в некоторых вариантах осуществления. Выполнение способа может переходить от шага 412 непосредственно к шагу 416 нормирования. В действительности, после шага нормирования форма любой конкретной кривой интенсивности может не иметь существенного значения.
После необязательной регулировки источника света на шаге 414, как показано на фиг. 4, на шаге 416 процессор блока управления нормирует кривые интенсивности цветовых составляющих. Как показано на фиг. 6А и 6Б, необработанные данные калибровочного сканирования (фиг. 6А) умножают на масштабный коэффициент (например, ymax кривых RGB) с целью получения набора нормированных кривых (фиг. 6Б) для более эффективного сравнения. Нормированные кривые RGB являются преимущественно линейными, что облегчает сравнение относительных интенсивностей составляющих R, G и В. Кроме того, нормированный график можно легче представить как кривую поглощения визуализируемого объекта (обратную данным интенсивности отраженного света, собранным формирователем изображений). Более линейная кривая, получаемая на шаге 416 нормирования, облегчает обнаружение дефектов при сравнении со сканированными изображениями потока продуктов.
После нормирования на шаге 418 система 100 необязательно решает, следует ли калибровать дополнительные цвета. Если требуется калибровать дополнительные цвета, выполнение способа 400 возвращается к шагу 404. Если калибровано достаточно число цветов, выполнение способа 400 переходит к следующему шагу. На шаге 420 система 100 перемещает приподнятую платформу 104 (посредством блока управления или с помощью оператора) из поля обзора камеры 300 с однострочной разверткой. Поскольку калибровочная последовательность (например, шаги с 404 по 420) каждого цвета длится всего долю секунды, калибровка и повторная калибровка могут происходить без необходимости останавливать производственный поток. Время обработки с целью проверки или калибровки цветом может составлять до около одной минуты, но это не влияет на работу системы. Непрерывный производственный поток не требуется останавливать во время калибровки, если скорость движения ленточного конвейера 102 не настолько высока, что за время калибровки по нему перемещается такое количество продуктов, что это повлияло бы на контроль качества.
После выхода из режима калибровки система 100 переходит в режим обнаружения дефектов. На шаге 422 формирователь изображений осуществляет строчное сканирование продукта на поверхности ленточного конвейера 102. Как и в случае калибровочного сканирования, передают собранные данные блоку управления по линии 350 управления/передачи данных, и сохраняют их памяти блока управления. На шаге 424 процессор блока управления нормирует интенсивность цветовых составляющих сканированных с целью обнаружения дефектов изображений. Затем на шаге 426 процессор блока управления решает, следует ли продолжать сканирование продуктов на поверхности ленточного конвейера 102. Если на шаге 426 принято положительное решение, повторно выполняются шаги 422 и 424. Если принято отрицательное решение, на шаге 428 процессор накапливает сканированные с целью обнаружения дефектов изображения, хранящиеся в памяти. В некоторых вариантах осуществления система 100 непрерывно повторяет шаги с 422 по 426 и одновременно передает ранее собранные данные памяти блока управления.
На шаге 430 процессор определяет, содержат ли дефект накопленные данные сканирования. В одном из вариантов осуществления шаг 430 определения наличия дефекта является автоматизированным и основан на алгоритме, содержащем различные показатели, включающий цвет, форму или размер дефекта. Не со всеми потенциально дефектными пикселами обращаются одинаково. Напротив, каждой группе потенциально дефектных пикселов присваивают оценку показателей качества. В некоторых вариантах осуществления алгоритм содержит набор пороговых уровней оценки показателей качества для дефекта каждого типа. Например, набор из 300 оранжевых пикселов на заданном образце картофельных чипсов может считаться таким же дефектным, как и набор из 10 черных пикселов. Соответственно, черный дефект может иметь пороговый уровень максимально 15 пикселов, а оранжевый дефект может иметь пороговый уровень 500 пикселов. В этом состоит отличие от некоторых известных способов контроля качества, в которых с любым дефектом (или пикселами, отображающими дефект) обращаются одинаково. Пороговые величины выбирают согласно потребностям конкретного применения. Алгоритм хранится в памяти блока управления, и на шаге 432 процессор вызывает хранящийся алгоритм, чтобы определить, превышает ли размер дефекта соответствующий порог. Если это так, система 100 передает сортировщику сигнал отбраковать потенциально дефектный продукт с целью дальнейшего контроля. Если это не так, выполнение способа 400 переходит к следующим шагам. На шаге 434 система 100 определяет, следует ли продолжать сканирование потока продуктов на поверхности ленточного конвейера 102. Если принято положительное решение, выполнение способа 400 возвращается к шагу 422, и продолжается режим обнаружения дефектов.
Следует отметить, что на данные, поступающие от формирователя изображений, могут влиять незначительные изменения настроек или условий. Например, хотя камера 300 с однострочной разверткой сфокусирована на калибровочной цветной плитке 120, в случае изменения цвета окружающей области, такой как ленточный конвейер 102, результаты строчного сканирования изменяются. Например, после длительного применения ленточного конвейера 102 для транспортировки картофельных чипсов его цвет может измениться и варьировать от оранжевого до коричневого. Часть света, испускаемого источником 162 света, поглощается ленточным конвейером 102. Соответственно, при сравнении результатов калибровочного сканирования цветной плитки 120, полученными на фоне чистого ленточного конвейера 102 (показанного на фиг. 5Б), с результатами, полученные на фоне бывшего в использовании коричневого ленточного конвейера 102 (показанного на фиг. 6А), кривая интенсивности синего заметно на фиг. 6А снижается. Соответственно, системе 100 может требоваться повторная калибровка по мере старения ленточного конвейера 102 и изменения его цвета. На шаге 436 процессор определяет, требуется ли повторная калибровка. Если принято положительное решение, выполнение способа 400 возвращается к шагу 404. Если принято отрицательное решение, выполнение способа 400 переходит к следующим шагам.
Хотя выше описан один из вариантов осуществления способа 400, существует множество возможных вариантов осуществления и разновидностей способа применения системы 100. Например, как отмечено выше, регулировка источника 162 света на шаге 414 может являться необязательной. Шаг 436 повторной калибровки может выполняться после первоначального сканирования с целью обнаружения дефектов на шаге 422 или между любыми последующими сканированиями с целью обнаружения дефектов; шаг 436 повторной калибровки необязательно следует за шагом 432. Кроме того, на шаге 424 не требуется нормировать после каждого сканирования данные сканирования с целью обнаружения дефектов. Нормирование на шаге 424 сканированных с целью обнаружения дефектов изображений может происходить после того, как на шаге 428 накоплены все данные обнаружения дефектов. Специалисты в данной области техники учтут, что многие из шагов способа 400 могут выполняться в другом порядке, необязательно или преимущественно одновременно в пределах объема настоящего изобретения.
Кроме того, в систему 100 также могут быть внесены изменения. В частности, калибровочный эталонный блок необязательно содержит цветовую полоску 120. Например, как показано на фиг. 7, в одном из вариантов осуществления эталонные цвета нанесены на вращающийся ролик 700. Вращающийся ролик 700 имеет множество цветовых сегментов 702, 704, 706, 708, 710, которые могут выбираться в соответствии с конкретными потребностями процесса контроля. В одном из вариантов осуществления, ролик 700 опирается на комплект опорных стоек 750 на одном из концов ролика 700. В одном из вариантов осуществления блок управления поворачивает вращающийся ролик 700, чтобы разместить очередной цветовой сегмент в поле обзора камеры. В одном из вариантов осуществления осью вращения является центр цилиндра ролика. Однако цветовые сегменты необязательно должны представлять собой горизонтальную полоску по длине вращающегося ролика 700, как показано на фиг. 7. В другом варианте осуществления (не проиллюстрированном) цветовые сегменты расположены по диагонали, и вращающийся ролик 700 может непрерывно вращаться по мере того, как формирователь изображений осуществляет непрерывное калибровочное сканирование различных цветов.
В еще одном варианте осуществления цветные плитки 120 закреплены параллельно направлению движения ленточного конвейера 102, как показано на фиг. 8. В некоторых вариантах осуществления параллельная цветовая полоска 800 содержит множество цветовых сегментов 802, 804, 806. 808, 810, параллельных направлению движения ленточного конвейера 102. По мере того, как камера с однострочной разверткой перемещается по траектории, показанной пунктирной линией, она сканирует поток продуктов на ленточном конвейере 102 с целью обнаружения дефектов, а также сканирует полоску 800 эталонных цветов с целью калибровки. Соответственно, каждый каждое сканированное изображение с целью обнаружения дефектов может быть калибровано относительно эталона. В некоторых вариантах осуществления в корпусе системы 100 предусмотрен барьер, разделяющий ленточный конвейер 102 и параллельную цветовую полоску 800 для предотвращения накопления пыли или отходов на параллельной цветовой полоске 800. В некоторых вариантах осуществления параллельная цветовая полоска 800 необязательно проходит по всей длине ленточного конвейера 102, но может быть достаточно длинной, чтобы перекрывать поле обзора формирователя изображений. Специалисты в данной области техники учтут, что в вариантах осуществления с использованием параллельной цветовой полоски 800 многие из шагов способа 400 могут быть исключены или могут выполняться одновременно.
Хотя настоящее изобретение описано на примере нескольких вариантов осуществления, специалисты в данной области техники могут предложить множество изменений, разновидностей, преобразований, трансформаций и модификаций, и предполагается, что такие изменения, разновидности, преобразования, трансформации и модификации включены в настоящее изобретение и входят в пределы существа и объема прилагаемой формулы изобретения. В объем изобретения также входят альтернативные варианты осуществления, которые вытекают из сочетания, объединения или исключения признаков вариантов осуществления.
Чтобы облегчить интерпретацию прилагаемой формулы изобретения для ведомства США по патентам и товарным знакам и всех желающих ознакомиться с каким-либо патентом, выданным по настоящей заявке, заявитель хотел бы отметить, что: (а) ни к одному из пунктов прилагаемой формулы изобретения неприменим пункт шесть (6) статьи 112 раздела 35 Свода законов США в редакции на дату подачи настоящей заявки, если в конкретных пунктах формулы изобретения в прямой форме не используются термины "средство" или "стадия"; и (б) ни одна из формулировок в заявке не подразумевает ограничения настоящего изобретения чем-либо помимо прилагаемой формулой изобретения.
Реферат
Группа изобретений относится к анализу цифровых изображений. Способ калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке на конвейере с множество изделий включает: помещение калибровочной цветной плитки на платформу, приподнятую над конвейером в поле обзора формирователя изображений, получение данных поглощения света калибровочным цветом с использованием формирователя изображений, расчет процессором интенсивности цветовой составляющей данных поглощения света калибровочным цветом, нормирование интенсивностей цветовой составляющей калибровочного цвета, перемещение платформы из поля обзора камеры, получение данных поглощения света продуктами с использованием формирователя изображений. Система калибровки системы формирования динамических цифровых изображений для обнаружения дефектов в производственном потоке, в которую входит: конвейерная установка, имеющая первую раму, занимающую по меньшей мере часть ширины конвейерной установки, платформа, приподнятая над конвейерной установкой по меньшей мере на одной опоре, подвижно связанной с направляющей первой рамы, и прорезь в платформе для размещения эталонной цветной плитки. Технический результат заключается в универсальности и обеспечении точной калибровки во время непрерывного производства. 2 н. и 18 з.п. ф-лы, 8 ил.
