Способ и система для мониторинга наружных паразитов рыб в аквакультуре - RU2776717C2

Чертежи

Показать все 9 чертежа(ей)

Описание

Область техники

Изобретение относится к способу мониторинга наружного паразита рыбы, такого, как морские вши, в аквакультуре, включающему в себя этапы, на которых:

- погружают съемочный аппарат (52) в морскую ферму (40), содержащую рыбу (72, 74);

- захватывают изображения рыбы (72, 74) с помощью съемочного аппарата (52); и

- идентифицируют наружного паразита рыбы на рыбе (72, 74) путем анализа захваченных изображений.

В этом описании изобретения термин «мониторинг» обозначает любую деятельность, целью которой является разработка эмпирической основы для принятия решения о том, заражена ли некоторая заданная популяция рыбы наружными паразитами. Термин «мониторинг» также может охватывать способ определения того, до какой степени рыба заражена наружными паразитами. Хотя мониторинг можно сочетать с мерами для уничтожения или морения паразитов, термин «мониторинг» сам по себе не охватывает такие меры.

Уровень техники

Подобно людям и другим млекопитающим, рыбы страдают от болезней и паразитов. Паразиты могут быть внутренними (эндопаразитами) или наружными (эктопаразитами). Жабры рыбы представляют собой предпочтительную среду обитания многих наружных паразитов рыб, пристраивающихся к жабрам, но живущим вне их. Наиболее распространенными являются моногенетические сосальщики и определенные группы паразитирующих веслоногих ракообразных, которые могут быть исключительно многочисленными. Другими наружными паразитами рыбы, находящимися на жабрах, являются пиявки и - в морской воде - личинки гнатиидов (изопод, т.е., равноногих ракообразных). Изоподные паразиты рыбы чаще всего являются наружными и питаются кровью. Пьявки семейства Gnathiidae и половозрелые цимотодиды имеют прокалывающие и сосущие ротовые части и когтистые конечности, приспособленные для цепляния на их хозяев. Cymothoa exigua - это паразит различных морских рыб. Он вызывает атрофию языка рабы и занимает его место, считаясь при этом первым случаем обнаружения функциональных возможностей паразита, заменяющего структуру-хозяина у животных. Среди наиболее распространенных наружных паразитов рыб - так называемые морские вши.

Морские вши - это малые паразитические ракообразные (семейства Caligidae), которые питаются слизью, тканями и кровью морских рыб. Морская вошь (множественное число - морские вши) является членом отряда Siphonostomatoida семейства Caligidae. Существуют около 559 видов в 37 родах, включая приблизительно 162 вида Lepeophtheirus и 268 видов Caligus. Хотя морские вши присутствуют во многочисленных существующих в природе популяциях лосося, особенно значительные проблемы представляют заражения морскими вшами в популяциях искусственно разводимого лосося. В целях борьбы с этой напастью разработаны несколько противопаразитарных препаратов. Основным видом морской вши, причиняющим беспокойство в Норвегии, является лососевая вошь (L. salmonis). Основным паразитом, причиняющим беспокойство на лососевых фермах в Чили стали науплии (Caligus rogercresseyi).

В жизни морских вшей есть как стадия свободного плавания (планктонная), так и стадия паразитическая. Все стадии разделены линьками. Скорость развития L. salmonis от икринки до половозрелой особи изменяется от 17 до 72 суток в зависимости от температуры. Из икринок выводятся личинки науплиус I, которые линяют, переходя во вторую науплиарную стадию; на обеих науплиарных стадиях не предусматривается питание в зависимости от резервов желтка для энергии и имеет место адаптация для плавания. Стадия копепод является инфекционной стадией, и она ищет подходящего хозяина, вероятно - по хемо- и механосенсорным подсказкам.

Сразу же после пристраивания к хозяину, стадия копепод начинает питание и начинает развиваться в первую стадию халимуса. Стадии копепод и халимуса имеют развитый желудочно-кишечный тракт и питаются слизью и тканями в пределах области, в которой пристроились. Еще не половозрелые и половозрелые морские вши, особенно - икряные самки, являются агрессивными фагами, в некоторых случаях питающимися кровью в дополнение к тканям и слизи.

Время и издержки, связанные с работами по ликвидации последствий, и повышение смертности рыбы увеличивают стоимость производства рыбы приблизительно на 0,2 евро/кг. Соответственно, наружный паразит рыбы, такой, как морские вши, - главная забота современных фермеров лосося, которые выделяют значительные ресурсы на предотвращение заражений и соблюдение государственных норм, направленных на предотвращение более широких экологических последствий.

Как эффективное смягчение последствий (например, оценка потребности и сроков вакцинации или химической очистки), так и соблюдение требований регламентирующих органов, зависят от точного количественного определения таких наружных паразитов рыб, как популяции морских вшей, в рамках отдельных операций разведения. В настоящее время, подсчет таких наружных паразитов рыб, как морские вши, является полностью ручным процессом и поэтому требует большого расхода времени. Например, в Норвегии подсчеты следует делать и сообщать о них еженедельно, и только это приводит к ежегодным прямые затратам 24 миллиона долларов США. Столь же хлопотной является сомнительная достоверность статистики на основе ручных подсчетов, когда подсчет таких наружных паразитов рыб, как половозрелые самки морских вшей, на основе данных выборки численностью между 10 и 20 особями находящейся под наркозом рыбы, экстраполируют, чтобы определить надлежащую обработку для популяций рыбы численностью свыше 50000 особей. Вследствие этого, распространены как избыточная обработка, так и недостаточная обработка.

В документе WO 2017/068127 A1 описана система того типа, о которой идет речь в преамбуле п.1 формулы изобретения, направленная на создание возможности автоматического и точного обнаружения и подсчета морских вшей в пределах популяций рыбы.

Любая такая система, основанная на оптическом формировании изображений, должна преодолеть несколько существенных затруднений, связанных с морской средой и поведением животных.

- Оптическое искажение из-за градиентов плотности. Турбулентное смешение теплой и холодной воды или - особенно - соленой и пресной воды (например, в пределах фиордов) генерирует маломасштабные изменения плотности, вызывающие оптическое искажение. Особенно серьезным оказывается влияние на формирование изображений объектов размером менее 1 — 3 мм (например, молоди морских вшей).

- Отвращение рыбы к незнакомым источникам света. Рыба может проявлять реакцию страха или неприятия более общего характера к незнакомым источникам света незнакомого места, незнакомой интенсивности или незнакомых спектров. Искажение косяков рыбы вокруг такого источника света создаст в общем случае увеличение типичного расстояния от устройства формирования изображений до рыбы, уменьшая эффективную остроту зрения системы формирования изображений. Цитируемый документ предусматривает решение этой проблемы путем разработки направляющей системы для направления рыбы по желаемой траектории формирования изображений.

- Отслеживание фокуса в высокодинамичных морских средах. Доступные для приобретения системы отслеживания фокуса не работают должным образом в быстро изменяющейся обстановке, когда в пределах поля обзора одновременно присутствует большое количество быстро движущихся адекватно сфокусированных целей (т.е., стая плавающих рыб).

Задача данного изобретения состоит в том, чтобы разработать систему и способ, направленные на решение этих проблем и обеспечение точных автоматизированных подсчетов, чтобы снизить объем человеческого труда, связанного с наружными паразитами рыб, такого, как подсчеты морских вшей, а также создание возможности более эффективного прогнозирования и предотвращения вредных заражений паразитами.

Сущность изобретения

Чтобы решить эту задачу, способ, соответствующий изобретению, отличается этапами, на которых:

- устанавливают различия между, по меньшей мере, двумя разными классами таких наружных паразитов рыб, как морские вши, которые отличаются по трудности распознавания наружного паразита рыбы;

- вычисляют метрики качества для каждого захваченного изображения, причем метрики качества позволяют идентифицировать классы наружных паразитов рыб, для которых качество изображения оказывается достаточным для обнаружения таких наружных паразитов рыб, как морские вши; и

- устанавливают отдельные показатели обнаружения для каждого класса таких наружных паразитов рыб, как морские вши, причем каждый показатель обнаружения основан только на изображениях, качество которых, описываемое метриками качества, оказалось достаточным для обнаружения таких наружных паразитов рыб, как морские вши, того класса.

Изобретение помогает избежать появления статистических артефактов, которые в противном случае могли бы стать результатом того, что определенные классы таких наружных паразитов рыб, как морские вши, например, малоразмерная молодь таких наружных паразитов рыб, как морские вши, оказываются не обнаруженными просто потому, что они слишком малы, чтобы их можно было распознать на изображениях с неудовлетворительным разрешением изображений. В изобретении, статистика для классов таких наружных паразитов рыб, как морские вши, которых легко обнаружить, может быть основана на большой выборке изображений и поэтому может иметь низкий уровень статистического шума, что упрощает, например, обнаружение изменений степени заражения паразитами с течением времени. С другой стороны, статистика для классов, которые трудно обнаружить, дает более реалистичную картину этих классов, хотя и с несколько бóльшим статистическим шумом.

Более конкретные признаки изобретения, предусматриваемые по выбору, указаны в зависимых пунктах формулы изобретения.

В предпочтительном варианте система способна обнаруживать и распределять по категориям таких наружных паразитов рыб, как морские вши обоих полов на различных жизненных стадиях - неподвижности, подвижности и метания икры (например, молоди, еще не половозрелых особей, половозрелых самцов, половозрелых самок, мечущих икру, и половозрелых самок, не мечущих икру).

Помимо этого, система могла бы сформировать основу для встраиваемой платформы поддержки принятия решений, повышающей эксплуатационные рабочие характеристики, улучшающей улучшая животных и обеспечивая устойчивое развитие аквакультуры, расположенной в океане.

Краткое описание чертежей

Теперь будут описаны примеры вариантов осуществления изобретения со ссылкой на чертежи, на которых:

фиг.1 - вид сбоку узла съемочного аппарата и осветительного оборудования в соответствии с предпочтительным вариантом осуществления изобретения;

фиг.2 - вид морской фермы с подвешенным на нем оборудованием в соответствии с фиг.1;

фиг.3 - вид спереди узла съемочного аппарата и осветительного оборудования;

фиг.3 - вид спереди узла съемочного аппарата и осветительного оборудования;

фиг.4 - вид сбоку углового поля обзора определяющего дальность детектора, установленного на оборудовании;

фиг.5 и 6 - диаграммы, иллюстрирующие результаты обнаружения посредством определяющего дальность детектора;

фиг.7—10 - кадры изображений, иллюстрирующие несколько этапов процедуры захвата и анализа изображений;

фиг.11 - блок-схема последовательности операций, детализирующая процесс аннотирования изображений и обучения, валидации и тестирования детектора наружных паразитов рыб в пределах электронной системы обработки изображений (системы машинного зрения) в соответствии с вариантом осуществления изобретения; и

фиг.12 - блок-схема последовательности операций, детализирующая работу детектора наружных паразитов рыб в режиме логических выводов.

Подробное описание изобретения

Система захвата изображений

Как показано на фиг.1, система захвата изображений содержит узел 10 съемочного аппарата и осветительного оборудования и систему 12 управления съемочным аппаратом и освещением, позволяющие автоматически получать высококачественные изображения рыбы.

Узел 10 съемочного аппарата и осветительного оборудования содержит вертикальный опорный элемент 14, верхнюю стрелу 16, нижнюю стрелу 18, кожух 20 съемочного аппарата, верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. Кожух 20 съемочного аппарата крепится к вертикальному опорному элементу 14 и предпочтительно является регулируемым по высоте. Вертикальное позиционирование съемочного аппарата предпочтительно таково, что поле обзора съемочного аппарата, по меньшей мере, частично (предпочтительно - большей частью или полностью) покрыто световыми конусами верхней и нижней осветительных матриц 22, 24. В предпочтительном варианте также есть существенное угловое смещение между геометрической осью поля обзора съемочного аппарата и геометрическими осями световых конусов. Это минимизирует количество света, рассеиваемого (частицами в воде) обратно в съемочный аппарат, максимизируя (относительно) количество света, возвращающегося от ткани рыбы. При показанной наладке, съемочный аппарат можно устанавливать на некоторой высоте, измеряемой от торца опорного элемента 14 и находящейся в диапазоне между 1/4 и 3/4 длины вертикального опорного элемента.

Верхняя стрела 16 и нижняя стрела 18 сочленены с вертикальным несущим элементом 14 в локтевых шарнирах 26 и 28, соответственно, которые обеспечивают угловые шарнирные сочленения верхней стрелы и нижней стрелы относительно вертикального опорного элемента. Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30 и 32, соответственно, которые обеспечивают угловые шарнирные сочленения верхней осветительной матрицы и нижней осветительной матрицы относительно верхней стрелы и нижней стрелы.

В показанном примере подвесные канаты 34 составляют бифилярную подвеску для узла 10 съемочного аппарата и осветительного оборудования. Подвесные канаты позволяют управлять позицией оборудования по азимуту и могут крепиться к кронштейну 36 в разных положениях, тем самым удерживая оборудование в равновесии при заданной конфигурации стрел 16 и 18. Это дает возможность точного регулирования ориентации (т.е., угла установки) узла съемочного аппарата и осветительного оборудования, поскольку центр масс узла съемочного аппарата и осветительного оборудования оказывается ниже точки крепления.

В предпочтительном варианте, перенос всех данных и питания, требуемых верхней осветительной матрицей и нижней осветительной матрицей, происходит по кабельному шлангу 38, который также несет кожух съемочного аппарата и проходит между узлом съемочного аппарата и осветительного оборудования и системой 12 управления съемочным аппаратом и освещением.

На фиг.2 показан чертеж узла 10 съемочного аппарата и осветительного оборудования, погруженных в морскую ферму 40. Показанная возможная морская ферма окружена доком 42, от которого простираются вверх вертикальные опорные элементы 44. Между опорными элементами проходят натянутые кабели 46. Подвесные канаты 34 можно крепить к натянутым кабелям 46, обеспечивая введение узла 10 съемочного аппарата и осветительного оборудования в морскую ферму и отвод их от нее, а также управление горизонтальным положением оборудования относительно дока 42.

Вместе с тем, следует отметить, что морская ферма также может иметь форму, отличающуюся от той, которая показана на фиг.2.

Протяженность несущих кабелей и канатов также обеспечивает регулирование глубины узла съемочного аппарата и осветительного оборудования ниже поверхности воды. В предпочтительном варианте, узел съемочного аппарата и осветительного оборудования размещают на глубине, при которой положение кожуха 20 съемочного аппарата оказывается ниже поверхностных смешивающихся слоев, где сильнее всего проявляется турбулентное смешение теплой и холодной воды или соленой и пресной воды. Это дополнительно снижает оптическое искажение, связанное с градиентами плотности. Требуемая глубина зависит от местонахождения и времени года, но в типичных случаях предпочтительна глубина 2—3 м.

Как показано на фиг.3, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 содержат горизонтальные элементы 48, которые служат опорой одному или нескольким осветительным приборам 50 в пределах осветительной матрицы вдоль их длины. В варианте осуществления, показанном на фиг.3, каждая из верхней осветительной матрицы и нижней осветительной матрицы содержит по два осветительных прибора 50; вместе с тем, можно использовать разные количества осветительных приборов. Горизонтальные элементы 48 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30, 32.

Локтевые шарниры 26, 28 между вертикальным опорным элементом 14 и верхней стрелой 16 и нижней стрелой 18 и поворотные шарниры 30, 32 между верхней стрелой и нижней стрелой и горизонтальными элементами 48 совместно обеспечивают независимое регулирование:

- горизонтального смещения между кожухом 20 съемочного аппарата и верхней осветительной матрицей 22;

- горизонтального смещения между кожухом 20 съемочного аппарата и нижней осветительной матрицей 24,

- угловой ориентации осветительных приборов 50 в пределах верхней осветительной матрицы 22; и

- угловой ориентации осветительных приборов 50 в пределах нижней осветительной матрицы 24.

В общем случае, верхняя осветительная матрица и нижняя осветительная матрица расположены относительно кожуха съемочного аппарата так, что обеспечивают адекватное освещение в пределах некоторой целевой области, где будет изображена рыба для обнаружения таких наружных паразитов рыб, как морские вши. Вертикальная в продольном направлении конструкция и конфигурация узла 10 съемочного аппарата и осветительного оборудования максимизирует вероятность того, что рыбы (которые проявляют отвращение к длинным, горизонтально ориентированным объектам) будут плавать в непосредственной близости к кожуху съемочного аппарата. Помимо этого, отдельные и независимо регулируемые верхняя осветительная матрица и нижняя осветительная матрица обеспечивают алгоритмы освещения, разработанные конкретно для решения проблем освещения, характерных для рыбы, подробнее обсуждаемых ниже.

Кожух 20 съемочного аппарата, который показан посредством вида спереди на фиг.3, содержит съемочный аппарат 52, определяющий дальность детектор 54, например - определяющий дальность блок с использованием света и обнаружением времени его распространения, и датчик 56 положения, включающий в себя, например, магнитометр и инерциальный измерительный блок (ИИБ), или другие известные системы определения положения.

Съемочный аппарат предпочтительно представляет собой доступный для приобретения цифровой съемочный аппарат с высокочувствительным малошумящим датчиком, выполненный с возможностью захвата четких изображений быстро плывущих рыб при относительно слабом освещении. В одном предпочтительном варианте осуществления изобретения используется съемочный аппарат Raytrix C42i, обеспечивающий горизонтальное поле обзора приблизительно 60° и вертикальное поле обзора приблизительно 45°. Конечно, в качестве альтернативы можно использовать любой другой съемочный аппарат с аналогичными свойствами (включая электронное управление фокусом).

Определяющий дальность детектор 54 используется для обнаружения дальности и пеленга рыбы, плавающей в пределах поля обзора съемочного аппарата 52. Этот детектор содержит Излучающее оптическое средство 58 и принимающее оптическое средство 60. Излучающее оптическое средство 58 создает веер света, ориентированного в вертикальном направлении, но - предпочтительно - коллимированного в горизонтальном направлении. То есть, веер расходится по дифференту - параллельно вертикальному опорному элементу, но относительно мало расходится по рысканию - перпендикулярно вертикальному опорному элементу.

Принимающее оптическое средство 60 содержит матрицу светодетекторных элементов, каждый из которых обнаруживает свет, падающий из пределов угла восприятия, раствор которого занимает, по меньшей мере, участок вертикального поля обзора съемочного аппарата. Углы смежных детекторных элементов примыкают друг к другу по дифференту, совместно образуя веер восприятия, который полностью покрывает вертикальное поле обзора. Эти ориентация и конфигурация излучающего и принимающего оптических средств оптимизированы для обнаружения и определения местонахождения туловищ рыб (которые обычно имеют высокое отношение длины к ширине), плавающих параллельно горизонтальной поверхности воды.

В предпочтительном варианте определяющий дальность детектор 54 работает на длине волны света, обеспечивающей его эффективное пропускание в пределах воды. Например, для обеспечения эффективного пропускания в пределах морской воды можно использовать синий свет или зеленый свет. В предпочтительном варианте осуществления изобретения, определяющий дальность детектор представляет собой детектор LEDDAR^® (Light-Emitting-Diode Detection And Ranging detector - светодиодный обнаруживающий и определяющий дальность детектор), такой, как LeddarTech M16, излучающий и принимающий свет на длине волны 465 нм. Конечно, изобретение не ограничивается этим вариантом осуществления определяющего дальность детектора.

В тоже предпочтительном варианте осуществления изобретения веер освещения, генерируемый излучающим оптическим средством, расходится приблизительно на 45° по дифференту, что, в сущности, дает раствор, охватывающий вертикальное поле обзора съемочного аппарата, и расходится приблизительно на 7,5° по рысканию. Принимающее оптическое средство 60 содержит матрицу из 16 детекторных элементов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту и приблизительно 7,5° по рысканию. Конечно, количество детекторных элементов может быть меньше или больше, чем 16, а предпочтительно составляет не менее 4. В предпочтительном варианте, и веер освещения, и веер восприятия горизонтально центрированы в пределах поля обзора съемочного аппарата, гарантируя возможность захвата обнаруженной рыбы съемочным аппаратом полностью.

Можно также предусмотреть системы с двумя или более определяющими дальность детекторами. Например, можно было бы расположить веер «выше по течению» (как определяется преобладающем направлением плавания рыбы) от геометрической оси, чтобы обеспечить «заблаговременное предупреждение» о попадании рыбы в кадр. Аналогичным образом, можно было бы разместить некоторый блок «ниже по течению», чтобы подтвердить выход рыбы из кадра.

ИИБ в датчике 56 положения содержит акселерометр и гироскоп, например - аналогичные тем, которые можно найти в доступных для приобретения смартфонах. В одном предпочтительном варианте осуществления изобретения магнитометр и ИИБ расположены вместе на единственной печатной плате внутри кожуха 20 съемочного аппарата. ИИБ и магнитометр совместно измеряют ориентацию кожуха съемочного аппарата (а значит - и изображений, получаемых съемочным аппаратом) относительно поверхности воды и морской фермы. Поскольку рыба в общем случае плывет параллельно поверхности воды и вдоль краев морской фермы, эту информацию можно использовать для того, чтобы информировать систему машинного зрения об ожидаемой ориентации рыбы в пределах получаемых изображений.

Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 могут включать в себя одну или несколько ламп различных типов (например, накаливания, газоразрядных или светодиодных), излучающих свет на любом количестве длин волн. В предпочтительном варианте выбирают конкретные типы ламп, чтобы предоставить достаточную цветовую информацию (т.е., достаточно широкий спектр излучения), чтобы адекватно отличить таких наружных паразитов рыб, как морские вши, от ткани рыбы. Кроме того, типы и интенсивность ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы предпочтительно выбирают дающими относительно равномерную интенсивность света, отражаемого к съемочному аппарату, несмотря на типичные, создающие заметный обратно-теневой эффект туловища рыб.

В предлагаемом здесь варианте осуществления верхняя осветительная матрица 22 содержит пару ксеноновых ламп-вспышек. Нижняя осветительная матрица 24 содержит пару светодиодных ламп, каждая из которых содержит чип со 128 кристаллами светоизлучающих диодов (СИДов) белого цвета свечения. Эта гибридная осветительная система обеспечивает больший диапазон интенсивности освещения, чем тот, которого можно достичь с помощью однотипного освещения. В частности, лампы-вспышки обеспечивают короткое, но интенсивное освещение (приблизительно 3400 лк) рыб сверху, синхронизированное с работой затвора съемочного аппарата. Это гарантирует адекватный свет, отражаемый к съемочному аппарату от, как правило, темных, обладающих высокой светопоглощающей способностью верхних поверхностей рыб. (Это требует большей интенсивности света, чем та, которую могли бы давать светодиодные лампы нижней осветительной матрицы.) Соответственно, светодиодные лампы обеспечивают адекватную интенсивность освещения для являющихся в типичных случаях светлыми нижних поверхностей рыб. (Это требует интенсивности ниже той, которую могли бы давать ксеноновые лампы-вспышки верхней осветительной матрицы.) Результирующий равномерно яркий свет, отражаемый от рыб, позволяет эксплуатировать съемочный аппарат при относительно низкой чувствительности (например, ниже ISO 3200), обеспечивая изображения с низким уровнем шума для системы машинного зрения. В заключение отметим, что и ксеноновые лампы-вспышки, и светодиодные лампы обеспечивают адекватно широкий спектр, позволяя отличить таких наружных паразитов рыб, как морские вши, от ткани рыб.

Как описано выше, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 расположены так, что обеспечивают желаемое освещение по всей целевой области. Целевая область характеризуется вертикальным полем обзора съемочного аппарата, а также ближней и дальней границами вдоль оси съемочного аппарата. Расстояние от съемочного аппарата до ближней границы является большим из (a) ближайшего достижимого фокусного расстояния съемочного аппарата и (b) расстояния, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата. Расстояние от съемочного аппарата до дальней границы - это расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаруживать наименьших таких наружных паразитов рыб, как морские вши, которые должны быть обнаружены. Ближняя граница «a» и дальняя граница «b» иллюстрируются на фиг.4.

Каждая из ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы обеспечивает в общем случае осесимметричную картину освещения. Поскольку в пределах каждой матрицы вдоль длины горизонтальных элементов имеются несколько ламп, картину освещения можно эффективно охарактеризовать угловым раствором в плоскости дифферента. Длину вертикального опорного элемента 14, угловое положение верхней стрелы 16 и нижней стрелы 18 и угловую ориентацию верхней осветительной матрицы 22 и нижней осветительной матрицы 24 предпочтительно регулируют так, что угловой раствор верхней осветительной матрицы и нижней осветительной матрицы эффективно покрывает целевую область. Расстояние от съемочного аппарата до «зоны наилучшего восприятия» зависит от размера рыбы, подлежащей мониторингу, и может находиться, например, в диапазоне от 200 мм до 2000 мм. В случае, например, лосося, подходящее значение может составлять около 700 мм.

На практике, интенсивности освещения, обеспечиваемого верхней осветительной матрицей и нижней осветительной матрицей, не вполне равномерны по всему своему угловому раствору. Вместе с тем, вышеизложенный подход гарантирует, что по целевой области обеспечивается приемлемая величина освещенности. Это также приводит к нахождению «зоны наилучшего восприятия” на коротком расстоянии за пределами ближней границы, где угол освещения между верхней осветительной матрицей, нижней осветительной матрицей и съемочным аппаратом оказывается оптимальным. Это приводит к наилучшим образом освещенным изображениям, обеспечивая также наилучшее угловое разрешение, достижимое съемочным аппаратом и минимально страдающее от искажений вследствие градиентов плотности.

В рамках объема притязаний изобретения можно использовать широкий ассортимент других съемочных аппаратов и большое разнообразие геометрий освещения. В частности, можно сконструировать узел съемочного аппарата и осветительного оборудования для расположения в ориентациях, отличающихся от вертикальной ориентации согласно фиг.1. Например, узел съемочного аппарата и осветительного оборудования можно ориентировать горизонтально - параллельно поверхности воды. Можно также сконструировать узел съемочных аппаратов и осветительного оборудования для поддержания одного или нескольких съемочных аппаратов в фиксированных положениях (относительно целевого района), отличающихся от тех, которые показаны фиг.1. Кроме того, некоторые варианты осуществления изобретения могут предусматривать несколько узлов съемочных аппаратов и осветительного оборудования, например, два узла съемочных аппаратов и осветительного оборудования, симметрично расположенные впереди и позади целевой области, создавая возможность одновременного захвата изображений с обеих сторон одной рыбы.

Система управления съемочным аппаратом и освещением

Система 12 управления съемочным аппаратом и освещением управляет работой системы захвата изображений. Система управления съемочным аппаратом и освещением:

- принимает и анализирует данные из определяющего дальность детектора 54, определяя надлежащее фокусное расстояние съемочного аппарата;

- управляет фокусом и затвором съемочного аппарата;

- управляет синхронизацией освещения верхней осветительной матрицы 22 и нижней осветительной матрицы 24 относительно затвора съемочного аппарата 52; и

- принимает, анализирует и сохраняет данные изображений и метаданные изображений, включая замеры, получаемые из определяющего дальность детектора, магнитометра и из ИИБ.

В данном варианте осуществления система 12 управления съемочным аппаратом и освещением содержит компьютер 62 и блок 64 управления питанием, которые находятся в некотором сухом месте (например, доке 42), физически близком к узлу 10 съемочного аппарата и осветительного оборудования. В альтернативных вариантах осуществления, по меньшей мере, часть функциональных возможностей системы управления съемочным аппаратом и освещением, обеспечиваемых компьютером, воплощается системой, погруженной под поверхностью воды (например, установленной на вертикальный опорный элемент 14 или встроенной внутри кожуха съемочного аппарата). В общем случае, компьютер 62 включает в себя драйверы устройств для каждого датчика в пределах узла 10 съемочного аппарата и осветительного оборудования. В частности, компьютер включает в себя драйверы устройств для съемочного аппарата 52, определяющего дальность детектора 54 и магнитометра, а также ИИБ датчика 56 положения. Драйверы устройств позволяют компьютеру получать данные измерения из связанных с ним датчиков и посылать в них данные управления. В одном предпочтительном варианте осуществления, между устройствами и процессами, проходящими на компьютере, происходит обмен данными измерения и данными управления как сообщениями в робототехнической операционной системе (РОС). Данные из датчиков (включая определяющий дальность детектор) поступают с частотой 10 Гц, а замеры из магнитометра и ИИБ поступают с частотой 100 Гц. Каждое из сообщений заносится на диск на компьютере.

Компьютер 62 выдает сигналы управления в блок 64 управления питанием и - по выбору - принимает диагностические данные из блока управления питанием. Блок 64 управления питанием подает питание по кабельному шлангу 38 на верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. В предпочтительном варианте осуществления блок 64 управления питанием получает питание напряжением 220 В переменного тока, которое можно подавать непосредственно в зарядное устройство батареи конденсаторов для ксеноновых ламп-вспышек в пределах верхней осветительной матрицы 22 (когда ее запускают). Блок управления питанием передает питание в подводную соединительную коробку (не показана), которая преобразует питание переменного тока в питание постоянного тока (например, 36 В или 72 В) для светодиодных ламп в пределах верхней осветительной матрицы 24.

Процесс вычисления фокуса, проводимый компьютером 62, собуславливает непрерывный мониторинг данных определения дальности для обнаружения присутствия и определения дальности до рыбы в пределах целевой области. Данные определения дальности состоят из одного или нескольких расстояний для каждого детекторного элемента, от которого свет отражался обратно к детекторному элементу из пределов его угла восприятия в пределах веера восприятия.

На фиг.4 показан вид сбоку угловых полей 66 обзора определяющих дальность детекторных элементов в принимающем оптическом средстве 60 в пределах определяющего дальность веера 68 восприятия. Как описано выше, апертурные углы смежных детекторов примыкают друг к другу по дифференту, совместно создавая веер восприятия. На фиг.4 показана матрица из 16 детекторов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту.

На фиг.4 показаны средние углы установки детекторов в пределах определяющего дальность веера 68 восприятия. Каждый средний угол установки иллюстрируется геометрической осью 70, делящей пополам поле 66 обзора соответствующего детектора. Средний угол установки - это угол между делящей пополам геометрической осью 70 (биссектрисой) и геометрической осью веера 68 восприятия в целом, которая в общем случае параллельна оптической оси съемочного аппарата 52.

На фиг.4 также показан вид сбоку расстояний и средних углов установки для нескольких детекторных элементов, загороженных рыбами 72, 74 в пределах определяющего дальность веера 68 восприятия. В общем случае, процесс вычисления фокуса обеспечивает обнаружение рыб, когда несколько смежных детекторных элементов сообщают аналогичные расстояния. В предпочтительном варианте осуществления изобретения рыба обнаруживается, когда М или более смежных детекторных элементов информируют об аналогичных расстояниях d_i. Количество М может находиться в диапазоне от 1 до 1/2 общего количества детекторов (т.е., 8-ми в этом примере). В частности, процесс вычисления фокуса обуславливает поиск смежных множеств из М или более смежных расстояний d_i, для которых [max(d_i)—min(d_i)]≤W. М и W - это параметры, которые может регулировать оператор системы захвата изображений, причем W представляет максимальную допустимую толщину, приблизительно соответствующую половине толщины самой крупной рыбы, которая будет обнаружена. В зависимости от размера или возраста рыбы, параметры М и W оптимизируют для каждой системы или каждой фермы. При каждом таком обнаружении вычисление фокуса предусматривает вычисление среднего расстояния

и среднего пеленга

где β_i - средние углы установки каждого из смежных детекторных элементов. Затем процесс вычисления фокуса возвращает фокусное расстояние D_f = D × cos β, которое представляет собой расстояние от съемочного аппарата до рекомендуемой фокальной плоскости вдоль оптической оси съемочного аппарата.

Благодаря рассеянным частицам в воде или объекту (например, рыбе), который противолежит лишь части угла восприятия детектора, один детектор может сообщать о нескольких расстояниях. В варианте практического осуществления, в тех случаях, где один детектор сообщает о нескольких расстояниях, при вычислении фокуса используется наибольшее расстояние. Это минимизирует количество ложных обнаружений, обуславливаемых частицами в пределах воды. В случае, если несколько расстояний действительно связаны с двумя рыбами, одна из которых заслоняет лишь часть угла восприятия детектора, вероятно, что соседние детекторы будут по-прежнему успешно обнаруживать частично заслоняющую рыбу.

Информацию о присутствии рыб и дальности до них, определяемую посредством процесса вычисления фокуса, можно использовать для управления получением изображений съемочным аппаратом. Например, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого предварительно определенного расстояния до «зоны наилучшего восприятия», обеспечивающей оптимальное освещение. Например, если «зона наилучшего восприятия» отстоит на 700 мм, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого диапазона расстояния от 600 до 800 мм. Всякий раз, когда происходит захват изображений, система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему значению дальности, определенному посредством процесса вычисления фокуса.

В одном предпочтительном варианте осуществления изобретения система управления съемочным аппаратом и освещением непрерывно запускает съемочный аппарат, чтобы получать изображения периодически, например, с частотой 4 Гц или, в более общем случае, частотой между 2 и 10 Гц. Процесс вычисления фокуса предусматривает непрерывное и периодическое (например, с частотой 10 Гц или, в более общем случае, с частотой от 4 до 20 Гц) сообщение о текущем фокусном расстоянии на основе самых последних обнаружений дальностей рыб, а система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему известному фокусному расстоянию.

Когда затвор съемочного аппарата открывается, съемочный аппарат посылает в систему 12 управления съемочным аппаратом и освещением сигнал синхронизации, который пропускается в блок 64 управления питанием. Блок управления питанием обеспечивает свечение верхней осветительной матрицы 22 и нижней осветительной матрицы 24 синхронизировано со срабатыванием затвора, гарантируя надлежащее освещение захваченного изображения. В тех вариантах осуществления изобретения, где лампы (такие, как ксеноновые лампы-вспышки согласно предпочтительному варианту осуществления изобретения) в пределах верхней осветительной матрицы или нижней осветительной матрицы не способны поддерживать продолжительность включения, одинаковую с съемочным аппаратом, блок управления питанием также может предусматривать процесс стабилизации освещения, включающий в себя непрерывную оценку того, должен ли блок управления питанием обеспечивать свечение верхней осветительной матрицы и нижней осветительной матрицы. В одном предпочтительном варианте осуществления изобретения, освещение стабилизируют если либо (a) архив данных по работе ксеноновых ламп-вспышек в пределах верхней осветительной матрицы свидетельствует, что они приближаются к своему верхнему тепловому пределу, либо (b) процесс вычисления фокуса не привел к недавнему обнаружению рыбы и сообщению обновленной дальности.

В одном предпочтительном варианте осуществления изобретения, менее интенсивные светодиодные лампы в пределах нижней осветительной матрицы освещаются в продолжение экспозиции съемочного аппарата. Длительность экспозиции задают на уровне минимальной длительности, требуемой для того, чтобы светодиодные лампы могли обеспечить эквивалентное освещение. Длительность вспышки ксеноновых ламп-вспышек в верхней осветительной матрице регулируют так, чтобы обеспечить сбалансированное освещение с учетом защитной окраски типичной рыбы.

Интенсивность освещения, обеспечиваемого светодиодными лампами в пределах нижней осветительной матрицы, предпочтительно является достаточно большой, чтобы обеспечить достаточно короткую экспозицию для того, чтобы дать приемлемо низкую размытость движения в пределах захваченных изображений плавающих рыб. В предпочтительном варианте осуществления изобретения датчик внутри съемочного аппарата (в частности, его количество пикселей), оптику съемочного аппарата (в частности, угловой раствор поля обзора) и расстояние до целевой области выбирают, гарантируя, что (a) в пределах поля обзора съемочного аппарата возможен захват рыбы целиком, да еще и (b) что возможно адекватное разрешение по молоди таких наружных паразитов рыб, как морские вши. При обеспечении 10 пикселей на каждые 2 мм (что сравнимо с размером молоди морских вшей) на целевом расстоянии, на котором раствор 60° горизонтального поля обзора съемочного аппарата охватывает ширину типичной половозрелой рыбы, требуется угловой шаг пикселей, составляющий 7,6×10⁻³° на пиксель. Для рыб, плавающих с типичной скоростью 0,2 м/сек, размытость движения на уровне субпикеселей гарантируется временами срабатывания затвора менее чем 0,6×10⁻³ с. Для предоставления адекватных изображений с низким уровнем шума в систему машинного зрения, предпочтителен коэффициент усиления датчика менее чем ISO 3200. Это, в свою очередь, требует освещенности приблизительно 3000 люкс по всей целевой области.

На фиг.5 иллюстрируются результаты, которые были бы получены с помощью определяющего дальность детектора 54 в ситуации, изображенной на фиг.4. То, что показано, это результаты обнаружения из детекторных элементов с полями обзора, имеющими геометрические оси в диапазоне от +6° до —15°. Каждая черная точка на фиг.5 представляет событие обнаружения, где отраженный свет принят надлежащим детекторным элементом. Положение точки в направлении оси d представляет расстояние до обнаруженного объекта, вычисленное исходя из времени прохождения светового сигнала от излучающего оптического средства 58 до объекта и обратно к принимающему оптическому средству 60.

Как описано ранее, рыбы 72 и 74 представлены обнаружениями на приблизительно одинаковых расстояниях d1 и d2, соответственно, для некоторого количества смежных детекторов. Для каждого индивидуального детектора, расстояние до рыбы является наибольшим среди расстояний, измеренных тем детектором. Точки на меньших расстояниях представляют шум, обуславливаемый мелкими частицами в веере восприятия.

В ситуации, проиллюстрированной на фиг.4 и 5, рыба 74 частично заслонена рыбой 72, так что изображение всего силуэта рыбы можно получить только для рыбы 72, находящейся на меньшем расстоянии d1. Следовательно, фокус съемочного аппарата будет отрегулирован до получения того расстояния d1.

На фиг.6 представлена временная диаграмма, демонстрирующая обнаружения на расстоянии d1 как функцию времени t. Можно увидеть, что полученные обнаружения рыбы 72 для углов β в диапазоне от —3° до —15° стабильны в течение длительного периода времени, соответствующего времени, которое у рыбы уходит на то, чтобы проплыть через веер 68 восприятия. Следовательно, можно было бы также отфильтровать шум, накладывая требование, что обнаружение должно быть стабильным на некотором определенном минимальном интервале времени или, что эквивалентно, путем интегрирования сигнала, принимаемого от каждого детекторного элемента в течение некоторого определенного времени, а затем - регулирования порога результата интегрирования.

В принципе, архив обнаружений того типа, которые проиллюстрированы на фиг.6, также можно было бы использовать для оптимизации интервала времени, в котором съемочный аппарат 52 получает последовательность снимков, чтобы убедиться, что, с одной стороны, количество снимков не становится необоснованно большим и, с другой стороны, что последовательность снимков включает в себя, по меньшей мере, один снимок, на котором вся рыба находится в пределах поля обзора съемочного аппарата. Например, как показано на фиг.6, в момент времени t1, когда некоторое определенное количество смежных детекторных элементов (три) обнаружат объект, который мог бы быть рыбой, можно запустить некоторый таймер. Потом - с некоторой определенной задержкой - в момент времени t2 можно запустить съемочный аппарат, чтобы начать съемку последовательности снимков, а остановлена эта последовательность будет - самое позднее - в момент времени t3, когда детекторные элементы указывают, что конец хвоста рыбы покидает веер восприятия.

На фиг.7 показано поле 76 обзора съемочного аппарата в момент времени t1, показанный на фиг.6, когда нос рыбы 72 только что пересек веер 68 восприятия.

На фиг.8 показано изображение, захваченное съемочным аппаратом 52 в момент времени, наступивший несколько позже момента времени t2, показанного на фиг.6, когда весь силуэт рыбы 72 оказывается в пределах поля 76 обзора. В этот момент, из результатов обнаружения детекторными элементами при β в диапазоне от —3° до —15° согласно фиг.6, можно сделать вывод, что геометрическая ось рыбы будет проходить под углом β = —9°, как показано на фиг.8. Эта информация может быть передана в систему обработки изображений и может способствовать распознаванию контура рыбы на захваченном изображении.

На фиг.8 показано изображение, захваченное съемочным аппаратом 52 в момент времени, наступивший несколько позже момента времени t2, показанного на фиг.6, когда весь силуэт рыбы 72 оказывается в пределах поля 76 обзора. В этот момент, из результатов обнаружения детекторными элементами при β в диапазоне от —3° до —15° согласно фиг.6, можно сделать вывод, что геометрическая ось рыбы будет проходить под углом β = —9°, как показано на фиг.8. Эта информация может быть передана в систему обработки изображений и может способствовать распознаванию контура рыбы на захваченном изображении.

Возвращаясь к фиг.1, отмечаем, что компьютер 62 системы 12 управления съемочным аппаратом и освещением соединен с системой 78 обработки изображений, которая имеет доступ к базе 80 данных через систему 82 управления данными.

Система управления данными

Автоматизированная система для обнаружения и подсчета таких наружных паразитов рыб, как морские вши, также включает в себя систему 82 управления данными, которая включает в себя интерфейсы, поддерживающие получение, хранение, поиск, выборку и распределение данных изображений, метаданных изображений, аннотаций изображений и данных обнаружений, создаваемых при эксплуатации системы 78 обработки изображений.

Хранилище данных

Система 82 управления данными принимает изображения из системы захвата изображений, например, в форме «пакетов» РОС. Система управления данными распаковывает каждый пакет, например, в изображение формата JPEG или PNG и метаданные объектной нотации на мультипарадигмальном языке программирования JavaScript (JSON). Каждое из изображений формата JPEG хранится в хранилище данных.

База данных

Метаданные JSON, не распакованные из каждого пакета РОС, хранятся в базе 80 данных, связанной с хранилищем данных. В общем случае, метаданные описывают параметры захвата изображения, относящиеся к связанному с ними изображению формата JPEG или PNG. Например, метаданные включают в себя указание ячейки пикселя центроида в пределах силуэта рыбы (например, пикселя, центрированного горизонтально в пределах изображения, на продольной геометрической оси), обнаруживаемого блоком LEDDAR (обнаружения и определения дальности посредством светоизлучающих диодов). Эту ячейку пикселя может - по выбору - использовать система обработки изображений (подробнее описываемая ниже), чтобы облегчить обнаружение рыб в пределах изображения.

База 80 данных также хранит данные аннотаций, созданные в течение процесса аннотирования (подробнее описываемого ниже) для обучения системы 78 обработки изображений. Кроме того, база данных хранит информацию, характеризующую местонахождение, размер и тип рыбы и таких наружных паразитов рыб, как морские вши, обнаруживаемого системой машинного зрения. В заключение отметим, что, база данных хранит учетные данные для аутентификации, дающие пользователям возможность входить в различные интерфейсы (например, интерфейс аннотаций или интерфейс конечного пользователя) через модуль аутентификации.

Система обработки изображений

В определенном варианте осуществления изобретение предусматривает применение системы 78 обработки изображений для выполнения задачи обнаружения таких наружных паразитов рыб, как морские вши. В предпочтительном варианте осуществления изобретения, для обеспечения детектора 84 рыб и детектора 86 наружных паразитов рыб, обучают отдельные нейронные сети. Сначала детектор 84 рыб обнаруживает индивидуальных рыб в пределах изображений, получаемых системой захвата изображений. Затем детектор 86 наружных паразитов рыб обнаруживает таких индивидуальных наружных паразитов рыб, как морские вши (если они есть) на поверхности каждой обнаруженной рыбы. В предпочтительном варианте детектор наружных паразитов рыб также классифицирует пол и жизненную стадию каждой обнаруженной вши.

Детекторы обучают посредством некоторой процедуры машинного обучения, которая обеспечивает усвоение корпуса аннотированных человеком изображений. Применение нейронной сети устраняет необходимость определения в явном виде характеристик (например, протяженности, формы, яркости, цвета или текстуры) рыб или таких наружных паразитов рыб, как морские вши, а вместо этого делает выводы непосредственно на основе знания, которым обладают аннотаторы-люди, закодированного в пределах корпуса аннотированных изображений.

На фиг.9 показаны положение и силуэт рыбы 72 в поле 76 обзора, обнаруживаемые детектором 84 рыб. Другая рыба 74, показанная на фиг.4, 7 и 8 исключена из рассмотрения в этом варианте осуществления, поскольку ее частично заслоняет рыба 72. Однако в модифицированном варианте осуществления было бы возможно обнаруживать также рыбу 74 и отыскивать таких наружных паразитов рыб, как морские вши, на коже рыбы 74, постольку, поскольку она видна.

В одном варианте осуществления изобретения глубина фокуса съемочного аппарата 52 выбрана такой, что четкое изображение получается для всего силуэта рыбы 72. В модифицированном варианте осуществления, как показано на фиг.9, силуэт рыбы, распознаваемый детектором рыб, разделен на подзоны 88, которые отличаются по их расстоянию от съемочного аппарата 52. Расстояния в разных подзонах 88 вычисляют на основе результата определения дальности, полученного из определяющего дальность детектора 54. Значения расстояний, полученных посредством различных детекторных элементов определяющего дальность детектора, отражают уже эффект углового рассогласования между геометрической осью 70 поля обзора и оптической осью съемочного аппарата в направлении дифферента. Кроме того, для каждой точки в пределах силуэта рыбы 72, вывод об эффекте углового рассогласования в горизонтальном направлении можно сделать исходя из положения пикселя на рыбе в поле 76 обзора. По выбору, можно внести в расстояние поправку на рельеф туловища рыбы в горизонтальном направлении, причем этот рельеф, по меньшей мере, приближенно известен для рассматриваемых видов рыб.

Затем, когда снимают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус можно изменять от изображения к изображению таким образом, что произойдет соответственная адаптация фокуса к одной из подзон 88, показанных на фиг.9. Это позволяет получать с высоким разрешением изображения всех подзон 88 рыбы с уменьшенной глубиной фокуса и - соответственно - с уставкой диафрагмы съемочного аппарата, которая потребует меньшей интенсивности света при освещении.

На фиг.10 показано нормализованное изображение рыбы 72, которое впоследствии предоставляется в детектор 86 наружных паразитов рыб. По выбору, это изображение может быть составлено из нескольких изображений подзон 88, захваченных с отличающимся фокусом съемочного аппарата. Далее, изображение, показанное на фиг.10 можно нормализовать по размеру, приводя его к некоторому стандартному размеру, что облегчает сравнение захваченного изображения рыбы с аннотированными изображениями.

Будет заметно, что изображение рыбы 72, распознанное и показанное на фиг.9, может подвергаться искажению (горизонтальному сжатию), если рыба ориентирована не под прямым углом к оптической оси съемочного аппарата. Процесс нормализации, приводящий к силуэту рыбы, показанному на фиг.10, может компенсировать это искажение.

Кроме того, на фиг.10 иллюстрируется предусматриваемый по выбору вариант осуществления, в котором силуэт рыбы разделен на разные области 90, 92 и 94—100. Области 90 и 92 позволяют системе обработки изображений устанавливать различия верхней стороны и нижней стороны, для чего, с одной стороны, с высоким разрешением будет цвет кожи рыбы, а с другой стороны, интенсивности и спектры освещения, обеспечиваемого верхней и нижней осветительными матрицами 22 и 24 будут отличающимися друг от друга. Знание области 90 или 92, где пиксель находится на рыбе, упрощает детектору 86 наружных паразитов рыб поиск характерных особенностей на контрасте между наружными паразитами рыбы, такими, как морские вши, и тканью рыбы.

Дополнительные области 94—100, показанные в этом примере, обозначают избранные анатомические особенности рыбы, которые коррелируют с характерными плотностями популяции наружного паразита рыбы, такого, как морские вши разных видов, на рыбе. Те же самые анатомические области 94 — 100 также будут идентифицированы на аннотированных изображениях, используемых для машинного обучения. Это позволяет обучать или конфигурировать детектор наружных паразитов рыб таким образом, что уровни доверительной вероятности для обнаружения таких наружного паразитов рыб, как морские вши, адаптируются к области, обследуемой в данный момент.

Более того, когда детектор 86 наружных паразитов рыб эксплуатируют в режиме логических выводов, появляется возможность обеспечить отдельные статистики для разных областей 94—100 на рыбе, что может дать информацию, полезную для идентификации вида, пола и/или жизненной стадии таких наружного паразитов рыб, как морские вши, и/или степени заражения.

Аннотирование, обучение, валидация и тестирование

На фиг.11 показана блок-схема последовательности операций, детализирующая аннотирование изображений и обучение, валидацию и тестирование детекторов 84, 86 в пределах системы 78 обработки изображений. Процесс аннотирования и обучения начинается с получения изображений. Интерфейс 102 аннотаций дает людям возможность создавать множество аннотаций, которое, когда оно связано с соответствующими изображениями, дает корпус аннотированных изображений.

В предпочтительном варианте осуществления изобретения интерфейс аннотирования обменивается информацией с медиасервером, который подключен к хранилищу данных в базе 80 данных. Интерфейс аннотирования может быть на основе языка описания гипертекстовых документов (HTML), позволяя людям-аннотаторам загружать, просматривать и аннотировать изображения в пределах некоторого веб-браузера. Для каждого изображения аннотатор создает некоторый полигон, в котором заключена каждая явно видимая рыба, и ограничивающий прямоугольник, охватывающий любого наружного паразита рыбы, такого, как морские вши, присутствующего на поверхности рыбы. В предпочтительном варианте интерфейс аннотирования также позволяет аннотатору создавать ограничивающие прямоугольники, охватывающие глаза рыбы (которые могут оказаться визуально аналогичными наружным паразитам рыб, таким, как морские вши). В предпочтительном варианте аннотатор также указывает вид, пол и жизненную стадию каждой вши.

Аннотации, созданные с помощью интерфейса 102 аннотаций, хранятся в базе 80 данных. При введении в базу данных и выборке из нее, аннотации для одиночного изображения сериализуются как объект JSON с указателем на связанное с ним изображение. Это упрощает усвоение аннотированного корпуса процедурой машинного обучения.

В предпочтительном варианте осуществления изобретения процедура машинного обучения предусматривает обучение нейронных сетей на корпусе аннотированных изображений. Как показано на фиг.11, аннотированные изображения можно разделить на три множества изображений. Первые два множества изображений используют для обучения и валидации нейронной сети. Конкретнее, первое множество изображений (например, приблизительно 80 % аннотированных изображений) используют для итеративного регулирования весов в пределах нейронной сети. Периодически (т.е., после некоторого определенного количества дополнительных итераций) используют второе множество изображений (приблизительно 10 % аннотированных изображений) для валидации детектора эволюции, защищающего от избыточного обучения (переобучения). Результатом процесса обучения и одновременной валидации является обученный детектор 84, 86. Третье множество изображений (например, приблизительно 10 % аннотированных изображений) используют для тестирования обученного детектора. Процедура тестирования характеризует производительность обученного детектора, в результате чего получается множество метрик 104 производительности.

Как показано на фиг.11, весь процесс обучения, валидации и тестирования можно итерировать несколько раз как часть более широкого процесса проектирования нейронной сети до тех пор, пока не достигаются приемлемые метрики производительности. Как отмечалось выше, в предпочтительном варианте осуществления изобретения процесс согласно фиг.11 проводят, по меньшей мере, один раз, чтобы создать детектор 84 рыб, и, по меньшей мере, один раз, чтобы создать детектор 86 наружных паразитов рыб.

В альтернативных вариантах осуществления изобретения, чтобы повысить качество процесса обучения, валидации и тестирования, процедура машинного обучения включает в себя процесс аугментации данных для увеличения размера аннотированного корпуса. Например, применение таких методов аугментации, как накопление шума и перспективное преобразование аннотированного людьми корпуса, может увеличивать размер обучающего корпуса в 64 раза.

Работа

Сразу же после завершения процесса обучения, валидации и тестирования согласно фиг.11, детекторы можно запускать в режиме логических выводов для обнаружения рыб и таких наружных паразитов рыб, как морские вши, во вновь получаемых (неаннотированных) изображениях.

Конкретно, каждое изображение, подлежащее обработке, сначала пропускают в детектор 84 рыб. Если детектор рыб локализует один или несколько участков в пределах изображения, которое он считает рыбой, это изображение пропускают в детектор 86 рыб с точным воспроизведением силуэтов рыб (и - по выбору - областей 90—100).

На фиг.12 показана блок-схема последовательности операций, детализирующая работу детектора 86 наружных паразитов рыб в режиме логических выводов в системе 78 обработки изображений. Система обработки изображений сначала вычисляет метрики качества изображения для каждого из получаемых изображений. Метрики качества оценивают пригодность изображений для использования при обнаружении различных жизненных стадий таких наружных паразитов рыб, как морские вши, на рыбе. В предпочтительном варианте осуществления изобретения метрики качества изображения включают в себя:

- долю переэкспонированных пикселей; это доля пикселей в пределах изображения со значениями яркости выше максимального допустимого значения (составляющую, например, 250 для пикселей с глубиной цвета 8 бит);

- долю недоэкспонированных пикселей; это доля пикселей в пределах изображения со значениями яркости ниже минимального допустимого значения (составляющую, например, 10 для пикселей с глубиной цвета 8 бит);

- балльную оценку фокуса; это мера качества фокуса в пределах изображения, вычисленная по дисперсии значений пикселей или дисперсии накладываемого на значения пикселей выходного сигнала фильтра Лапласа.

Полученное изображение, соответствующее метрикам качества изображения и обученному детектору, получаемое в результате процедуры обучения, валидации и тестирования, пропускают на операцию обнаружения, которая приводит к обнаружению одного или нескольких классов таких наружных паразитов рыб, как морские вши (т.е., таких наружных паразитов рыб, как морские вши, на некоторой конкретной жизненной стадии) в пределах некоторой области, например - 90, изображения, идентифицированного детектором рыб. Затем обнаружения фильтруют на основе метрик качества изображения; если метрики качества изображения указывают, что качество изображения оказалось недостаточным для обеспечения надежного обнаружения некоторого конкретного класса таких наружных паразитов рыб, как морские вши, обнаружения этого класса исключаются. При исключении некоторого обнаружения, изображение полностью исключается из вычислений показателя обнаружения для того класса. (То есть, обнаружение исключается из числителя показателя обнаружения, а изображение исключается из знаменателя показателя обнаружения). Отфильтрованные обнаружения можно хранить в базе 106 данных обнаружений.

Затем система 78 обработки изображений объединяет обнаружения в базе данных обнаружений с метриками 104 производительности, являющимися результатом процедуры обучения, валидации и тестирования, чтобы смоделировать статистику популяции таких наружных паразитов рыб, как морские вши. На основании известных метрик производительности, система машинного зрения проводит экстраполяцию с показателей обнаружения в пределах полученных изображений на реальную распространенность таких наружных паразитов рыб, как морские вши, в пределах популяции рыбы.

Как отмечалось выше, система 78 обработки изображений может - по выбору - предусматривать использование информации о местонахождении рыбы, определяемой определяющим дальность детектором, чтобы информировать об обнаружении им рыбы. Конкретно, детектор рыб может понижать порог доверительной вероятности, требуемый для обнаружения рыбы в окрестности продольной геометрической оси, сообщаемой для каждого изображения.

В вариантах осуществления изобретения, предусматривающих несколько съемочных аппаратов с отличающимися ориентациями, система обработки изображений также может использовать информацию об ориентации, сообщаемую датчиком 56 положения внутри кожуха 20 съемочного аппарата при захвате изображений. Например, поскольку рыбы в типичных случаях плавают параллельно поверхности воды, информацию об ориентации можно использовать для смещения обнаружения рыб к участкам с высоким отношением длины к ширине и большей осью, ориентированной перпендикулярно вектору гравитации. Определение ориентации рыб относительно съемочного аппарата также позволяет создать систему обработки изображений с детектором рыб, включающим в себя несколько нейронных сетей, каждая из которых обучена для конкретной ориентации рыб (например, для относительно темной верхней поверхности или относительно светлой нижней поверхности). Ориентация рыб также может информировать о работе детектора наружных паразитов рыб применительно к такому наружному паразиту рыбы, как морские вши, которые с большей вероятностью пристраиваются к конкретным местам на рыбах.

Интерфейс конечного пользователя

В заключение отметим, что, система в соответствии с изобретением может включать в себя интерфейс 108 конечного пользователя (фиг.1). Интерфейс конечного пользователя обеспечивает доступ к результатам операций обнаружения в системе машинного зрения. Например, некоторый медиасервер, подключаемый к базе 80 данных и хранилищу данных, может предоставлять изображения с генерируемыми машиной аннотациями, указывающими области в изображении, где были обнаружены рыбы и наружные паразиты рыб, такие, как морские вши. Интерфейс конечного пользователя также может выдавать сводную статистику (например, подсчеты рыб, подсчеты таких наружных паразитов рыб, как морские вши, темпы заражения) для интересующей популяции рыбы (например, в пределах некоторой индивидуальной морской фермы или по всей ферме).

В предпочтительном варианте осуществления изобретения интерфейс конечного пользователя также включает в себя инструменты, которые упрощают соблюдение требований регламентирующих органов. Например, результаты операций обнаружения из системы обработки изображений можно автоматически суммировать и передавать регламентирующим органам согласно требуемым формам. Интерфейс конечного пользователя также может предусматривать инструменты прогностической аналитики, предсказание темпов заражения для популяции рыбы, предсказание итогового экономического эффекта и оценку возможных порядков действия (например, химических очисток). Интерфейс конечного пользователя также может интегрироваться с более широким набором инструментов аквакультуры (например, инструментов мониторинга биомассы, уровней кислорода и уровней солености).

По выбору, интерфейс конечного пользователя включает в себя вышеописанный интерфейс 102 аннотаций, дающий продвинутым конечным пользователям возможность повышать или расширять рабочие характеристики системы машинного зрения. Также - по выбору - интерфейс конечного пользователя может включать в себя интерфейс, позволяющий регулировать параметры, управляющие поведением системы управления съемочным аппаратом и освещением.

Реферат

Способ включает этапы, на которых: погружают съемочный аппарат в морскую ферму, содержащую рыбу; захватывают изображения рыбы с помощью съемочного аппарата и идентифицируют наружных паразитов рыб на упомянутой рыбе путем анализа захваченных изображений. Устанавливают различия между по меньшей мере двумя разными классами таких наружных паразитов рыб, как морские вши, которые отличаются по трудности распознавания таких наружных паразитов рыб, как морские вши. Вычисляют метрики качества для каждого захваченного изображения, причем метрики качества позволяют идентифицировать классы таких наружных паразитов рыб, как морские вши, для которых качество изображения оказывается достаточным для обнаружения морских вшей. Устанавливают отдельные показатели обнаружения для каждого класса морских вшей, причем каждый показатель обнаружения основан только на изображениях, качество которых, описываемое метриками качества, оказалось достаточным для обнаружения таких наружных паразитов рыб, как морские вши, того класса. Обеспечение точных автоматизированных подсчетов, чтобы снизить объем человеческого труда, связанного с наружными паразитами рыб, такого как подсчеты морских вшей, а также создание возможности более эффективного прогнозирования и предотвращения вредных заражений паразитами. Система содержит электронную систему управления, выполненную с возможностью осуществления вышеуказанного способа. Группа изобретений обеспечивает автоматизированный подсчет морских вшей, а также возможность прогнозирования и предотвращения заражений рыб паразитами. 2 н. и 17 з.п. ф-лы, 12 ил.

Формула