Системы и способы захвата изображений большой площади по частям, включающие в себя каскадные камеры и/или калибровочные признаки - RU2562707C2

Чертежи

Показать все 17 чертежа(ей)

Описание

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ

Эта заявка является заявкой в частичное продолжение заявки № 12/101,167 на выдачу патента США, поданной 11 апреля 2008 года и озаглавленной Systems and Methods of Capturing Large Area Images in Detail Including Cascaded Cameras and/or Calibration Features (Системы и способы захвата изображений большой площади по частям, включающие в себя каскадные камеры и/или калибровочные признаки), полное раскрытие которой включено в материалы настоящей заявки посредством ссылки.

УВЕДОМЛЕНИЕ ОБ АВТОРСКОМ ПРАВЕ И ПРЕДОСТАВЛЕНИЕ ПОЛНОМОЧИЙ

Части документации в этом патентном документе содержат в себе материал, который подлежит защите авторского права. Обладатель авторского права не имеет возражений против факсимильного воспроизведения кем-либо, имеющим отношение к патентному документу или раскрытию патента, в то время как они появляются в фонде или регистрационных записях Патентного ведомства США, но в противном случае сохраняет за собой абсолютно все авторские права.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Последующее подробное описание будет лучше понятно, когда читается вместе с прилагаемыми чертежами, на которых показаны один или более из многочисленных вариантов осуществления настоящего изобретения. Однако должно быть понятно, что различные варианты осуществления настоящего раскрытия не ограничены точными компоновками и средствами, показанными на чертежах.

На чертежах:

фиг. 1 - структурная схема примерной системы для захвата обзорных и частичных изображений;

фиг. 2A-2B - структурные схемы других примерных систем для захвата обзорных и частичных изображений;

фиг. 3 - структурная схема еще одной примерной системы для захвата обзорных и частичных изображений;

фиг. 4 - показательная схема системы подвески с камерами;

фиг. 5A иллюстрирует одну из примерных реализаций, включающих у себя наружную подвеску, установленную на небольшом однодвигательном летательном аппарате;

фиг. 5B иллюстрирует одну из примерных реализаций систем захвата изображений, установленных в пределах наружной подвески;

фиг. 5C иллюстрирует примерное использование летательного аппарата для сбора данных обзорных и частичных изображений;

фиг. 5D иллюстрирует примерный план полета для сбора обзорных и частичных изображений;

фиг. 6A-6B - схемы, иллюстрирующие примерные представления обзорного и частичных изображений;

фиг. 6A-6B - схемы, иллюстрирующие примерные представления обзорного и частичных изображений;

фиг. 8A-8C - таблицы, иллюстрирующие показательные конфигурации камер для двух вариантов осуществления примерных систем для захвата обзорных и частичных изображений;

фиг. 9 иллюстрирует летательный аппарат, оборудованный вычислительной системой/системой обработки данных, системой навигации/плана полета, дисплеем плана полета и системой подвески с камерами, и

фиг. 10 иллюстрирует структурную схему для блокнотного/портативного компьютера, работающего вместе с контроллером и GPS-системой, как описано в одном из вариантов осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

Определенная терминология используется в материалах настоящей заявки только для удобства и не должна браться в качестве ограничения на варианты осуществления настоящего раскрытия. На чертежах одинаковые символы и номера ссылок применяются для обозначения идентичных элементов на всем протяжении нескольких фигур.

Слова «левый», «правый», «нижний» и «верхний» обозначают направления на чертежах, на которые делается ссылка. Слова «вперед» и «в сторону» указывают ссылкой на направления перемещения транспортного средства, летательного аппарата, космического аппарата, подводной лодки или другой платформы, которая перевозится относительно земли. Терминология включает в себя слова, специально упомянутые выше, их производные и слова подобного смысла.

Термин «разрешение», когда используется в материалах настоящей заявки в отношении изображения, указывает ссылкой на способность различать изображенные объекты, причем, разрешение типично дается в см и относительно объекта(ов) на местности. Когда используется в таком контексте, разрешение может быть по-разному выраженным расстоянием выборки местности, элементом разрешения, разрешением на местности или разрешением пикселя местности. Когда используется в отношении камеры или другого устройства формирования изображений, разрешение может указывать ссылкой на плотность пикселей такого устройства формирования изображений. Как будет понятно специалисту в данной области техники, разрешение изображения (расстояние выборки местности, элемент разрешения, разрешение на местности или разрешение пикселя местности) является зависящим от многих параметров, в том числе, не только разрешения камеры, но и других переменных, в том числе, без ограничения, системы формирования изображений (например, линз) и рабочих условий (например, высоты над уровнем моря), при которых захватываются изображения.

Получение изображений земли с помощью аэросъемки и спутниковой съемки используется для широкого круга военных, коммерческих и бытовых применений. Некоторое количество развивающихся применений включает в себя обслуживание карт с получением фотоизображений по сети Интернет и услуги, основанные на формировании таких фотокарт (например, карт и направлений, стоимостей недвижимости). Вообще, есть растущая потребность в картах с получением фотоизображений и недавно обновленных фотокартах. Однако существующие системы для формирования фотокарт часто включают в себя излишне сложные компоненты, требуют больших капиталовложений и/или имеют высокие эксплуатационные затраты, среди других недостатков. Они не способны давать получение изображений в пределах коротких временных рамок и эксплуатационных режимов, или иначе обеспечивать высокое разрешение, требуемое в настоящее время.

Вообще, существующие фотограмметрические решения получения изображений претерпевают неудачу в удовлетворении растущей потребности в более своевременном и с более высоким разрешением получении изображений вследствие своей неспособности захватывать достаточные количества надлежащих данных высокого разрешения эффективным образом. Согласно принципам, совместимым с некоторыми аспектами, связанными с нововведениями в материалах настоящей заявки, системы камер, используемые для аэрофотограмметрии, должны принимать меры в ответ на два противоречащих требования.

Во-первых, жизненно важно, чтобы точно рассчитывались параметры линз и фокальной системы у системы камер (известные как внутреннее ориентирование), а также ее положение в пространстве и угол визирования (известные как внешнее ориентирование). Фотограмметрическое решение, известное как пакетная настройка, может использоваться для расчета информации о внутреннем и внешнем ориентировании для камеры и для каждой фотографии, снятой камерой. Такие расчеты часто представляют собой предварительное требование для предоставления возможности слияния отдельных фотографий в бесшовные фотокарты. Один из способов достижения требуемого уровня точности состоит в том, чтобы снимать многочисленные изображения с большим количеством избыточных данных между фотографиями. Общие признаки, общие элементы, общие точки или элементы изображения, видимые на многочисленных фотографиях, в таком случае, могут идентифицироваться и использоваться для расчета внутренних и внешних параметров камер. Однако даже с большими количествами избыточных данных между фотографиями, может быть трудным идентифицировать общие точки или элементы изображения, если фотографии были сняты в разные моменты времени или в разных условиях (например, разных высотах, в разное время суток), поскольку общие точки или элементы изображения могут переместиться или могут иметь отличия во внешнем виде (например, разное затенение, обусловленное изменениями в освещении), которые делают трудным сопоставление между такими общими точками или элементами изображений.

Во-вторых, желательно, чтобы аэросъемки выполнялись быстро. Это дает несколько преимуществ, таких как сниженные эксплуатационные затраты и минимизированные задержки, происходящие из неблагоприятных условий окружающей среды или условий топографической съемки местности, таких как ненастная погода. Эффективный способ увеличить захватываемую площадь местности, измеряемую километрами в час, состоит в том, чтобы минимизировать избыточность между частичными фотографиями высокого разрешения, которые впоследствии используются для формирования фотокарт.

По существу, желание увеличить избыточность среди изображений для предоставления возможности точного фотограмметрического позиционирования изображений должно уравновешиваться требованием уменьшать избыточность между фотографиями для выполнения топографических съемок местности с более низкой себестоимостью.

Сбор данных авиационной фотокарты может выполняться пролетом летательного аппарата, оборудованного авиационными устройствами формирования изображений (например, камерами) вдоль плана полета, который включает в себя пролет вдоль относительно прямой траектории, закладывание виража и разворот летательного аппарата, чтобы повернул на 180° для пролета параллельной обратной траектории с некоторым смещением в сторону от исходной траектории, и повторение этой схемы до тех пор, пока не была сфотографирована намеченная зона местности. Как будет пониматься специалистом в данной области техники, изображения или фотографии захватываются с периодическими интервалами вдоль прямой части плана полета для создания фотографий с передним перекрытием, и план полета намечен, из условия чтобы захватываемые изображения имели перекрытие бок о бок.

Перекрытие в изображениях может создаваться некоторым количеством механизмов. Например, система формирования изображений, которая является перемещаемой вдоль оси или обычно движимой над землей в транспортном средстве (например, летательном аппарате), может периодически захватывать изображения. Согласование по времени между захватываемыми изображениями (фотографиями) может быть выполнено, из условия, чтобы фотографии имели перекрытие в направлении движения. Перекрытие, являющееся результатом прямого направления движения, обычно указывается ссылкой как переднее перекрытие. Фотографии, которые снимаются одна за другой в такой системе, и которые имеют вышеупомянутое переднее перекрытие, могут указываться ссылкой как последовательные или смежные фотографии. В плане полета с прямой траекторией и обратной траекторией, боковое перекрытие создается разнесением прямой траектории и обратной траектории, из условия, чтобы изображения, снятые вдоль таких траекторий, имели требуемое перекрытие. Перекрытие, являющееся результатом разнесения прямой и обратной траекторий на траектории полета, обычно указывается ссылкой как боковое перекрытие. В заключение, системы формирования изображений или камеры могут быть скомпонованы в пределах системы захвата изображений, из условия, чтобы они указывали на разные зоны местности внизу, с перекрытием между захваченными изображениями, создаваемым вследствие механической компоновки систем (или камеры) захвата изображений.

Хотя величина переднего и бокового перекрытия может меняться от применения к применению, общее перекрытие современных систем топографической аэросъемки имеет значение 80/30, указывая 80% переднего перекрытия с последовательными фотографиями вдоль линии полета и 30% бокового перекрытия с фотографиями в смежных параллельных линиях полета. В такой конфигурации, захват последовательных изображений во время перемещения вперед на одной линии полета, давал бы в результате всего лишь 20% каждого изображения, содержащего в себе новую информацию. Сбор данных этим способом предоставляет признаку, элементу изображения или общей точке идентифицироваться в пределах приблизительно 5 изображений. В показателях избыточности для вышеупомянутого примера, любая точка, пиксель, набор пикселей, элемент, элемент изображения, объект или признак в такой общей зоне имеет избыточность 4 (исходное плюс четыре или более идентифицируемых изображений таких точки или объекта). По существу, набор последовательных изображений, имеющих перекрытие 80% мог бы считаться имеющим избыточность 4. Вообще, избыточность может быть описана в качестве количества изображений (в наборе изображений), в которых в среднем появляется точка, минус один. Точки, которые захватываются избыточно, могут использоваться или могут не использоваться в качестве элементов изображения, но такие точки или пиксели появляются в многочисленных изображениях в пределах набора. Как будет пониматься специалистом в данной области техники, для высоких значений избыточности, количество изображений, в которых в среднем появляется точка (n), что приближается к избыточности (n-1). Количество избыточной информации в наборах изображений дополнительно увеличивалось бы боковым перекрытием, давая в результате всего лишь около 14% каждого изображения, содержащих в себе новую информацию, и приблизительно 86% информации изображения, являющихся избыточными в показателях заключительной фотокарты. Как будет пониматься специалистом в данной области техники, увеличение перекрытия, будь то переднее перекрытие, боковое перекрытие или перекрытие, сформированное другими операциями или механическими конфигурациями, будет увеличивать избыточность в наборах изображений.

В одном из вариантов осуществления настоящих систем и способов, по меньшей мере две системы/подсистемы формирования изображений используются для захвата обзорных изображений и частичных изображений. В еще одном варианте осуществления, по меньшей мере две системы/подсистемы формирования изображений используются для захвата обзорных изображений на первом уровне разрешения и частичных изображений на втором уровне разрешения, второй уровень разрешения является более высоким (с большими деталями изображения), чем первый уровень разрешения. Как проиллюстрировано на фиг. 1, частичные изображения 122, 124 и 126, захваченные второй системой 120, полностью или частично подпадают под зону захвата обзорного изображения 112, захватываемого первой системой 110. Первая и вторая системы 110 и 120 могут перемещаться, типично, вдоль оси 115 X. Фиг. 5C и 5D иллюстрируют захват частичных и обзорных изображений из плоскости и вдоль типичной траектории полетной топографической съемки местности, соответственно. Изображения собираются, из условия, чтобы значительно перекрытие существовало в обзорных изображениях, но перекрытие в частичных изображениях значительно сокращалось или минимизировалось относительно величины перекрытия в обзорных изображениях. Подобным образом, величина перекрытия частичных изображений в одном или более вариантах осуществления настоящих систем и способов сильно уменьшена относительно изображений, полученных в других традиционных системах формирования изображений фотокарты. Посредством наличия в распоряжении значительной величины перекрытия в обзорных изображениях, высокая избыточность существует в таких изображениях низкого разрешения, такая избыточность используется для обработки изображений, имеющей отношение к формированию фотокарты. Частичные изображения, которые имеют место с требуемым разрешением для фотокарт, имеют гораздо более низкую величину избыточности, таким образом, уменьшая требования к хранению и обработке для таких изображений.

Большие уровни избыточные или перекрытия повышают способность точно рассчитывать внешнее и внутреннее ориентирование для системы камер. Однако, увеличенная избыточность почти совершенно бесполезна при создании заключительной фотокарты, так как захватывается значительно большее количество данных изображения, чем необходимо для создания заключительной фотокарты. Сбор этих излишних данных увеличивает время и затраты, вовлеченные при пролете топографической съемки местности. Например, если традиционная авиационная система формирования изображений подвергается полету на высоте, достаточной для выпуска фотокарты с размером пикселя местности 10 см с использованием перекрытия 80/30, потребовалось бы, чтобы собиралось приблизительно 100 терабайт (Тбайт) данных изображения для формирования заключительной фотокарты, которая имеет значение 14 Тбайт по размеру. По существу, изображения с разрешением пикселя местности будут иметь избыточность около 6 (соответствующую приблизительно всего лишь 14% новой информации в каждом изображении), и такие изображения будут служить для расчета как внешнего, так и внутреннего ориентирования системы камер, а также для формирования заключительной фотокарты.

В качестве альтернативы, использование настоящих способов и систем предоставило бы возможность использования первой системы камер, обеспечивающей размер пикселя местности 100 см с высокой избыточностью (например, 98) с очень малой уникальной зоной, покрываемой на фотографию (приблизительно 1%), и второй системы камер, обеспечивающей высокое разрешение в 10 см с большой уникальной зоной на фотографию 80%. Использование этой технологии и системы потребовало бы около 15 Тбайт для набора фотографий высокой избыточности и около 15 Тбайт для набора фотографий низкой избыточности, ради суммарной потребности хранения менее чем 30 Тбайт. Более того, вследствие высокой избыточности (98) в фотографиях низкого разрешения, постобработка может добиваться более высокой устойчивости (меньшего количества ошибок) и более высокой точности, чем с изображенями более низкой избыточности на более высоком разрешении. Например, если традиционная система имеет среднеквадратическую (RMS) ошибку 0,5 пикселя, абсолютная погрешность на местности имела бы значение 5 см (0,5×10 см). С использованием настоящих способов и систем, фотографии с высокой избыточностью могут давать возможность RMS постобработки в 0,1 пикселя, для абсолютной погрешности на местности 0,1×100=10 см. Это может дополнительно улучшаться определением местоположения высококачественных частичных изображений в пределах изображений с высокой избыточностью, давая в результате возможность добиваться уровней абсолютной погрешности на местности, которые сравнимы с или меньше, чем у предшествующих систем.

В одном из вариантов осуществления, настоящие способы и системы применяют использование многочисленных наборов камер, каждый набор камер потенциально содержит многочисленные камеры. По существу, разрешение не ограничено разрешением современных систем камер. Например, современные системы камер, такие как предлагаемые корпорацией Vexcel, могут иметь разрешение 300 мегапикселей, но это достигается благодаря использованию многочисленных камер, которые установлены на крайне жесткой платформе и предварительно калиброваны. С использованием настоящих способов и систем, можно создать виртуальную систему камер очень высокого разрешения (например, 10 гигапикселей).

Вследствие предъявляющих требования потребностей в топографической аэросъемке местности, системы камер типично строятся по заказу для конкретного применения аэрофотосъемки. Традиционные системы не могут использовать в своих интересах имеющиеся в продаже (COTS) компоненты и, по существу, не могут без труда извлекать преимущество передовой цифровой фотографии, такое как относительно низкая (и все время уменьшающаяся) себестоимость профессиональных камер типа цифровой однообъективной зеркальной фотокамеры (D-SLR). Тяжелый вес и высокая себестоимость систем камер, требуемых с использованием традиционных подходов, провоцируют или требуют использования двухдвигательного турбовинтового летательного аппарата, что дополнительно повышает эксплуатационные затраты, так как такой летательный аппарат является значительно более дорогостоящим для эксплуатации, чем обычный однодвигательный коммерческий летательный аппарат, такой как Cessna 210. В дополнение, использование традиционных общепринятых систем требует заказных модификаций в отношении летательного аппарата для установки камер. В противоположность, настоящие способы и системы, в определенных вариантах осуществления, допускают возможность использовать однодвигательный летательный аппарат, имеющий более низкие эксплуатационные затраты, чем двухдвигательный летательный аппарат, и не требуют модификаций в отношении каркаса летательного аппарата.

С использованием настоящих способов и систем, цифровые изображения высокого разрешения могут захватываться на больших площадях для воздушных или космических топографических съемок местности фотокарт. Время сбора данных может быть значительно сокращено сверх современных систем. По существу, капитальные и эксплуатационные затраты могут быть уменьшены, и полетные топографические съемки местности могут проводиться быстро, когда позволяет погода. В некоторых вариантах осуществления, топографические съемки с высоким разрешением могут захватываться с больших высот, таким образом, уменьшая влияние на управление воздушным движением, давая более ровные условия полета для экипажа полетной топографической съемки местности, и в целом снижая рабочую нагрузку пилота.

Дополнительно, разные типы камер, или камеры, используемые под разными углами, могут использоваться для сбора изображений разных разрешений и с разными степенями избыточности. Например, при сборе данных изображения для фотограмметрических применений, надземные камеры могут использоваться для сбора обзорных изображений с относительно низким разрешением с высокой степенью избыточности, а наклонные камеры могут использоваться для сбора данных высокого разрешения с низкой степенью избыточности. Возможны другие комбинации камер и разрешений/избыточностей, для фотограмметрических применений, а также в других применениях. С использованием настоящих способов и систем, разные типы камер могут комбинироваться для формирования надирных фотокарт, наклонных фотокарт, инфракрасных фотокарт или других комбинаций, как диктуется требованиями к топографической съемке местности.

Хотя описаны в материалах настоящей заявки в качестве систем частичных и обзорных камер, дополнительные наборы камер (или других типов устройств захвата изображений) могут быть включены в состав для формирования каскадов систем захвата изображений, работающих с разными разрешениями и разными величинами избыточности. Получением более высоких степеней избыточности в изображениях более низкого разрешения, чем в изображениях более высокого разрешения, можно иметь надлежащую величину избыточности для обработки изображений (например, пакетной настройки, формирования карт возвышения) наряду с одновременной минимизацией величины избыточности в изображениях более высокого разрешения. Например, способ и система, описанные в материалах настоящей заявки, могут использоваться с тремя наборами камер, первым набором камер, работающих на низком разрешении с высокой избыточностью, вторым набором камер, работающих на среднем разрешении со средней избыточностью, и третьим набором камер, работающих на высоком разрешении с низкой избыточностью. Вообще, каскадирование может выполняться с использованием многочисленных наборов камер, которые захватывают изображения с отличающимися степенями перекрытия, разрешением и/или избыточностью, из условия чтобы результирующие наборы изображений более низкого разрешения имели более высокую избыточность, чем наборы изображений, снятые с более высоким разрешением. Как будет пониматься специалистом в данной области техники, каскад камер может быть расширен до n камер или n наборов камер без ограничений специфичными физическими компоновками. Каскад камер может вырабатывать изображения со спектрами разрешений, совместимые с избыточностью, являющейся более низкой в изображениях более высокого разрешения. Набор камер, организованный линейным образом, в массиве (формате строк и столбцов) или иерархии увеличений, может считаться организованным каскадным образом, когда результатом является множетво захваченных изображений, имеющих разные разрешения на местности. В качестве примера, набор из четырех камер, скомпонованных в качестве массива, может быть организован каскадным образом посредством захвата изображений с разными разрешениями на местности, или при разных разрешениях на местности с разными увеличениями. Если камеры организованы, чтобы покрывать одни и те же или перекрывающиеся зоны местности, будут избыточные данные изображения между захваченными изображениями.

Как понимается специалистом в данной области техники, после того, как изображения были захвачены, благодаря этим способам или способам предшествующего уровня техники, они могут обрабатываться с использованием инструментальных средств фотограмметрии, для того чтобы создавать некоторое количество применений, таких как фотокарты или цифровые карты возвышений. Обычные программно реализованные программы, используемые для такой обработки, включают в себя, но не в качестве ограничения, одну или более из следующих программ: программное обеспечение триангуляции Match-AT, продаваемое компанией Inpho Corporation; программное обеспечение картографирования, продаваемое под товарным знаком Socet Set® от BAE Systems®; программное обеспечение Socet Set®, которое интегрируется с программным обеспечением фотограмметрической пакетной настройки, продаваемым в качестве BINGO от GIP mbH; и программное обеспечение обработки изображений ERDAS ER Mapper, продаваемое ERDAS®. Дополнительно, широкое многообразие программного обеспечения обработки изображений и триангуляции, продаваемого многообразием поставщиков, может использоваться для обработки данных.

Системы/подсистемы формирования изображений для захвата обзорных и частичных изображений могут быть совместно расположены на пригодном транспортном средстве для захвата изображений (например, летательном аппарате, космическом корабле, подводной лодке, неуправляемом аэростате) или могут быть расположены на отдельных платформах. В нескольких вариантах осуществления, системы формирования обзорных и частичных изображений совместно расположены в корпусе (например, подвеске), которая присоединяется к небольшому летательному аппарату. В одном или более вариантов осуществления, обзорные и частичные изображения захватываются по существу одновременно. Сигнал захвата изображения может вырабатываться из системы/подсистемы синхронизации (например, системного контроллера), который содействует почти одновременному захвату частичных и обзорных изображений.

В одном или более вариантов осуществления настоящих систем и способов, обзорные изображения собираются, из условия чтобы было перекрытие последовательно захваченных обзорных изображений (в дальнейшем, указываемых ссылкой как последовательные обзорные изображения), большее чем или равное 50% в переднем направлении. В альтернативном варианте осуществления, перекрытие последовательных обзорных изображений в переднем направлении имеет значение по меньшей мере 90%. В одном из вариантов осуществления, перекрытие последовательных частичных изображений в переднем направлении находится в диапазоне от 0% до 20%. Другие варианты осуществления с другими комбинациями перекрытия возможны, как будет пониматься специалистом в данной области техники, и совместимы с обладанием степенью перекрытия в последовательных частичных изображениях, значительно более низкой, чем степень перекрытия в последовательных обзорных изображениях.

В одном из вариантов осуществления настоящих способов и систем, первая система захвата изображений используется для захвата обзорного изображения обзорной зоны наряду с тем, что вторая система захвата изображений захватывает, в по существу тот же самый момент времени, частичное изображение по меньшей мере участка обзорной зоны, с избыточностью, существующей между обзорными изображениями, и избыточностью, существующей между частичными изображениями.

В показателях избыточности, в одном из вариантов осуществления, избыточность в обзорных изображениях является большей, чем 10, тогда как избыточность в частичных изображениях является меньшей чем или равной 10. В еще одном варианте осуществления, избыточность в частичных изображениях приближается к нулю. В еще одном другом варианте осуществления, избыточность частичных изображений иногда является меньшим, чем ноль, (отрицательным), указывая промежутки в захваченных изображениях. Вследствие высокой избыточности в обзорных изображениях, промежутки в частичных изображениях могут воссоздаваться или заполняться благодаря обработке последовательных изображений.

Как будет приниматься во внимание специалистом в данной области техники, степень избыточности может меняться в зависимости от режима работы или условий, в которых собираются изображения. При плохой видимости или быстро изменяющихся режимах работы, степени избыточности будет необходимо быть крайне высокой. Например, в туманных/запыленных условиях, или в подводных применениях, решение может смещаться к большей избыточности. Это может достигаться благодаря различным механизмам, в том числе, использованию большего количества обзорных камер, или посредством наличия в распоряжении более частого захвата изображений (даже приближающегося к частотам кадров видеосъемки). В случае подводных применений, многочисленные датчики 270°, работающие на близкой к видеосъемке частоте, могли бы использоваться для сбора изображений обзорного типа с очень высокой избыточностью наряду с тем, что одиночная камера могла бы использоваться для съемки изображений очень высокого разрешения/низкой избыточности. Наоборот, в режиме работы, который меньше меняется со временем (например, наблюдение всей планеты из космоса), степень избыточности в обзорных изображениях могла бы быть уменьшена.

В одном из применений, обзорные и частичные изображения собираются одновременно, отсюда, гарантируя, что избыточные изображения содержать в себе достаточное количество потенциальных общих признаков, общих элементов, общих точек или элементов изображения, и минимизируя эффекты перемещений объектов или изменений в освещении. В еще одном варианте осуществления, обзорные и частичные изображения захватываются из приблизительно одного и того же местоположения. В еще одном другом варианте осуществления, обзорные и частичные изображения захватываются одновременно из приблизительно одного и того же местоположения.

В одном или более вариантов осуществления настоящих системы и способов, системы/подсистемы захвата изображений используют цифровые камеры. В одном или более вариантов осуществления, цифровые камеры являются основанными на КМОП камерами или датчиками. В альтернативном варианте осуществления, используется щеточный датчик большого охвата, а в еще одном другом варианте осуществления, щеточный датчик малого охвата используется для захвата изображений. Могут использоваться другие механизмы для захвата изображений как обзорных, так и частичных изображений, в том числе, но не в качестве ограничения, аналоговые пленочные системы, точечные или линейные сканеры, матрицы формирования сигналов изображения на ПЗС (приборах с зарядовой связью, CCD), другие основанные на III-V или II-VI устройства формирования изображений, ультразвуковые формирователи изображений, инфракрасные (термографические) формирователи изображений. Формирователи изображений действуют на основе приема электромагнитных излучений и могут работать в инфракрасном, видимом или других частях электромагнитного спектра. Широкоформатная или сложная линза, множественный детектор или системы множественного детектора/сложной линзы, такие как описанные в патенте США под № 7,009,638 на Грубера и других и патенте США под № 5,757,423 на Танаку и других, полные раскрытия которых включены в материалы настоящей заявки посредством ссылки, также могут использоваться для захвата обзорных или частичных изображений. Дополнительно, многочисленные системы сбора изображений, такие как многокамерная интегрированная цифровая система сбора данных MIDAS), предлагаемая корпорацией TRACK'AIR, и другие системы, сконфигурированные для выдачи частичных метрических наклонных видов, могут быть переняты для и включены в настоящие способы и системы.

В одном или более вариантов осуществления настоящих системы и способов, система/подсистема синхронизации используется для формирования сигналов захвата изображений, которые подаются в системы/подсистемы захвата изображений и вызывают захват обзорных и частичных изображений. В одном или более вариантов осуществления, система/подсистема синхронизации основана на микроконтроллере или микропроцессоре с надлежащим программным обеспечением, микропрограммным обеспечением и сопутствующими аппаратными средствами для формирования электронных или оптических сигналов, которые могут передаваться через кабельную сеть или через пространство (например, беспроводным образом) в системы/подсистемы захвата изображений. В качестве альтернативы, специализированное электронное аппаратное устройство, работающее вместе с навигационной системой, такой как основанная на GPS навигационная система, или в одиночку, может действовать в качестве системы/подсистемы синхронизации для формирования сигналов захвата изображений. В одном или более вариантов осуществления, сигналы захвата изображений формируются в системном контроллере в виде компьютера (например, портативного компьютера или компьютера повышенной защищенности) и принимаются цифровыми камерами, которые образуют системы формирования изображений для обзорных и частичных камер. Есть обязательно присущая асимметрия в передаче сигналов по кабелям (типично, имеющих разные длины) и задержках, присущих цифровым камерам, так что есть отклонения фактического времени захвата изображений, хотя использование одного или более синхронизированных сигналов захвата изображений имеет следствием по существу одновременный захват изображений.

В одном или более вариантах осуществления, сигнал захвата изображений является односторонним сигналом, происходящим из системы/подсистемы синхронизации, и не нужны никакие обратные сигналы из систем/подсистем захвата изображений. Подобным образом, данные захвата изображений могут сохраняться локально в устройствах формирования изображений (например, цифровых камерах), и никаким данным изображений не нужно возвращаться из устройств формирования изображений в контроллер или другие устройства хранения данных. Хранилище данных, используемое для сохранения изображений, включает в себя, но не в качестве ограничения: устройства твердотельной памяти, такие как флэш-память, статическое оперативное запоминающее устройство (статическое ОЗУ, SRAM), динамическое оперативное запоминающее устройство (DRAM); магнитные запоминающие устройства, в том числе, но не в качестве ограничения, ленты, магнитные барабаны, память на магнитных сердечниках, память на петлевых магнитных сердечниках, тонкопленочную память, твисторную память и память на цилиндрических магнитных доменах; электромагнитные запоминающие устройства, в том числе, но не в качестве ограничения, накопители на жестких дисках или дисковые приводы и приводы гибких дисков; оптические запоминающие устройства, в том числе, но не в качестве ограничения, фотопленку, голографические устройства памяти и голограммы, и оптические диски; и магнитооптические приводы и устройства хранения данных.

Фиг. 1 - структурная схема примерной системы 100, совместимой с некоторыми аспектами, имеющими отношение к настоящим способам и системам. Со ссылкой на фиг. 1, система 100 может содержать первую систему 110, которая получает по меньшей мере одно обзорное изображение 112, и вторую систему 120, которая получает частичные изображения 122, 123, 126. Система может быть ориентирована в системе координат x-y, как проиллюстрировано на фиг. 1 и в соответствии с осью 115 x и осью 114 y. В одном из вариантов осуществления, устройства захвата изображений (например, камеры) выполнены с возможностью захватывать частичные изображения 122, 124, 126 полосами вдоль частичной оси 130, причем, частичная ось 130 в целом параллельна с осью 114 y.

Первая и вторая системы 110 и 120 каждая может включать в себя одно или более устройств захвата изображений, например, камер (на всем протяжении этого раскрытия, широкий термин «устройство захвата изображений» часто указывается ссылкой как «камера» с целью удобства, а не ограничения). Более того, массив формирования изображений может быть создан благодаря компоновке отдельных датчиков, которые используются для захвата изображения, и может действовать в качестве отдельного устройства захвата изображений или камеры. Отдельные камеры или устройства захвата изображений могут быть скомпонованы в линейной компоновке, скомпонованы вдоль оси и установлены под переменными углами для захвата разных зон местности, либо скомпонованы в форме матрицы или массива (строк и столбцов). Когда скомпонованы, из условия чтобы устройства захвата изображений захватывали смежные или ближайшие зоны изображения, перекрывающиеся или не перекрывающиеся, устройства могут считаться скомпонованными смежным образом.

В одном из вариантов осуществления, первая система 110 и вторая система 120 перемещаются в направлении x, причем, изображения периодически захватываются, из условия, чтобы высокая степень перекрытия создавалась в последовательных обзорных изображениях, захватываемых первой системой 110, и меньшая степень перекрытия создавалась в последовательных частичных изображениях, захватываемых второй системой 120. В некоторых вариантах осуществления, обзорные изображения имеют более низкое разрешение, чем частичные изображения, для того чтобы создавать высокую избыточность в пределах обзорных изображений, не создавая излишнюю потребность хранения и обработки данных.

Как проиллюстрировано на фиг. 1, вследствие физической компоновки систем формирования изображений или камер, частичное изображение 122 имеет некоторое перекрытием с частичным изображением 124, а частичное изображение 124 имеет некоторое перекрытие с частичным изображением 126 в направлении частичной оси 130. Как будет пониматься специалистом в данной области техники, перемещение первой системы 110 и второй системы 120 вдоль оси 115 x с периодическим захватом изображений предусматривает, чтобы ряд или полоса местности изображалась в частичных изображениях 122, 124 и 126 с перекрытием, гарантирующим, что частичные изображения захватывают непрерывную полосу, соответствующую ряду местности. Передвижение или перемещение первой системы 110 и второй системы 120 наряду с периодическим захватом изображений имеет результатом захват непрерывных полос/рядов, имеющих первую степень переднего перекрытия на уровне частичных изображений, и захват обзорных изображений, имеющих вторую степень переднего перекрытия, вторая степень перекрытия является более высокой, чем первая степень перекрытия.

В альтернативных вариантах осуществления, первая система 110 и вторая система 120 перемещаются вдоль оси 114 y. В еще одном другом варианте осуществления, система 110 перемещается отдельно от второй системы 120. В еще одном варианте осуществления, обзорное изображение 112 и частичные изображения 122, 124 и 126 захватываются в отдельные моменты времени из первой системы 110 и второй системы 120, соответственно.

Кроме того, первая и вторая системы 110, 120 могут включать в себя массивы цифровых устройств захвата изображений, такие как каскадные или смежные группы многочисленных камер, установленных на жестких или полужестких креплениях. Рядовые специалисты в данной области техники будут принимать во внимание, что такие детали установки являются примерными. Например, термин система жесткой или полужесткой установки может описывать любое устройство, способное к точному определению относительного положения системы формирования изображений, такой как одиночная камера или множество камер. Такая система установки может быть сконструирована некоторым количеством способов. Например, система установки может состоять из жесткой конструкции, такой как устанавливающая камеры в подвесной корпус; она может содержать камеры, удерживаемые в независимых, но точных положениях относительно друг друга, такие как камеры, установленные в многочисленных раздельных надземных или спутниковых системах с локальными системами привязки для определения относительного позиционирования камер между спутниками. В качестве альтернативы, первая система 110 может состоять из массива формирования изображений низкого разрешения, а вторая система 120 может состоять из одного или более массивов формирования изображений высокого разрешения, с компоновкой и формированием изображений массивов, выбранными, из условия чтобы массив формирования изображений низкого разрешения первой системы 110 захватывал обзорное изображение 112, а массивы формирования изображений высокого разрешения захватывали частичные изображения 122, 124 и 126.

Система 100 по фиг. 1, таким образом, является примерной, что касается различных конфигураций, которые могут быть представлены между или среди систем 110, 120 и/или их устройств захвата изображений. Например, фиг. 2A-2B - структурные схемы, иллюстрирующие отличающиеся компоновки первой системы 110 и второй системы 120, совместимые со способами и системами, раскрытыми в материалах настоящей заявки. На обеих фиг. 2A и 2B, системы 210A и 220A формирования изображений используются первой системой 110 и второй системой 120 соответственно. Фиг. 2A иллюстрирует реализацию, в которой первая система 110 и вторая система 120 расположены в одном постоянном местоположении, таком как на воздушной платформе, или на летательном аппарате, в том числе, без ограничения, летательном аппарате с неподвижным крылом или вертолете, на спутнике или в или на мореходном судне, таком как корабль, подводная лодка или другое подводное судно. В этом варианте осуществления, первая система 110 и вторая система 120 расположены друг возле друга и перемещаются вместе. В других применениях, очень близко расположенные первая система 110 и вторая система 120 используются для наземных наблюдений, наблюдений земля-небо, формирования подводных изображений или формирования микроскопических изображений.

Фиг. 2B иллюстрирует вариант осуществления, в котором первая система 110 расположена отдельно от второй системы 120. В этом варианте осуществления, первая и вторая системы удерживаются независимыми, но местоположения двух (или более) систем относительно друг друга точно известны или рассчитываются. В физической конструкции это может достигаться благодаря жесткой установке, такой как в подвесном корпусе. В качестве альтернативы, отслеживание относительного положения между первой системой 110 и второй системой 120 будет предоставлять возможность для использования двух совершенно независимых платформ. В одном из вариантов осуществления, первый летательный аппарат или другой тип транспортного средства может создавать обзорные изображения с использованием первой системы 110, наряду с тем, что второй летательный аппарат или другой тип транспортного средства может создавать частичные изображения с использованием второй системы 120. Навигационные системы или системы инерциального наведения могут использоваться для определения относительного позиционирования систем. В еще одном другом варианте осуществления, системы установлены в многочисленных отдельных спутниковых системах с системой локальной привязки, используемой для определения относительного позиционирования камер между спутниками.

Фиг. 3 - структурная схема еще одной примерной системы, совместимой с некоторыми аспектами, имеющими отношение к нововведениям в материалах настоящей заявки. Как показано на фиг. 3, единая платформа или модуль 310 может включать в себя или воплощать обе, первую систему 110 и вторую систему 120. Единая платформа может быть любой компоновкой или конфигурацией, в которой первая система и вторая система скреплены и могут перемещаться или передвигаться вместе. Согласно дополнительным реализациям, платформа 310 также может включать в себя различные компоновки и/или массивы первых и вторых устройств захвата изображений или камер. Что касается фиг. 3, системы 210A и 210A' захвата изображений представляют собой первые системы формирования изображений, которые захватывают обзорные изобретения с первым разрешением. Количество систем захвата изображений, которые захватывают обзорные изображения с первым разрешением, может быть расширено, как проиллюстрировано системой 210AM захвата изображений, и, по существу, множество камер или других устройств формирования изображений может использоваться для создания обзорных изображений 112. В одном из вариантов осуществления, каждая из первых систем 210A, с 210A' по 210AM формирования изображений используется для получения полного обзорного изображения 112, в то время как, в альтернативном варианте осуществления, системы 210A, с 210A' по 210AM формирования изображений скомпонованы для съемки сегментов обзорного изображения 112 и, по существу, поддерживают сборку полного обзорного изображения. В одном из вариантов осуществления, первые системы 210A, с 210A' по 210AM формирования изображений скомпонованы вдоль частичной оси 130. В альтернативных вариантах осуществления, первые системы 210A с 210A' по 210AM формирования изображений скомпонованы вдоль оси 115 x, в форме массива, или в любой другой компоновке, которая предусматривает, чтобы покрытие обзорной зоны захватывалось в обзорном изображении 112. Как обсуждено ранее, компоновки и/или массивы устройств формирования изображений могут быть сконфигурированы для создания каскада систем формирования изображений, создающих спектры разрешений с избыточностью, обычно уменьшающейся с увеличением разрешения.

Вновь со ссылкой на фиг. 3, частичные изображения 122, 124 и 126, имеющие более высокое разрешение, чем обзорное изображение 112, захватываются вторыми системами 220A, 220A' и 220AN формирования изображений, соответственно. В одном из вариантов осуществления, частичные изображения 122, 124 и 126 являются перекрывающимися частичными изображениями, выровненными вдоль частичной оси 130, частична ось 130 является по существу параллельной оси 114 y. В других вариантах осуществления, вторые системы 220А, 220А' и 220AN формирования изображений все скомпонованы вдоль оси 115 x, в форме массива, или любом другом перекрывающемся или неперекрывающемся формате, который предоставляет возможность для захвата частичных изображений, таких как частичные изображения 122, 124 и 126.

В одном из вариантов осуществления, первые системы 210A, с 210A' по 210AM формирования изображений и вторые системы 220A, 220A' и 220AN формирования изображений все основаны на одном и том же типе системы формирования изображений, таком как цифровая камера, работающая в видимой части спектра. В альтернативном варианте осуществления, отдельные системы формирования изображений в пределах первых систем 210A, с 210A' по 210AM формирования изображений и вторых систем 220A, 220A' и 220AN формирования изображений являются разными. Например, первая система 220A формирования изображений может работать в видимой области спектра, наряду с тем, что система 220A' формирования изображений может работать в инфракрасной части спектра. Подобным образом, вторые системы 220A, 220A' и 220AN формирования изображений могут быть разных типов (например, видимого или инфракрасного) и могут быть организованы, из условия чтобы частичное изображение 122 захватывалось дважды или большее количество раз, один раз каждой из двух или более систем формирования изображений. Как будет пониматься специалистом в данной области техники, частичные изображения 122, 124 и 126 могут захватываться многочисленными типами систем формирования изображений (например, видимым или инфракрасным), или с каждым частичным изображением, захватываемым одиночным типом системы формирования изображений.

Со ссылкой на фиг. 4, раскрыт единый модуль 400, включающий в себя первую обзорную камеру 410A, стягивающую первый обзорный вид 411A камеры, вторую обзорную камеру (не показанную на фиг. 4), стягивающую второй обзорный вид 411B камеры, первую частичную камеру 420A, стягивающую первый частичный вид 421A, вторую частичную камеру 420B, стягивающую второй частичный вид 421B камеры, третью частичную камеру 420C, стягивающую третий частичный вид 421C камеры, четвертую частичную камеру 420D, стягивающую четвертый частичный вид 421D камеры, пятую частичную камеру 420E, стягивающую пятый частичный вид 421E камеры, шестую частичную камеру 420F, стягивающую шестой частичный вид 421F камеры, седьмую частичную камеру 420G, стягивающую седьмой частичный вид 421G камеры, восьмую частичную камеру 420H, стягивающую восьмой частичный вид 421H камеры, девятую частичную камеру 420I, стягивающую девятый частичный вид 421I камеры, десятую частичную камеру 420J, стягивающую десятый частичный вид 421J камеры, и одиннадцатую частичную камеру 420K, стягивающую одиннадцатый частичный вид 421K камеры. Локальное хранилище данных может использоваться каждой камерой, таким образом, устраняя необходимость записывать обратно в центральную память или место хранения. Локальное хранилище данных может состоять из любого типа цифровой памяти, в том числе, но не в качестве ограничения, флэш-памяти или другого типа энергонезависимой памяти, энергозависимой памяти и ассоциативно связанных систем для удерживания информации в такой памяти, дисковых приводов или других типов цифровых запоминающих носителей или систем. В качестве альтернативы, камеры могут совместно использовать локальную память. Что касается последнего, некоторые из нововведений в материалах настоящей заявки включают в себя признаки сжатия и/или хранения изображений в ассоциативно связи с каждой камерой, предпочтительнее, чем требование, чтобы снятые фотографии передавались в или сохранялись в центральной системе хранения. Параллельное сжатие и сохранение фотографий каждой камерой увеличивает максимальную пропускную способность и объем хранения для системы камер, что предоставляет топографическим съемкам местности подвергаться пролету с более быстрой скоростью, давая возможность сохраняться большему количеству данных, времени полета возможность увеличиваться. Такое параллельное сжатие и сохранение каждой камерой также увеличивает надежность хранения, так как оно предоставляет возможность использования памяти типа Compact Flash или другим твердотельным носителям с каждой камерой.

Существующие цифровые системы формирования изображений типично хранят необработанный линейный датчик в качестве данных от 12 до 16 бит, сохраняемых в центральную систему хранения. В противоположность, посредством выполнения сжатия параллельно в каждой камере, данные могут преобразовываться в пространство коэффициента контрастности и цвета, такое как YCbCr. Это предоставляет данным возможность храниться в качестве 8-битных данных, поскольку увеличенная битовая глубина типично необходима только для необработанных линейных данных и, кроме того, предоставляет возможность сжатия данных перед сохранением в хранилище данных каждой камеры. Преобразование в пространство коэффициента контрастности и цвета и сжатие могут дать возможность приблизительно 10-кратного снижения требований к объему запоминающего устройства. Например, в системе, имеющей 14 камер, каждая со своей собственной картой памяти 32 Гбайт типа Compact Flash, всего 448 Гбайт запоминающего устройства могут быть эквивалентны более чем приблизительно 4500 Гбайт или 4,5 Тбайт запоминающего устройства необработанных несжатых фотографических данных. Параллельная работа устраняет необходимость передавать данные изображения или любые другие сигналы из камер в компьютерную систему управления полетом и, по существу, увеличивать скорость захвата для системы камер, таким образом, снижая требования к постобработке и увеличивая надежность снижением требований к прокладке кабеля и передаче сигналов.

Подсистема синхронизации плана полета и захвата изображений может использоваться для формирования одного или более сигналов захвата, которые должны отправляться на камеры, такие как проиллюстрированные на фиг. 4. В одном из вариантов осуществления, одиночный сигнал захвата отправляется из подсистемы синхронизации плана полета и захвата изображений на каждую камеру. Однако, различия в длинах кабелей, времени задержки в камере и другие переменные могут иметь следствием фотографии, снимаемые в немного разные моменты времени. Более того, локальные тактовые генераторы камер могут быть неточными или демонстрировать дрейф.

В одном из вариантов осуществления, цифровые камеры, типично содержащие в себе массивы КМОП-датчиков формирования изображений, используются для захвата обзорных и частичных изображений. В альтернативном варианте осуществления, щеточные датчики большого охвата, состоящие из линейного массива оптических датчиков, могут

использоваться для захвата частичных изображений и служить в качестве системы захвата частичных изображений. В еще одном варианте осуществления, щеточный датчик малого охвата или датчик светового пятна может использоваться для формирования частичных изображений. При использовании щеточного датчика малого охвата, основанный на зеркалах или другой тип системы сканирования создает изображение посредством создания изображения одиночного пятна на датчике. Система сканирования может быть объединена с системой синхронизации и навигационной системой, из условия чтобы частота сканирования надлежащим образом синхронизировалась с прямым движением транспортного средства, несущего системы камер, и создает частичное изображение с надлежащим разрешением.

Рядовой специалист в данной области техники будет принимать во внимание, что количества (то есть, обеих камер и массивов) цифровых камер могут настраиваться, чтобы предусматривать требуемые результаты изображения. Преимущества, совместимые с такими реализациями, включат в себя способность конфигурировать и/или реконфигурировать модуль 400 под разные требования к топографической съемке местности, такие как сбор вертикальных или наклонных (высоких или низких) изображений, или их комбинации. Как понимается специалистом в данной области техники, вертикальные изображения или фотография являются теми, которые снимаются с осью камеры, направленной как можно ближе к вертикали, тогда как наклонные изображения или фотографии указывают ссылкой на такие изображения или фотографии, снятые с осью камеры, намеренно наклоненной от вертикали. К тому же, специалист в данной области техники будет понимать, что высокие наклонные изображения или фотографии обычно включают в себя горизонт, тогда как низкие наклонные изображения или фотографии обычно не включают в себя горизонт.

Со ссылкой на фиг. 4, множество камер может быть скомпоновано в едином модуле 400, из условия чтобы камеры в целом выстраивались в ряд вдоль оси 450 модуля. В одном из вариантов осуществления, ось 450 модуля по существу параллельна оси 115 x фиг. 3, которая типично находится в направлении прямого перемещения летательного аппарата или другого транспортного средства. В этом варианте осуществления, частичная ось 130 (не показанная на фиг. 4) по существу перпендикулярна модульной оси 450, а частичные камеры выполнены с возможностью создавать ряд формирования изображений, который по существу параллелен оси 114 y по фиг. 3.

Фиг. 8A и 8B дают примеры подробностей компоновок камер, которые могут использоваться в одном из вариантов осуществления. Специфичные примеры, раскрытые в материалах настоящей заявки, не должны приниматься в качестве ограничения и никоим образом не должны ограничивать использование способов и систем, раскрытых в материалах настоящей заявки, которые могут применяться к многим типам и конфигурациям систем формирования изображений. Например, хотя примерные подробности компоновки приводят в качестве ссылки оборудование Canon или Nikon, могут использоваться другие типы оборудования формирования изображений или их комбинации, или разные комбинации групп камер, компоновок или линз. В одном из вариантов осуществления, камеры группируются, из условия чтобы обзорные камеры (камеры торговой марки Canon или Nikon) состояли из вертикальной обзорной камеры в виде камеры с линзой 28 мм, указывающей вертикально вниз, как отмечено в таблице I по фиг. 8A, и задней обзорной камеры с линзой 28 мм, указывающей назад (или противоположно направлению перемещения летательного аппарата или другого транспортного средства) под углом 35 градусов от вертикали. В этом варианте осуществления, камеры высокого разрешения Canon состоят из вертикальной группы из пяти камер с линзами 200 мм и с разнесением группы -19°, -9,5°, 0°, 9,5°, 19° и 28,5°; боковая наклонная группа состоит из трех камер, имеющих линзы 200 мм и разнесение группы 38°, 47,5°, 57°; и задняя наклонная группа состоит трех камер с линзами 135 мм с разнесением группы -14,5°, 0°, 14,5°, отклоненной на 50° от вертикали. В случае камер высокого разрешения Nikon, вертикальная группа из 6 камер, имеющих линзы 180 мм, имеет разнесение группы -21°, -10,5°, 0°, 10,5°, 21°, 31,5°; боковая наклонная группа из 3 камер, имеющих линзы 180 мм, имеет разнесение группы 42°, 52,5° и 63°; и задняя наклонная группа из 3 камер имеет линзы 135 мм с разнесением группы -14,5°, 0°, 14,5°, отклоненные на 50° от вертикали.

В альтернативном варианте осуществления, первый набор камер сконфигурирован широкоугольными линзами и используется для захвата фотографий с очень большой величиной перекрытия, такой как 50/99 (50% бокового и 99% переднего). Фотографии, снятые этими камерами, покрывают большую площадь на каждую фотографию, и высокая степень перекрытия и избыточности дает в результате общие признаки, общие элементы, общие точки или точки элементов изображения, являющиеся видимыми на много большем количестве фотографий, чем у предшествующих систем, таким образом, давая возможность точного определения внутреннего и внешнего ориентирования, даже без использования стабилизированной платформы. Второй набор камер может быть сконфигурирован линзами с более длинным фокусным расстоянием и использоваться для захвата частичных изображений, чтобы формировать частичные фотокарты для топографической съемки местности. Низкая величина перекрытия используется в этих камерах, для минимизации избыточности и для максимизации использования получения фотографических изображений для частичной топографической съемки местности, значительно снижая общие затраты и время, требуемое для завершения топографической съемки местности.

Фиг. 5A иллюстрирует одну из примерных реализаций, включающих у себя наружную подвеску, установленную на небольшом однодвигательном летательном аппарате 510. Со ссылкой на фиг. 5A, в одном из вариантов осуществления изобретения, камеры для системы камер установлены в подвесном или съемном корпусе 250, который служит в качестве единого модуля 400. По существу, можно использовать систему камер на стандартном малом летательном аппарате 510, таком как Cessna 210, не требуя модификаций в отношении корпуса летательного аппарата. Фиг. 5B иллюстрирует примерную реализацию системы захвата изображений. Как показано на фиг. 5B, подвесной или съемный корпус 520 может включать в себя множество обзорных и частичных камер 410 и 420, которые могут быть сгруппированы или скомпонованы, как описано ранее и в отношении фиг. 4, 8A и 8B. Реализации, как показанные на фиг. 5A и 5B, дают высокую точность, не требуя стабилизированной установочной платформы, а также дают возможность достаточного снижения веса и размера, предоставляющего системе камер возможность устанавливаться на беспилотном летательном аппарате (БПЛА, UAV).

Полетные топографические съемки местности могут выполняться на разных высотах и с разными временами полета, с разными результирующими разрешениями. Например и в соответствии с конфигурациями камер, проиллюстрированными на фиг. 8A и 8B, полетная топографическая съемка местности, выполняемая 1-ой вертикальной камерой Canon 1Ds MkIII с линзой с фокусным расстоянием 28 мм и 5 вертикальными камерами Canon 1Ds MkIII с линзами с фокусным расстоянием 200 мм на высоте 8000 футов, может формировать данные для заключительной фотокарты с разрешением 7,5 см. В этом примере, со скоростью захвата 330 км²/ч, типичный большой город 50 км × 40 км может быть снят за пролетное время 6 часов.

В еще одном варианте осуществления, в соответствии с конфигурациями камер, проиллюстрированными на фиг. 8C, с 1 вертикальной обзорной камерой Canon 1Ds MkIII с линзой в фокусным расстоянием 28 мм и 9 частичными камерами Canon 1Ds MkIII с линзами с фокусными расстояниями 300 мм и на высоте 10000 футов, может быть получена скорость захвата 500 км²/ч, давая в результате пролетное время 4 часа для съемки типичного большого города 50 км × 40 км с результирующим разрешением 6,5 см.

Более высокие разрешения могут захватываться с использованием тех же самых вариантов осуществления, обсужденных выше, или в других вариантах осуществления посредством использования более длительных пролетных времен (например, разрешение 3,5 см, захватываемое при полетной топографической съемке местности 9 часов) на более низких высотах. Вышеупомянутые полетные топографические съемки местности являются всего лишь показательными примерами и не даются для ограничения объема изобретения, которое может быть осуществлено на практике при обширном многообразии условий. Для подводных применений, высота может пониматься, чтобы быть сравнимой с расстоянием над дном океана.

Как будет принято во внимание специалистом в данной области техники, различные конфигурации систем формирования изображений могут использоваться с отличающимися зависимостями между высотой и разрешением, все такие конфигурации находятся в пределах сущности и объема изобретения. В одном из вариантов осуществления, разрешение 1 см создается для каждых 1000 футов высоты (например, разрешение 3 см на высоте 3000 футов, разрешение 7 см на высоте 7000 футов). Во втором варианте осуществления, разрешение точки на местности в см является высотой в футах, поделенной на 900. В третьем варианте осуществления, разрешение точки местности в см является высотой в футах, поделенной на 800, а в четвертом варианте осуществления, разрешение на местности в см является высотой в футах, деленной на 2000.

Со ссылкой на фиг. 5C, проиллюстрировано использование способа и системы в одном из вариантов осуществления, в котором летательный аппарат 510 оборудован подвесным или съемным корпусом 520 и перемещается на заданной высоте h 530 (представленной вдоль оси 117 z), со скоростью v 532, перемещение в целом выполняется в плоскости x-y, которая определена осью 115 x и осью 114 y.

Фиг. 5D - план полета для топографической съемки местности в плоскости x-y, такой план полета имеет первый длинный сегмент 560, сопровождаемый разворотом 564, сопровождаемым возвратным длинным сегментом 568. Повторные комбинации длинных сегментов, разворотов и возвратных длинных сегментов могут использоваться для создания плана полета для зоны топографической съемки местности.

Способ и система, описанные в материалах настоящей заявки, также могут включать в себя систему/подсистему плана полета и синхронизации, которая формирует план полета, пригодный для формирования фотокарты конкретной зоны, а также для ввода сигналов, указывающих системам захвата обзорных и частичных изображений, какие соответственные изображений должны захватываться. В одном из вариантов осуществления, план полета содержит в себе параметры, такие как высота, направление перемещения, скорость полета, точки траектории перемещения и местоположения разворотов. Как будет пониматься специалистом в данной области техники, план полета предписывает пилоту (или транспортному средству в случае беспилотного или автоматически управляемого аппарата) лететь по схеме, которая предоставляет возможность создания изображений, имеющих надлежащую степень бокового перекрытия. Хотя перекрытие в переднем направлении регулируется синхронизацией сигналов захвата изображений, перекрытие в боковом направлении, главным образом, регулируется траекторией летательного аппарата/транспортного средства по отношению к предыдущим параллельным траекториям в полете.

В одном из вариантов осуществления, система/подсистема плана полета и синхронизации принимает входные сигналы из навигационного оборудования, в том числе наземного базирования (например, VOR, LORAN) и спутниковых систем (например, GPS и WAAS), для определения местоположения. Сигналы, сформированные из инерциальных систем, могут использоваться вместе с сигналами определения местоположения для определения изменений скорости, а также изменений угла тангажа, угла рыскания и крена летательного аппарата. В одном из вариантов осуществления, быстрые изменения направления могут определяться с использованием микроэлектромеханических систем (MEMS). Как краткосрочные, так и долгосрочные отклонения от предложенного плана полета могут приниматься подсистемой синхронизации плана полета и захвата изображений для указания поправок в план полета или настройки сигналов захвата, отправляемых в системы захвата обзорных и частичных изображений.

В одном из вариантов осуществления, подсистема синхронизации плана полета и захвата изображений основана на персональном компьютере с дополнительным навигационным оборудованием (например, GPS, D- GPS), дисплеями и программами, который дает возможность разрабатываться плану полета и формирует сигналы синхронизации для захвата изображений, согласующиеся с требуемым перекрытием. В альтернативном варианте осуществления, специализированные аппаратные средства используются для разработки плана полета и формирования сигналов захвата изображений.

Фиг. 6A-6B - схемы, иллюстрирующие примерные представления обзорного и частичных изображений. Фиг. 6A показывает одно примерное представление, в котором многочисленные камеры сконфигурированы для максимизации количества данных 610 частичных изображений, полученных в уникальной (неперекрытой) зоне благодаря использованию многочисленных цифровых камер, наряду с гарантированием, что достаточное перекрытие существует между обзорными изображениями 612 для создания требуемой избыточности, чтобы дать возможность успешной переработки в фотокарты.

Представление по фиг. 6A, например, может достигаться с использованием одной обзорной камеры (например, смотрите ее показательные изображения 612, 616, 620, 624) для захвата внутреннего и внешнего ориентирования и одной группы из девяти камер, скомпонованных смежным образом для захвата полосы частичных фотографий 610, 614, 618, 622 или подучастков каждой обзорной фотографии на более высоком разрешении, чем обзорное разрешение. Как изложено выше, аспекты нововведений в материалах настоящей заявки могут включать в себя неподвижное или частично настраиваемое выравнивание камер в системе камер, которое предоставляет фотографиям возможность сниматься с минимальным перекрытием между частичными изображениями, формирующими полосу. Кроме того, изображения могут сниматься достаточно часто, чтобы гарантировать, что перекрытие существует между следующими изображениями, снимаемыми вдоль линии полета, и линии полета могут быть организованы, чтобы гарантировать, что есть перекрытие между полосами частичных изображений, взятых вдоль смежных линий полета. В отличие от существующих систем, где значительное перекрытие требуется для выполнения точной пакетной настройки, представленные нововведения дают использованию минимальной величины перекрытия возможность существовать между последующими, следующими или смежными полосами частичных изображений, которой необходимо быть достаточной, только для более позднего выполнения создания бесшовной фотокарты. Как результат, избыточность, требуемая для полосы фотографий из частичных камер, является гораздо меньшей, чем у существующих систем, что значительно снижает время и затраты топографической съемки местности.

Более того, столько дополнительных частичных камер, сколько требуется, могут быть сконфигурированы смежными или каскадным образом для захвата частичных подучастков обзорных изображений для специальных видов, таких как надирные надземные (вертикальные) изображения или наклонные изображения, с разных углов визирования. Эти изображения могут впоследствии обрабатываться для создания соответствующих надирных надземных фотокарт или наклонных фотокарт. Так как одиночная цифровая камера может не иметь достаточного разрешения для захвата подучастка в достаточном разрешении для требуемой топографической съемки местности, группа частичных камер для специальной видовой перспективы может быть организована полосой для захвата более широкого ряда требуемой перспективы. Фиг. 7A-7B иллюстрируют дополнительные примерные представления обзорных и частичных изображений. Фиг. 7A иллюстрирует результаты трех смежных групп частичных камер, в которых пять камер создают изображения, соответствующие детализированному вертикальному виду (например, изображения 730, 730A-E), четыре камеры создают изображения, соответствующие детализированным левому и правому наклонным видам с чередующихся линий полета (например, изображения 740), и три камеры создают изображения, соответствующие детализированным переднему и заднему наклонным видам с чередующихся линий полета (например, изображения 750, 750A-C). Фиг. 7B иллюстрирует захват изображения в продолжение перемещения транспортного средства или летательного аппарата, при этом, многочисленные наклонные виды выдаются посредством пролета линий полета в переменных направлениях, например, получением четырех наклонных видов из двух групп наклонных камер.

Как обсуждено ранее в отношении фиг. 8A, 8B и 8C, конкретные типы камер могут быть геометрически скомпонованы, чтобы добиваться конфигураций формирования изображений, проиллюстрированных на фиг. 7A-7B. Специалист в данной области техники будет способен определить конфигурации, альтернативные раскрытым в материалах настоящей заявки, пригодные для захвата надземных данных с различных переносимых по воздуху транспортных средств или летательного аппарата, либо, в случае картографирования океанического дна, с мореходных суден.

Изображения, собранные с использованием настоящих способа и системы имеют перекрытие друг с другом, давая в результате появление точек, общих для двух или более изображений или фотографий. Такие точки могут указываться ссылкой как общие признаки, общие элементы, общие точки или общие элементы изображения, точки местности, характерные точки, характерные точки местности, точки привязки, стереопары или другие термины, указывающие ссылкой на повторное появление точки или объекта в множестве изображений. В некоторых случаях, точки могут содержать в себе объекты с известными местоположениями, такие объекты обычно указываются ссылкой как контрольные точки. Общие точки могут использоваться для разработки надлежащей аналитической стереомодели посредством этапов внутреннего ориентирования, взаимного ориентирования и абсолютного ориентирования. Внутреннее ориентирование обычно воссоздает геометрию, которая существовала в камере (или другой системе формирования изображений), когда снимались изображение или фотография. Аналитическое взаимное ориентирование является последовательностью операций определения относительной угловой высоты и позиционного смещения между фотографиями, которые существовали, когда снимались фотографии. Последовательность операций аналитического абсолютного ориентирования имеет результатом соотнесение координат контрольных точек по их трехмерным координатам в системе наземного базирования.

Вообще говоря, при условии набора изображений, изображающих некоторое количество точек с разных точек наблюдения, традиционный процесс пакетной настройки может использоваться для настройки всех фотограмметрических измерений под контрольные значения местности (точки местности или общие точки) в одиночном решении. Пакетная настройка может включать в себя определение координат пространства объектов у всех точек объектов и параметров внешнего ориентирования всех фотографий. Пакетная настройка одновременно уточняет оценки для положений точек местности и для внешнего и внутреннего ориентирования каждых фотографий. Положение точки местности идентифицируется в качестве признака в каждой фотографии. Потребность в пакетной настройке состоит в том, чтобы максимизировать среднее и максимальное количество фотографий, в которых может идентифицироваться точка местности. Если точка местности идентифицируется в слишком малом количестве фотографий, то решение не очень устойчиво и страдает как от точностных погрешностей, так и от повышенного риска грубых ошибок, где неправильно идентифицированные точки местности были использованы в пакетном решении. Пакетная настройка способна к уточнению фотографий, которые имеют разные ориентации, например, фотографии могут иметь разные косые углы или могут быть ориентированы вертикально. Дополнительная информация касательно пакетной настройки известна специалистам в данной области техники и находится в противопоставленных материалах, таких как «Elements of Photogrammetry with Applications in GIS, 3rd edition», by Paul Wolf and Bon Dewitt (McGraw Hill, 2000) («Элементы фотограмметрии с применениями в ГИС, редакция 3-я», от Паоло Вольфа и Бона Девитта (McGraw Hill, 2000 г.)), патент США под № 6,996,254 на Жанга и др. и «Bundle adjustment - a modem synthesis» by Bill Triggs, Philip McLauchlan, Richard Hartley and Andrew Fitzgibbon, appearing in Lecture Notes in Computer Science, vol. 1882 (Springer Verlag, January 2000) («Пакетная настройка - современный синтез», от Билла Триггса, Филиппа Мак-Лаучлана, Рихарда Хартли и Эндрю Физгиббона, фигурирующая в Lecture Notes в Computer Science, том. 1882 (Springer Verlag, январь 2000 г.)), все из которых включены в материалы настоящей заявки посредством ссылки.

В одном из вариантов осуществления, система захвата изображений установлена в или на летательном аппарате, чтобы снимать надлежащие необработанные изображения с использованием способов и систем, описанных в материалах настоящей заявки, и чтобы вести пилота летательного аппарата по правильным координатам. Фиг. 9 иллюстрирует примерный летательный аппарат, оборудованный необходимым оборудованием в соответствии с этим вариантом осуществления. Летательный аппарат 510 подготовлен подвесным или съемным корпусом 520, который жестко установлен на летательный аппарат 510. В одном из вариантов осуществления, установка выполняется посредством снятия двери летательного аппарата пассажирской стороны, и замены двери креплением двери/подвески.

Подвесной или съемный корпус 520 содержит в себе множество камер, как описано выше в отношении фиг. 4. В одном из вариантов осуществления, последовательность подвижных заслонок покрывают камеры в подвесном или съемном корпусе 520 для защиты камер во время участков полета, включая взлет и приземление. В одном из вариантов осуществления, датчики включены в заслонки камеры, из условия чтобы могло контролироваться состояние заслонок. В одном из вариантов осуществления, камеры и заслонки подвесного или съемного корпуса 520 присоединены к компьютеру 1000. В этом варианте осуществления, компьютер 1000 выполняет программное обеспечение, разработанное для управления и задействования элементов системы во время полета. Хотя изображен в качестве портативного компьютера, компьютер 1000 может быть любым компьютером, в том числе, портативным персональным компьютером повышенной защищенности, системой, встроенной в летательный аппарат, специализированным компьютером, переносным устройством, таким как персональный цифровой секретарь или сотовый телефон.

Со ссылкой на фиг. 9, компьютер 1000 присоединен к блоку 1010 глобальной системы определения местоположения (GPS), который вырабатывает обеспечение для отслеживания текущего местоположения самолета и регистрировать текущее местоположение в запоминающем устройстве на компьютере 1000. Блок 1030 управления камерами управляет массивом камер в подвесном или съемном корпусе 520, в том числе, отправляя сигналы для автоматической фокусировки и съемки фотографий. В варианте осуществления, проиллюстрированном на фиг. 10, блок 1010 GPS служит в качестве навигационной системы/подсистемы, в то время как компьютер 1000 служит в качестве системы/подсистемы синхронизации. В альтернативном варианте осуществления, компьютер 1000 включает в себя функциональные возможности навигационной системы и может включать в себя блок 1010 GPS. В еще одном другом варианте осуществления, специализированный блок имеет подсистемы, предусматривающие функции навигации и синхронизации.

Летный дисплей 1020 присоединен к компьютеру 1000 и, в одном из вариантов осуществления, отображает подробности полета. В альтернативном варианте осуществления, летный дисплей 1020 показывает состояние системы в целом, в том числе, состояние заслонок и активности камер при захвате изображений. Летный дисплей 1020 может быть монитором у персонального компьютера 1000, дополнительным внешним монитором или монитором, встроенным в летательный аппарат. Летный дисплей 1020 может быть монитором с сенсорным экраном и предусматривать ввод команд в систему. В качестве альтернативы, мышь, клавиатура или другое устройство ввода (не показано) могут использоваться для приема пользовательского ввода.

В одном из вариантов осуществления, система отображает многообразие информации для пилота летательного аппарата 510. Эта информация может отображаться на летном дисплее 1020, дисплее компьютера 1000 или другом дисплее, доступном пилоту. Система отображает линии полета предполагаемой зоны, определенные географические зоны и данные топографической съемки местности, которые определяют реальную зону в пределах карты для захвата.

Фиг. 10 иллюстрирует структурную схему для компьютера 1000, работающего вместе с контроллером 1120 и устройством 1122 GPS. В одном из вариантов осуществления, компьютер 1000 включает в себя по меньшей мере один порт 1100 универсальной последовательной шины (USB), который присоединен к концентратору 1112 USB. Концентратор 1112 USB имеет множество дополнительных портов USB, которые предусматривают, чтобы устройства присоединялись к и поддерживали связь с компьютером 1100. Порт 114 USB присоединен к контроллеру 1120. Как будет пониматься специалистом в данной области техники, другие типы шин, проводных или беспроводных, последовательных или параллельных, могут использоваться для межсоединения компонентов по фиг. 10. В одном из вариантов осуществления, контроллер 1120 является блоком управления камерами (например, блоком 1030 управления камерами) и управляет камерой[ами] в подвесном или съемном корпусе 520, устанавливая команду 1130 автофокусировки и команду 1132 затвора в камере[ах]. Контроллер 1120 также осуществляет считывание с датчика 1134 заслонки, чтобы определять, открыты или закрыты заслонки, защищающие камеры в подвесном или съемном корпусе 520. Заслонка может открываться или закрываться при необходимости в ответ на считывание контроллером 1120 датчика 1134 заслонки. Устройство 1122 GPS присоединено к концентратору 1112 USB через USB-порты 1116, 1118. Устройство 1122 GPS считывает текущее географическое местоположение устройства и передает эти данные в компьютер 1000. Контроллеру 1120 дана возможность отправлять сигнал, побуждающий фотографию отбираться из съемного корпуса 520.

Варианты осуществления настоящего раскрытия могут быть реализованы любой комбинацией аппаратных средств и программного обеспечения. Если реализованы в качестве реализованного компьютером устройства, настоящее раскрытие реализуется с использованием средства для выполнения всех из этапов и функций, описанных выше.

Варианты осуществления настоящего раскрытия могут быть включены в изделие (например, один или более компьютерных программных продуктов), например, имеющее используемые компьютером или машинно-читаемые носители. Носители, например, имеют, воплощенные в них средство машинно-читаемой управляющей программы, включающее в себя машинно-исполняемые команды, для предоставления и содействия механизмам вариантов осуществления настоящего раскрытия. Изделие может быть включено в состав в качестве части компьютерной системы или продаваться отдельно.

Несмотря на то, что конкретные варианты осуществления изобретения были подробно описаны в вышеизложенном описании и проиллюстрированы на прилагаемых чертежах, специалистами в данной области техники будет принято во внимание, что различные модификации и альтернативные варианты для таких подробностей, могли бы быть разработаны в свете общих доктрин раскрытия и его обширных обладающих признаками изобретения концепций. Поэтому, понятно, что объем настоящего раскрытия не ограничен конкретными примерами и реализациями, раскрытыми в материалах настоящей заявки, но подразумевается покрывающим модификации в пределах их сущности и объема, как определено прилагаемой формулой изобретения, а также любые и все их эквиваленты.

Реферат

Изобретение относится к способу и системе создания бесшовной фотокарты области топографической съемки. Изображения захватываются из устройств формирования обзорных и частичных изображений с различной степенью избыточности. В указанных изображениях идентифицируют общие признаки, соответствующие общим точкам местности. В соответствии с положением указанных точек определяют внешнюю ориентацию, связанную с частичным изображением. В соответствии с определенными внешними ориентациями объединяют частичные в бесшовную фотокарту. Технический результат - увеличение площади и высоты съемки, снижение времени сбора данных, а также экономических затрат, снижение влияния на управление воздушным судном. 2 н. и 17 з.п. ф-лы, 18 ил.

Формула