Устройство и способ декодирования данных для обеспечения пролистываемого слайд-шоу и запоминающий данные носитель для них - RU2282254C2

Чертежи

Показать все 16 чертежа(ей)

Описание

Область, к которой относится изобретение

Настоящее изобретение относится к декодированию данных и, в частности, к декодирующему устройству и способу обеспечения пролистываемого слайд-шоу, а также к запоминающему данные носителю для них.

Уровень техники

Обычно данные изображения содержат значительное количество информации и, таким образом, данные изображения необходимо сжимать перед записью на записывающий носитель или передачей. Кодирование MPEG, которое санкционировано как ISO, так и IEC, очень широко использует способ сжатия и кодирования данных изображения. Аудиоданные, которые обычно кодируются вместе с данными изображения, сжимаются с помощью способа кодирования MPEG или фазы 3 аудиокодирования (АС-3). Временная информация, необходимая для синхронизации кодируемых данных изображения с кодируемыми аудиоданными, назначается для кодируемых данных изображения и кодируемых аудиоданных, а затем кодируемые данные изображения и кодируемые аудиоданные мультиплексируются.

В случае мультиплексированных видеоданных и аудиоданных эти видеоданные и аудиоданные разделяются на видеопакеты и аудиопакеты, соответственно. Каждый видео- или аудиопакет является массивом с заранее заданным числом битов. После этого дополнительная информация, такая как заголовок, прикрепляется к каждому видеопакету и аудиопакету. Затем видеопакеты и аудиопакеты перемешиваются и далее передаются с помощью временного разделения. Заголовок каждого видео- и аудиопакета включает в себя информацию, указывающую, является ли соответствующий пакет видеопакетом или аудиопакетом.

При синхронизации MPEG используется временная метка, которая содержит в себе временную информацию. Более конкретно, временная метка является видом тегом временного управления, прикрепленным к каждому модулю доступа видео- или аудиоданных для облегчения декодирования и воспроизведения видео- или аудиоданных. Другими словами, временная метка указывает, когда каждый модуль доступа видео- или аудиоданных будет декодироваться и воспроизводиться. Временная метка классифицируется как временная метка просмотра (ВМП) (PTS) или как временная метка декодирования (ВМД) (DTS), в соответствии с которой использован способ кодирования MPEG для кодирования видео- или аудиоданных.

ВМП является информацией временного управления, используемой при воспроизведении данных. Когда ВМП соответствует сигналу системной временной синхронизации (СВС) (STC), который является опорным сигналом синхронизации в опорном декодере системы MPEG, соответствующий модуль доступа воспроизводится и выводится.

ВМД, которая является информацией временного управления, используемой при декодировании данных, используется потому, что выходные последовательности битовых массивов видеоданных с кодированием MPEG являются в общем случае весьма уникальными. Другими словами, битовые массивы видеоданных с кодированием MPEG являются выходом в заранее заданном порядке изображениями «I» и «Р», за которыми следуют изображения «В». Таким образом, последовательность декодирования битовых массивов видеоданных с кодированием MPEG должна отличаться от последовательности воспроизведения битовых массивов видеоданных с кодированием MPEG. Если ВМП отличаются от ВМД, то ВМП и ВМД вместе загружаются в пакетные данные. В противном случае только ВМП загружается в пакетные данные.

Фиг.2 является блок-схемой устройства 200 кодирования MPEG. На Фиг.2 устройство 200 кодирования MPEG включает в себя видеокодер 210, аудиокодер 220, первый упаковщик 230, второй упаковщик 240, мультиплексор 250 программного потока и мультиплексор 260 транспортного потока.

Видеокодер 210 и аудиокодер 220 принимают и кодируют оцифрованные видеоданные и оцифрованные аудиоданные, соответственно.

Первый и второй упаковщики 230 и 240 пакетируют кодируемые видеоданные и кодируемые аудиоданные соответственно, тем самым генерируя пакеты пакетированного элементарного потока (ПЭП) (PES) соответственно.

Информация ВМП и информация ВМД прикрепляется к пакету данных ПЭП. Как описано выше, информация ВМП и информация ВМД используется для синхронизации их соответствующих данных изображения с другими данными. Информация ВМП определяет время, когда соответствующие ей данные изображения будут выходить, а информация ВМД определяет время, когда соответствующие ей данные изображения будут декодироваться. В общем случае, аудиоданные имеют только информацию ВМП, и в этом случае информация ВМП является такой же, как информация ВМД. Аудиоданные или видеоданные, к которым прикреплены информация ВМП и информация ВМД, пакетируются в данные полезной нагрузки.

Мультиплексор 250 программного потока и мультиплексор 260 транспортного потока мультиплексирует пакеты ПЭП, соответственно полученные первым и вторым упаковщиками 230 и 240 в программном потоке (ПП) (PS) и транспортном потоке (ТП) (TS), соответственно с различным идентификационными номерами, соответственно назначенными пакетам ПЭП. Мультиплексированный модуль программного потока, который используется в запоминающем данные носителе, является пакетом программного потока. Согласно стандартам видео DVD, программный поток мультиплексируется в блоки программного потока, каждый содержащий 2048 байтов.

Транспортный поток вводится для цифровых широковещательных приложений, в которых потери данных происходят с наибольшей вероятностью. Транспортный поток мультиплексируется в блоки транспортного потока, содержащие каждый 188 байтов. Увеличенное число прикладных программ, которые записывают цифровые широковещательные данные на запоминающий данные носитель, принимают транспортные потоки. В настоящим изобретении используются мультиплексированные транспортные потоки. Однако настоящее изобретение может также применяться для приложения, использующего программные потоки.

Как описано выше, транспортный поток представляет собой пакетированные данные, которые получаются пакетированием видео- или аудиоданных, и может быть передан через спутник, кабельную сеть или локальную вычислительную сеть (ЛВС) (LAN). Согласно стандарту ISO/IEC 13818-1 блок транспортного потока MPEG-2 состоит из 188 байтов. Согласно стандарту АТМ блок транспортного потока MPEG-2 содержит 53 байта.

В цифровом широковещании множество пакетных данных передается к принимающей стороне на нерегулярных интервалах. Как только они прибывают к принимающей стороне, каждое из множества пакетных данных обрабатывается буфером принимающей стороны, а затем декодируется декодером принимающей стороны так, чтобы пользователь мог смотреть цифровую широковещательную программу. Существует необходимость в воспроизведении пакетных данных в определенный пользователем момент времени после того, как пакетные данные сохраняются в носителе записи. Предполагается, что посылающая сторона передает пакетные данные принимающей стороне, полностью учитывая состояние буфера принимающей стороны. Однако, если посылающей стороне не удается передать пакетные данные так, что любая пара смежных пакетных данных среди множества пакетных данных не может быть передана с гарантированным достаточным временным интервалом между ними, то существует возможность переполнения или недозаполнения буфера пакетными данными. Поэтому временная информация, указывающая время, когда каждые из множества пакетных данных достигают записывающего устройства, должна быть добавлена к пакетным данным, а устройство воспроизведения должно выводить пакетные данные путем ссылки на эту временную информацию.

При записи пакетных данных, которые переданы в транспортном потоке на записывающий носитель, при воспроизведении пакетных данных с этого записывающего носителя, необходима «информация времени прибытия». Другими словами, записывающее устройство принимает пакетные данные, которые переданы на постоянных интервалах посылающей стороной. Записывающее устройство сохраняет пакетные данные на записывающем носителе. Записывающее устройство включает в себя счетчик, чтобы передавать пакетные данные, считанные с записывающего носителя информации, на декодер на таких же интервалах, на которых он принял пакетные данные. Счетчик управляется сигналом системной временной синхронизации с частотой 90 кГц или 27 МГц. Когда бы ни прибыли каждые из множества пакетных данных, счетчик назначает значение счетчика, то есть метку времени прибытия (МВП) (ATS), каждым из множества пакетных данных, а записывающее устройство записывает каждые из множества пакетных данных с их значением счетчика. Для того чтобы воспроизвести пакетные данные, записанные на записывающем носителе, счетчик передает каждые из множества пакетных данных декодеру путем ссылки на значение счетчика каждых из множества пакетных данных так, что каждые из множества пакетных данных могут передаваться декодеру на тех же самым интервалах, на которых они прибыли на счетчик. Этот тип счетчика называется счетчиком часов времени прибытия (ЧВП) (АТС). Поэтому данным, вводимым в записывающее устройство, дают метку времени прибытия, а затем записывают вместе с этой меткой времени прибытия на записывающем носителе. После этого данные воспроизводятся с записывающего носителя путем ссылки на прикрепленную к ним метку времени прибытия.

Фиг.3 иллюстрирует основной формат множества пакетных данных, к которым соответственно прикрепляются метки времени прибытия, и соотношение между временем, когда прибывают каждые из множества пакетных данных, и временем, когда каждые из множества пакетных данных выводятся для воспроизведения. На Фиг.3 множество пакетных данных А, В, С и D последовательно прибывают к записывающему устройству в моменты времени, представленные как 100, 110, 130 и 150, соответственно. Записывающее устройство назначает метки времени прибытия, имеющие значения 100, 110, 130 и 150, множеству пакетных данных А, В, С и D соответственно, и записывает множество пакетных данных А, В, С и D с их соответствующими метками времени прибытия. При воспроизведении множества пакетных данных А, В, С и D это множество пакетных данных А, В, С и D последовательно выводится в моменты времени, представленные как 100, 110, 130 и 150, соответственно, путем ссылки на их соответствующие метки времени прибытия.

Фиг.4 является диаграммой, иллюстрирующей структуру пакетных данных 400, записанных на записывающем носителе вместе с меткой времени прибытия. Пакетные данные 400 включают в себя метку 410 времени прибытия, метку 420 времени декодирования, метку 430 времени просмотра и видеоданные (или аудиоданные) 440.

Фиг.5 является блок-схемой традиционного декодирующего устройства, которое синхронизирует пакетные видеоданные с пакетными аудиоданными с помощью кодированной временной информации, такой как ВМП и ВМД. На Фиг.5 декодирующее устройство включает в себя обратный мультиплексор 510, видеодекодер 530, счетчик 550 СВС и аудиодекодер 570.

Обратный мультиплексор 510 мультиплексирует путем инверсии (демультиплексирует - прим. перев.) поступающий на него транспортный поток, передает пакетные видеоданные, которые получаются в результате демультиплексирования, на видеодекодер 530, и передает пакетные аудиоданные, которые получаются в результате демультиплексирования, на аудиодекодер 570.

Счетчик 550 СВС устанавливается программным эталоном тактирования (ПЭТ) (PCR), включенным в пакетные видеоданные или пакетные аудиоданные. Каждый из видеодекодера 530 и аудиодекодера 570 включает в себя буфер декодирования (не показан), который временно хранит пакетные данные, принятые из обратного мультиплексора 510. Когда пакетные данные, включая ПЭТ, вводятся в буфер декодирования, выходное значение счетчика 550 СВС устанавливается на то же самое значение, что и ПЭТ. Счетчик 550 СВС может быть выполнен как счетчик, который работает на частоте 90 кГц или 27 МГц.

Пакетные видеоданные вводятся в видеодекодер 530 счетчиком 550 СВС в момент времени, указанный информацией ВМД пакетных видеоданных, и затем декодируется видеодекодером 530. С другой стороны, пакетные аудиоданные, которые включают в себя только информацию ВМП, вводятся в аудиодекодер 570 счетчиком 550 СВС в момент времени, указанный информацией ВМП. Вскоре после ввода пакетных аудиоданных в аудиодекодер 570 они выводятся.

Вкратце, пакетные видеоданные или пакетные аудиоданные декодируются в момент времени, указанный информацией ВМД пакетных видеоданных или информацией ВМП пакетных аудиоданных, так что буфер декодирования, заполненный пакетными видеоданными или пакетными аудиоданными, опустошается. Видеоданные и аудиоданные, которые имеют одинаковые данные ВМП, выводятся в одинаковое время.

Как описано выше, видеоданные и аудиоданные могут быть синхронизованы друг с другом посредством управления декодированием и выводом видео- и аудиоданных со ссылкой на информацию ВМД видеоданных и информацию ВМП аудиоданных. Видеоданные и аудиоданные синхронизируются друг с другом сигналом тактирования, подаваемым счетчиком 550 СВС.

Один из способов отображения неподвижных изображений является слайд-шоу, в котором неподвижные изображения отображаются одно после другого каждое в течение заранее заданного интервала времени. Существует два различных вида слайд-шоу, то есть слайд-шоу, основанное на времени, и слайд-шоу с возможностью пролистывания. В процессе основанного на времени слайд-шоу неподвижных изображений, если пользователь выбирает обратный просмотр или прямой просмотр для воспроизведения конкретного предшествующего или последующего неподвижного изображения, воспроизведение аудиоданных, соответствующих текущему неподвижному изображению, останавливается. Аудиоданные, соответствующие конкретному предшествующему или последующему неподвижному изображению, затем воспроизводятся синхронно с конкретным предшествующим или последующим неподвижным изображением.

В дальнейшем, проблема прерывистого воспроизведения аудиоданных, когда выбирается обратный просмотр или прямой просмотр в процессе отображения неподвижных изображений в слайд-шоу, основанном на времени, будет подробно описана со ссылкой на фиг.6. Основной поток данных обычно включает в себя видеоданные, аудиоданные или данные субизображений. Слайд-шоу, основанное на времени, включает в себя данные неподвижного изображения, но не включает в себя аудиоданные.

На Фиг.6 каждое неподвижное изображение синхронизируется с соответствующими субаудиоданными с помощью информации ВМП, которая кодирует временную информацию. По мере воспроизведения неподвижных изображений значение счетчика СВС декодера постепенно увеличивается. Однако, если пользователь выбирает прямой просмотр для воспроизведения конкретного последующего неподвижного изображения или если пользователь выбирает обратный просмотр для воспроизведения конкретного предыдущего изображения, счетчик СВС переходит на точное подсчитанное значение, соответствующее конкретному последующему неподвижному изображению. В течение этого процесса субаудиоданные, такие как фоновая музыка, воспроизводятся прерывисто из-за корректировки значения счетчика СВС декодера.

Как описано выше, в существующем уровне техники единственный счетчик СВС используется для управления как видеодекодером, так и аудиодекодером. Таким образом, в случае отображения неподвижных изображений с фоновой музыкой в слайд-шоу, основанном на времени, воспроизведение субаудиоданных, таких как фоновая музыка, прерывается всякий раз, когда значение счетчика СВС обновляется, потому что пользователем выдана команда прямого просмотра или команда обратного просмотра, что очень усложняет слайд-шоу с возможностью пролистывания.

Настоящее изобретение обеспечивает декодирующие устройство и способ обеспечения слайд-шоу с возможностью пролистывания и записывающий носитель для этих декодирующего устройства и способа. Декодирующее устройство и способ могут гладко воспроизводить субаудиоданные при слайд-шоу с возможностью пролистывания независимо от того, выбрал ли пользователь прямой просмотр или обратный просмотр посреди отображаемых неподвижных изображений.

Дополнительные аспекты и/или преимущества изобретения будут изложены в части описания, которая следует далее, а частично будут очевидны из описания или могут быть изучены путем практического применения изобретения.

Согласно аспекту настоящего изобретения имеется декодирующее устройство для обеспечения слайд-шоу с возможностью пролистывания. Это декодирующее устройство включает в себя декодер основного потока, который декодирует пакетные данные основного потока, включающие в себя данные изображения для воспроизведения при слайд-шоу с возможностью пролистывания; декодер субаудиоданных, который декодирует пакетные субаудиоданные, включающие в себя аудиоданные, прикрепленные к данным изображения; счетчик системной временной синхронизации (СВС) (STC) основного потока, который обеспечивает последовательность СВС для управления временем декодирования пакетных данных основного потока в декодере основного потока; и счетчик СВС субаудиоданных, который обеспечивает последовательность СВС для управления временем декодирования пакетных субаудиоданных в субаудиодекодере.

Счетчик СВС основного потока может обеспечивать последовательность СВС для каждого неподвижного изображения, включенного в пакетные данные основного потока для декодера основного потока.

Согласно другому аспекту настоящего изобретения имеется способ декодирования для обеспечения слайд-шоу с возможностью пролистывания. Этот способ декодирования включает в себя: обеспечение последовательности СВС для пакетных данных основного потока, которые используются для управления временем декодирования пакетных данных основного потока, причем пакетные данные основного потока включают в себя данные изображения для воспроизведения при слайд-шоу с возможностью пролистывания; декодирование пакетных данных основного потока путем ссылки на последовательность СВС для пакетных данных основного потока; обеспечение последовательности СВС для пакетных субаудиоданных, которая используется для управления временем декодирования пакетных субаудиоданных, причем субаудиоданные включают в себя аудиоданные, прикрепленные к данным изображения; и декодирование пакетных субаудиоданных путем ссылки на последовательность СВС для пакетных субаудиоданных.

Когда обеспечивается последовательность СВС для пакетных данных основного потока, может быть предусмотрена последовательность СВС для каждого неподвижного изображения, включенного в пакетные данные основного потока.

Согласно еще одному аспекту настоящего изобретения имеется запоминающий данные носитель, который сохраняет данные для воспроизведения при слайд-шоу с возможностью пролистывания. Этот запоминающий данные носитель включает в себя множество клипов, включающих данные изображения; информацию клипов, включающую в себя информацию клипов, которая определяет структуру каждого клипа; и список просмотра, включающий в себя информацию для воспроизведения каждого клипа. Здесь информация клипов включает в себя информацию о последовательности СВС каждого неподвижного изображения, включенного в каждый из клипов.

Информация о последовательности СВС каждого неподвижного изображения может включать в себя части информации, относящиеся к расположению каждого неподвижного изображения в каждом клипе, а также время начала воспроизведения и время окончания воспроизведения каждого неподвижного изображения.

Список просмотра может включать в себя множество элементов просмотра, а каждое множество элементов просмотра включает в себя части информации для действительного времени начала воспроизведения и действительного времени окончания каждого неподвижного изображения.

Эти и/или другие аспекты и преимущества изобретения будут очевидны и быстрее восприняты из последующего описания вариантов выполнения, взятых вместе с сопровождающими чертежами, на которых:

фиг.1 является диаграммой, иллюстрирующей обычный формат пакетных данных;

фиг.2 является блок-схемой традиционного устройства кодирования MPEG;

фиг.3 является диаграммой, иллюстрирующей основной формат множества пакетных данных, к которым соответственно прикреплены метки времени прибытия, и соотношение между временем, когда прибывают каждые из множества пакетных данных, и временем, когда каждые из множества пакетных данных выводятся для воспроизведения;

фиг.4 является диаграммой, иллюстрирующей формат традиционных пакетных данных с прикрепленной к ним информацией временной синхронизации;

фиг.5 является блок-схемой традиционного устройства декодирования;

фиг.6 является диаграммой, иллюстрирующей обновление значения счетчика СВС в процессе отображения неподвижных изображений в слайд-шоу;

фиг.7 является диаграммой, иллюстрирующей слайд-шоу с возможностью пролистывания согласно варианту выполнения настоящего изобретения;

фиг.8 является блок-схемой декодирующего устройства для обеспечения слайд-шоу с возможностью пролистывания согласно варианту выполнения настоящего изобретения;

фиг.9 является блок-схемой устройства воспроизведения, которое включает в себя декодирующее устройство согласно варианту выполнения настоящего изобретения;

фиг.10А является диаграммой, иллюстрирующей последовательности системной временной синхронизации (СВС) (STC), которые используются для декодирования данных неподвижного изображения согласно варианту выполнения настоящего изобретения;

фиг.10В является диаграммой, иллюстрирующей последовательности СВС, которые используются для декодирования аудиоданных согласно варианту выполнения настоящего изобретения;

фиг.11 является диаграммой, иллюстрирующей соотношение между списком воспроизведения, информацией клипов и клипами;

фиг.12 является диаграммой, иллюстрирующей множество элементов просмотра с различными временами воспроизведения по умолчанию;

фиг.13 является диаграммой, иллюстрирующей список просмотра, включающего в себя элементы субвоспроизведения;

фиг.14 является диаграммой, иллюстрирующей структуру информации клипов;

фиг.15 является диаграммой, иллюстрирующей пример информационной последовательности по Фиг.14; и

фиг.16 является диаграммой, иллюстрирующей пример информации характеристических точек (ИХТ) (CPI) по Фиг.14.

Осуществление изобретения

Теперь будет сделана подробная ссылка на варианты выполнения настоящего изобретения, примеры которого иллюстрируются на сопровождающихся чертежах, в которых одинаковые ссылочные позиции относятся повсюду к одним и тем же элементам. Варианты выполнения описываются ниже для объяснения настоящего изобретения со ссылками на чертежи.

Фиг.7 является диаграммой, иллюстрирующей слайд-шоу с возможностью пролистывания согласно варианту выполнения настоящего изобретения. На Фиг.7 первое неподвижное изображение воспроизводится в заранее заданный момент времени, назначенный информацией временной метки просмотра (ВМП) (PTS) с заранее заданным отрезком времени по умолчанию. Другие неподвижные изображения затем последовательно воспроизводятся с постоянными интервалами. В аспекте настоящего изобретения отрезок времени по умолчанию устанавливается на бесконечность. Таким образом, все неподвижные изображения за исключением первого воспроизводятся согласно пользовательской установке. Аудиоданные, прикрепленные к неподвижным изображениям для слайд-шоу с возможностью пролистывания воспроизводятся согласно прикрепленной к ним информации ВМП. Если пользователь выбирает обратный просмотр или прямой просмотр для воспроизведения заранее заданного неподвижного изображения в процессе слайд-шоу с возможностью пролистывания, то воспроизведение текущего неподвижного изображения останавливается, и воспроизводится заранее заданное неподвижное изображение, во время чего гладко воспроизводятся аудиоданные. Этот тип воспроизведения неподвижного изображения может включать в себя цифровой фотоальбом, в котором неподвижные изображения, такие как фотографии, последовательно отображаются с фоновой музыкой.

Для того чтобы реализовать слайд-шоу с возможностью пролистывания, значение счетчика системной временной синхронизации (СВС) (STC) для аудиоданных должно содержать независимо увеличивающееся значение счетчика СВС для данных неподвижного изображения, как показано на Фиг.7.

Фиг.8 является блок-схемой декодирующего устройства 700, которое обеспечивает слайд-шоу с возможностью пролистывания согласно варианту выполнения настоящего изобретения. На Фиг.8 декодирующее устройство включает в себя декодер 710 основного потока, счетчик 730 СВС основного потока, счетчик 750 СВС субаудио и декодер 770 субаудио.

Данные основного потока декодируются путем ссылки на значение счетчика 730 СВС основного потока, а субаудиоданные декодируются путем ссылки на значение счетчика 750 СВС субаудио. Поэтому даже если значение счетчика 730 СВС основного потока обновляется, оно не воздействует на значение счетчика 750 СВС субаудио, так что гладкое воспроизведение субаудиоданных гарантируется даже в том случае, когда пользователь выбирает обратный просмотр или прямой просмотр данных основного потока.

Данные основного потока вводятся в декодер 710 основного потока, а субаудиоданные вводятся в декодер 770 субаудио. Данные основного потока являются кодированными данными, такими как поток данных с кодированием JPEG или поток данных с кодированием MPEG. Если данные основного потока являются потоком данных с кодированием MPEG, неподвижные изображения могут отображаться на экране с помощью только внутренних кадров.

Для удобства объяснения в настоящем варианте выполнения предполагается, что входные данные основного потока в декодере 710 основного потока являются потоком данных с кодированием JPEG.

Субаудио входные данные в декодере 770 субаудио являются аудиоданными, которые прикреплены к данным основного потока так, что они могут воспроизводиться вместе с данными основного потока.

Согласно аспекту настоящего изобретения данные основного потока и субаудиоданные записываются на запоминающий данные носитель (не показан), такой как DVD, в качестве отдельных файлов.

Если пакет данных основного потока вводится в буфер (не показан), установленный в декодере 710 основного потока, то выходное значение счетчика 730 СВС основного потока инициализируется на то же самое значение, что и значение программного эталона тактирования (ПЭТ) (PCR) входного пакета данных основного потока. Поскольку данные основного потока являются потоком данных с кодированием JPEG, неподвижные изображения данных основного потока могут иметь различные значения ПЭТ. Таким образом, как показано на Фиг.10А, неподвижные изображения имеют различные последовательности СВС, которые являются значениями, выводимыми из счетчика 730 СВС основного потока.

Как описано выше, декодер 710 основного потока декодирует входные пакетные данные основного потока путем ссылки на значение СВС, предоставленное счетчиком 730 СВС основного потока.

Согласно аспекту настоящего изобретения, счетчик 730 СВС основного потока работает на частоте 90 кГц или 27 МГц.

Функционирование счетчика 750 СВС субаудио подобно функционированию счетчика 730 СВС основного потока, а функционирование декодера 770 субаудио подобно функционированию декодера 710 основного потока.

Если пакет субаудиоданных вводится в буфер (не показан), установленный в декодере 770 субаудио, то выходное значение счетчика 750 СВС субаудио инициализируется на то же самое значение, что и значение программного эталона тактирования (ПЭТ) (PCR) входного пакета субаудиоданных.

Декодер 770 субаудио декодирует входные пакетные субаудиоданные путем ссылки на значение СВС, предоставленное счетчиком 750 СВС субаудио.

Согласно аспекту настоящего изобретения счетчик 750 СВС субаудио работает на частоте 90 кГц или 27 МГц.

Фиг.9 является блок-схемой устройства 900 воспроизведения, которое включает в себя декодирующее устройство согласно варианту выполнения настоящего изобретения. На Фиг.9 устройство 900 воспроизведения содержит драйвер 901 накопителя, буфер 902 основного потока, буфер 903 субаудио, системный декодер 910, графический процессор 920, контроллер 930 и память 950. Системный декодер 910 включает в себя декодирующее устройство 700 по Фиг.8, распаковщик 904 основного потока, счетчик 905 часов времени прибытия (ЧВП) (АТС) основного потока, счетчик 906 ЧВП субаудио, распаковщик 907 субаудио и демультиплексор 908.

Драйвер 901 накопителя считывает пакетные данные с прикрепленной к ним меткой часов времени прибытия (ЧВП) (АТС) из запоминающего данные носителя 800. Драйвер 901 накопителя передает пакетные данные основного потока, включающие в себя данные неподвижного изображения, на буфер 902 основного потока и передает субаудиоданные на буфер 903 субаудио.

Пакетные данные основного потока и субаудиоданные хранятся в запоминающем данные носителе 800 в виде отдельных файлов. Согласно варианту выполнения настоящего изобретения данные хранятся в запоминающем данные носителе 800, формируя конкретную структуру, которая будет более подробно описана позднее.

Распаковщик 904 основного потока принимает пакетные данные основного потока из буфера 902 основного потока, распаковывает принимаемые пакетные данные основного потока и передает распакованные данные на демультиплексор 908. Распаковщик 907 субаудио определяет порядок, в котором пакеты должны выводиться на декодер 770 субаудио, путем ссылки на эталонное значение ЧВП, предоставленное счетчиком 906 ЧВП субаудио и интерпретации информации МВП, прикрепленной к каждому из пакетов. Затем распаковщик 907 субаудио выводит распакованные данные, от которых отделена информация МВП, на декодер 770 субаудио.

Счетчик 906 ЧВП субаудио обеспечивает эталонное значение ЧВП для распаковщика 907 субаудио, так что распаковщик 907 субаудио может определить порядок, в котором пакеты передаются на декодер 770 субаудио, на основании эталонного значения ЧВП. Другими словами, счетчик 906 ЧВП субаудио инициализируется на заранее заданное значение, которое равно значению МВП, прикрепленному к первым пакетным данным, вводимым в распаковщик 907 субаудио, а счетчик 906 ЧВП субаудио постепенно увеличивает свое выходное значение от заранее заданного значения. Когда выходное значение счетчика 906 ЧВП субаудио достигает значения МВП, прикрепленного ко вторым пакетным данным, вводимым в распаковщик 907 субаудио, этот распаковщик 907 субаудио выводит распакованную версию вторых пакетных данных.

Демультиплексор 908 демультиплексирует данные основного потока, включающие в себя информацию временной метки декодирования (ВМД) (DTS) и информацию временной метки просмотра (ВМП) (PTS), и посылает демультиплексированные данные основного потока на декодер 710 основного потока.

Контроллер 930 управляет устройством 900 воспроизведения так, что устройство 900 воспроизведения может воспроизводить данные, хранящиеся в запоминающем данные носителе 800. Память 950 принимает информацию клипов и информацию списка просмотра, которые являются частями дополнительной информации, считываемой из запоминающего данные носителя 800, из контроллера 930 и сохраняет принимаемую информацию клипов и информацию списка просмотра, которые будут более подробно описаны позднее.

Фиг.10А и 10В показывает последовательности СВС, которые используются для декодирования данных неподвижных изображений и аудиоданных так, что данные неподвижного изображения и аудиоданные могут быть воспроизведены способом слайд-шоу с возможностью пролистывания. Более конкретно, Фиг.10А является диаграммой, иллюстрирующей последовательности СВС, которые используются для декодирования данных неподвижного изображения, а Фиг.10В является диаграммой, иллюстрирующей последовательности СВС, которые используются для декодирования аудиоданных.

На Фиг.10А множество неподвижных изображений содержатся в единственном файле данных неподвижного изображения. Каждое из неподвижных изображений кодируется так, что значение ПЭТ или ВМП каждого из неподвижных изображений может увеличиваться от «0».

Графические данные или данные подзаголовка могут быть добавлены к каждому из неподвижных изображений так, что эти графические данные или данные подзаголовка могут воспроизводиться вместе с каждым из неподвижных изображений. Графические данные или данные подзаголовка имеют значение ВМП, которое сохраняется, увеличиваясь во времени. Например, графические данные, такие как анимация, могут быть отображены на неподвижном изображении с движением, или данные подзаголовка, такие как подзаголовки, могут быть выведены изменяющимися во времени. Поэтому начальное значение временной информации кодирования, включающей в себя данные, относящиеся к каждому из неподвижных изображений, могут быть установлены на 0. Однако время окончания данных, относящихся к каждому из неподвижных изображений, нельзя определить заранее. Время окончания данных, относящихся к каждому из неподвижных изображений, определяется согласно времени окончания графических данных или данных подзаголовка, прикрепленных к каждому из неподвижных изображений.

СВС_последовательность, которая является выходом счетчика 730 СВС основного потока или счетчика 750 СВС субаудио, управляет операцией декодирования декодера 710 основного потока или декодера 770 субаудио. СВС_последовательность инициализируется информацией ПЭТ, включенной в каждый пакет, предоставленный декодером 710 основного потока или декодером 770 субаудио.

Согласно аспекту настоящего изобретения исходные значения неподвижного изображения, графических данных или данных подзаголовка, которые составляют данные неподвижного изображения, все устанавливаются на «0» в самом начале воспроизведения данных неподвижного изображения, независимо от того, где в файле данных неподвижного изображения расположены данные неподвижного изображения, и тем самым СВС_последовательность генерируется для каждых из данных неподвижного изображения. Для того чтобы найти каждые данные неподвижного изображения в файле данных неподвижного изображения, используется информация о самом начале СВС_последовательности каждых данных неподвижного изображения.

Аудиоданные могут быть или могут не быть прикреплены к каждым данным неподвижного изображения, подлежащим отображению при слайд-шоу. В случае данных неподвижного изображения с прикрепленными к ним аудиоданными эти аудиоданные предпочтительно записываются в аудиофайл с ПЭТ так, чтобы значение СВС могло постепенно увеличиваться. Как показано на Фиг.10В, счетчик 750 СВС субаудио генерирует только одну последовательность СВС СВС_последовательность.

Согласно аспекту настоящего изобретения данные неподвижного изображения, включающие в себя множество неподвижных изображений, составляют один записывающий модуль, называемый «клип». Дополнительно к этому, записывающая структурная информация, называемая «информация клипа», прикрепляется к каждому клипу. Информация клипа для неподвижного изображения включает в себя информацию последовательности, которая является набором частей информации о последовательности СВС СВС_последовательность, соответствующим неподвижному изображению. Эта информация последовательности включает в себя начальный момент последовательности СВС СВС_последовательность, время начала представления (ВНП) (PST) и время окончания представления (ВОП) (PET).

Как описано выше, ВНП может быть определено заранее. Например, ВНП может быть установлено на очень маленькое значение, такое как 0 или 1/30 секунды. ВНП неподвижного изображения является предпочтительно таким же значением, что и значение ВМП неподвижного изображения. ВОП представляет окончание времени исполнения графических данных или данных подзаголовка, ассоциированных с данными неподвижного изображения. Например, в случае, когда данные неподвижного изображения включают в себя неизменные данные, которые прикрепляются к неподвижному изображению так, что они могут быть выведены вместе с неподвижным изображением, то ВОП данных неподвижного изображения может быть установлено на такое же значение, как длительность одного кадрового изображения. С другой стороны, если данные неподвижного изображения включают в себя переменные данные, такие как подзаголовки, выводимые непостоянно через 10 секунд, например, тогда ВОП данных неподвижного изображения устанавливается на значение, полученное добавлением 10 секунд к длительности одного кадрового изображения. В настоящем изобретении ВОП устанавливается на бесконечность. Например, ВОП может устанавливаться на 0 или любое наибольшее число, возможное при данных обстоятельствах (например, 0xFFFFFFFF при 32-битном представлении).

Согласно аспекту настоящего изобретения список просмотра, который является дополнительной информацией, относящейся к воспроизведению данных неподвижного изображения, такой как последовательность воспроизведения или время воспроизведения по умолчанию, записывается далее на запоминающем данные носителе 800, а данные неподвижного изображения воспроизводятся путем ссылки на список просмотра, записанный на запоминающем данные носителе 800.

Фиг.11 показывает соотношение между списком воспроизведения, информацией клипов и клипом. На Фиг.11 список просмотра включает в себя множество элементов просмотра. Последовательность среди множества элементов просмотра соответствует порядку для воспроизведения множества элементов просмотра, а каждый из множества элементов просмотра соответствует неподвижному изображению. Каждый из множества элементов просмотра имеет различные части информации, такие как Clip_Information_file_name (название файла информации клипа), ref_to_STC_id (ссылка на идентификатор СВС), IN_fime (время ввода) и Out_time (время выведения).

Clip_Information_file_name указывает название файла информации клипа, то есть дополнительную информацию в структуре файла клипа, в которой записывается неподвижное изображение, назначенное каждым из записанных элементов просмотра. ref_to_STC_id является информацией идентификации, которая точно определяет СВС_последовательность в файле клипа. Как описано выше, множество неподвижных изображений записываются в одном клипе в заранее заданном порядке и, таким образом, порядковый номер каждого из множества неподвижных изображений может быть использован в качестве идентификационного номера для каждого из множества неподвижных изображений.

IN_time указывает заранее заданный момент времени между presentation_start_time (время начала просмотра) и presentation_end_time (время окончания просмотра) СВС_последовательности. Согласно аспекту настоящего изобретения IN_time и presentation_start_time неподвижного изображения устанавливаются на одно и то же значение. Если неподвижное изображение кодировано MPEG во внутреннее изображение и в код окончания последовательности, то IN_time и presentation_start_time неподвижного изображения должны указывать один и тот же момент времени. Out_time может также быть любым моментом времени между presentation_start_time и presentation_end_time в последовательности СВС СВС_последовательность, но должен быть установлен на большее значение, чем значение IN_time. Out_time предпочтительно устанавливается на такое же значение, как и presentation end_time. Однако Out_time может быть расположено раньше, чем presentation_end_time. В случае, когда Out_time расположено раньше, чем presentation_end_time, воспроизводятся только данные в диапазоне между presentation_start_time и Out_time соответствующего элемента просмотра. Настоящий вариант выполнения настоящего изобретения, особенно в отношении In_time и Out_time, приложим не только к данным неподвижного изображения, но также к данным движущегося изображения, что является очень желательным.

Согласно аспекту настоящего изобретения, описанные выше переменные являются очень полезными, особенно когда presentation_end_time указывает бесконечный момент времени. Другими словами, если время окончания неподвижного изображения устанавливается на бесконечность, то неподвижное изображение может быть воспроизведено в различные времена просмотра на различных заданных по умолчанию моментах времени воспроизведения, как показано на Фиг.12, путем разрешения каждому из различных элементов просмотра иметь значение, требуемое для управления действительным временем выведения неподвижного изображения. Out_time, как и presentation_end_time, может быть установлено на бесконечность, и в этом случае Out_time представляются 0 или любым наибольшим возможным числом при данных обстоятельства. Соответственно, в случае воспроизведения данных неподвижного изображения со временем воспроизведения, установленным на бесконечность, если пользователь вводит команду, относящуюся к режиму выполнения воспроизведения, такому как обратный просмотр или прямой просмотр, воспроизведение текущего неподвижного изображения может быть остановлено, а затем воспроизводится желательное пользователю неподвижное изображение.

Фиг.13 иллюстрирует список просмотра, включающий в себя элементы субаудио. На Фиг.13 список просмотра включает в себя PlayItem1, PlayItem2 и SubPlayItem1. In_time для SubPlayItem1 является таким же, как In_time для PlayItem1, a Out_time для SubPlayItem1 является таким же, как Out_time для PlayItem2.

Фиг.14 иллюстрирует структуру информации клипа, которая точно определяет структуру записывающего модуля, то есть клипа.

Информация клипа включает в себя SequenceInfo и информацию характеристических точек (ИХТ) (CPI).

Фиг.15 показывает пример SequenceInfo по Фиг.14. На Фиг.15 SequenceInfo (Информация последовательности) включает в себя информацию num_stc, которая указывает число последовательностей СВС (СВС_последовательность) в заранее заданном клипе, Position (позицию), presentation_start_time и presentation_end_time каждой из последовательностей СВС в заранее заданном клипе. Здесь позиция указывает расположение каждой из последовательностей в заранее заданном клипе. Эта структура SequenceInfo может также быть непосредственно применена для данных движущегося изображения.

Фиг.16 показывает пример ИХТ по Фиг.14. На Фиг.16 ИХТ включает в себя ЕР_map, что является дополнительной информацией о точке ввода заранее заданного клипа. Например, в способе кодирования MPEG точка ввода указывает начало изображения, которое кодируется в качестве внутреннего изображения. В аспекте настоящего изобретения, однако, каждые данные неподвижного изображения сами по себе становятся точкой ввода, если каждые данные неподвижного изображения реализуются как внутреннее изображение MPEG и код окончания последовательности.

ЕР_map включает в себя num_of_entry_point (число точек ввода), который указывает число точек ввода в заранее заданном клипе, позицию и значение ВМП каждой из входных точек в заранее заданном клипе. В случае данных неподвижного изображения позиция и значение ВМП точки ввода соответствуют позиции и presentation_start_time, соответственно, которые соответствуют соответствующей последовательности СВС, так что ИХТ не нужно. Однако в случае данных движущегося изображения ИХТ необходимо для случайного поиска.

В устройстве воспроизведения, показанном на Фиг.9, драйвер 901 накопителя считывает информацию клипа и информацию списка просмотра из запоминающего данные носителя 800 и затем передает их на контроллер 900. Далее, контроллер 930 временно сохраняет информацию клипа и информацию списка просмотра в памяти 950. Контроллер 930 просматривает память 950 для информации о списке элементов просмотра, желательных для воспроизведения (то есть информацию элементов просмотра), и анализирует части информации об элементах просмотра. Контроллер 930 помещает желательное неподвижное изображение и соответствующий аудиофайл путем ссылки на информацию клипа и считывает желательное неподвижное изображение и соответствующий аудиофайл из драйвера 901 накопителя.

Неподвижное изображение сохраняется в буфере 902 основного потока, а аудиоданные сохраняются в буфере 903 субаудио. Затем данные неподвижного изображения и аудиоданные вводятся в системный декодер 910. Поскольку он включает в себя счетчик 750 СВС субаудио, системный декодер 910 может гладко воспроизводить аудиоданные, даже когда прямой или обратный просмотр выполняется в середине слайд-шоу с возможностью пролистывания в ответ на команду, выданную пользователем.

Настоящее изобретение может быть реализовано, как машиночитаемый код, записанный на машиночитаемый записывающий носитель. Машиночитаемый записывающий носитель включает в себя все виды записывающих устройств, на которых данные могут быть записаны машиночитаемым способом, такие как ПЗУ (ROM), ОЗУ (RAM), CD-ROM, магнитная лента, гибкий диск, оптическая память данных и несущее колебание (например, передача данных через Интернет). Машиночитаемый записывающий носитель может распределяться по множеству компьютерных систем, объединенных друг с другом в сеть, и в этом случае машиночитаемые коды могут храниться на машиночитаемых записывающих носителях или исполняться с них децентрализованным образом.

Как описано выше, согласно настоящему изобретению возможно гладко воспроизводить субаудиоданные, даже когда пользователь выбирает прямой или обратной просмотр, в середине воспроизведения данных неподвижного изображения с присоединенными к ним субаудиоданными, при слайд-шоу с возможностью пролистывания.

Хотя показаны и описаны немногие варианты осуществления настоящего изобретения, необходимо понимать, что эти изменения могут быть сделаны специалистами в этом варианте осуществления без отклонения от принципов и сущности изобретения, объем которого определяется формулой изобретения и ее эквивалентами.

Реферат

Изобретение относится к декодированию данных для обеспечения пролистываемого слайд-шоу. Декодирующее устройство имеет декодер основного потока данных изображения, подлежащих воспроизведению в слайд-шоу с возможностью пролистывания; декодер субаудиоданных, прикрепленных к данным изображения; счетчик системной временной синхронизации СВС основного потока, который обеспечивает последовательность СВС для управления временем декодирования пакетных данных основного потока для декодера основного потока; и счетчик СВС субаудио, который обеспечивает последовательность СВС для управления временем декодирования пакетных субаудиоданных для декодера субаудио. Благодаря этому обеспечивается возможность гладко воспроизводить субаудиоданные, даже когда пользователь выбирает прямой или обратный просмотр в середине воспроизведения данных неподвижного изображения с приложенными к ним субаудиоданными в слайд-шоу с возможностью пролистывания. 8 н. и 25 з.п. ф-лы, 16 ил.

Формула