Способы, оборудование и системы для оптимизации связи между отправляющим(и) устройством(ами) и приемным(и) устройством(ами) в вариантах применения на основе машиноопосредованной реальности - RU2019125632A
Код документа: RU2019125632A
Формула
1. Способ обработки мультимедийного контента для воспроизведения посредством первого оборудования, при этом способ содержит этапы, на которых:
получают информацию положения, указывающую позицию и/или ориентацию пользователя;
передают информацию положения во второе оборудование, которое предоставляет мультимедийный контент;
подготавливают посредством рендеринга мультимедийного контента на основе информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент; и
передают подготовленный посредством рендеринга мультимедийный контент в первое оборудование для воспроизведения.
2. Способ по п. 1, в котором мультимедийный контент содержит аудио контент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и/или мультимедийный контент содержит видеоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга видеоконтент.
3. Способ по п. 1, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и способ дополнительно содержит этап, на котором формируют слышимое представление подготовленного посредством рендеринга аудиоконтента.
4. Способ по п. 2, в котором аудиоконтент представляет собой одно из ориентированного на амбиофонию первого порядка (FOA), ориентированного на амбиофонию высшего порядка (HOA), объектно-ориентированного или канально-ориентированного аудиоконтента либо комбинацию двух или более из FOA-ориентированного, HOA-ориентированного, объектно-ориентированного или канально-ориентированного аудиоконтента.
5. Способ по п. 2, в котором подготовленный посредством рендеринга аудиоконтент представляет собой одно из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента либо комбинацию двух или более из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента.
6. Способ по п. 1, в котором рендеринг заключает в себе этапы, на которых:
получают прогнозированную информацию положения на основе информации положения и информации предыдущего положения; и
подготавливают посредством рендеринга мультимедийный контент на основе прогнозированной информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент.
7. Способ по п. 6, содержащий также этап, на котором передают прогнозированную информацию положения в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом.
8. Способ по п. 7, содержащий также этапы, на которых:
сравнивают прогнозированную информацию положения с информацией фактического положения; и
обновляют подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
9. Способ по п. 8, в котором прогнозированная информация положения прогнозируется для оценки времени, когда подготовленный посредством рендеринга мультимедийный контент предположительно должен обрабатываться посредством первого оборудования для воспроизведения; и информация фактического положения представляет собой информацию положения, полученную в то время, когда подготовленный посредством рендеринга мультимедийный контент фактически обрабатывается посредством первого оборудования для воспроизведения.
10. Способ по п. 1, в котором подготовленный посредством рендеринга мультимедийный контент передается в первое оборудование в несжатой форме.
11. Способ по п. 1, содержащий также этап, на котором кодируют подготовленный посредством рендеринга мультимедийный контент перед передачей в первое оборудование; и декодируют кодированный подготовленный посредством рендеринга мультимедийный контент после приема в первом оборудовании.
12. Способ по п. 9, в котором оценка времени, когда подготовленный посредством рендеринга аудиоконтент предположительно должен обрабатываться посредством первого оборудования для воспроизведения, включает в себя оценку времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга аудиоконтента, и/или оценку времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
13. Способ по п. 6, в котором прогнозированная информация положения получается дополнительно на основе оценки времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга мультимедийного контента, и/или оценки времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
14. Способ по п. 1, содержащий также этапы, на которых:
сравнивают информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновляют подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
15. Способ по п. 1, содержащий также этапы, на которых:
определяют то, во втором оборудовании, информацию градиента, указывающую то, как подготовленный посредством рендеринга мультимедийный контент изменяется в ответ на изменения информации положения;
передают информацию градиента в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом;
сравнивают, в первом оборудовании, информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновляют подготовленный посредством рендеринга мультимедийный контент на основе информации градиента и результата сравнения.
16. Способ по п. 1, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
способ дополнительно содержит этап, на котором передают информацию окружения, указывающую акустические характеристики окружения, в котором расположено первое оборудование, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на информации окружения.
17. Способ по п. 1, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
способ дополнительно содержит этап, на котором передают морфологическую информацию, указывающей морфологию пользователя либо части пользователя, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на морфологической информации.
18. Система, содержащая первое оборудование для воспроизведения мультимедийного контента и второе оборудование, сохраняющее мультимедийный контент,
при этом первое оборудование выполнено с возможностью:
получать информацию положения, указывающую позицию и/или ориентацию пользователя; и
передавать информацию положения во второе оборудование; и
второе оборудование выполнено с возможностью:
подготавливать посредством рендеринга мультимедийный контент на основе информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент; и
передавать подготовленный посредством рендеринга мультимедийный контент в первое оборудование для воспроизведения.
19. Система по п. 18, в которой мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и/или
мультимедийный контент содержит видеоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга видеоконтент.
20. Система по п. 18, в которой мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и первое оборудование дополнительно выполнено с возможностью формировать слышимое представление подготовленного посредством рендеринга аудиоконтента.
21. Система по п. 19, в которой аудиоконтент представляет собой одно из ориентированного на амбиофонию первого порядка (FOA), ориентированного на амбиофонию высшего порядка (HOA), объектно-ориентированного или канально-ориентированного аудиоконтента либо комбинацию двух или более из FOA-ориентированного, HOA-ориентированного, объектно-ориентированного или канально-ориентированного аудиоконтента.
22. Система по п. 19, в которой подготовленный посредством рендеринга аудиоконтент представляет собой одно из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента либо комбинацию двух или более из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента.
23. Система по п. 18, в которой второе оборудование дополнительно выполнено с возможностью:
получать прогнозированную информацию положения на основе информации положения и информации предыдущего положения; и
подготавливать посредством рендеринга мультимедийный контент на основе прогнозированной информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент.
24. Система по п. 23, в которой второе оборудование дополнительно выполнено с возможностью передавать прогнозированную информацию положения в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом.
25. Система по п. 24, в которой первое оборудование дополнительно выполнено с возможностью:
сравнивать прогнозированную информацию положения с информацией фактического положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
26. Система по п. 25, в которой прогнозированная информация положения прогнозируется для оценки времени, когда подготовленный посредством рендеринга мультимедийный контент предположительно должен обрабатываться посредством первого оборудования для воспроизведения; и информация фактического положения представляет собой информацию положения, полученную в то время, когда подготовленный посредством рендеринга мультимедийный контент фактически обрабатывается посредством первого оборудования для воспроизведения.
27. Система по п. 18, в которой подготовленный посредством рендеринга мультимедийный контент передается в первое оборудование в несжатой форме.
28. Система по п. 18, в которой второе оборудование дополнительно выполнено с возможностью кодировать подготовленный посредством рендеринга мультимедийный контент перед передачей в первое оборудование; и первое оборудование дополнительно выполнено с возможностью декодировать кодированный подготовленный посредством рендеринга мультимедийный контент после приема в первом оборудовании.
29. Система по п. 26, в которой оценка времени, когда подготовленный посредством рендеринга аудиоконтент предположительно должен обрабатываться посредством первого оборудования для воспроизведения, включает в себя оценку времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга аудиоконтента, и/или оценку времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
30. Система по п. 23, в которой прогнозированная информация положения получается дополнительно на основе оценки времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга мультимедийного контента, и/или оценки времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
31. Система по п. 18, в которой первое оборудование дополнительно выполнено с возможностью:
сравнивать информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
32. Система по п. 18, в которой второе оборудование дополнительно выполнено с возможностью:
определять информацию градиента, указывающую то, как подготовленный посредством рендеринга мультимедийный контент изменяется в ответ на изменения информации положения; и
передавать информацию градиента в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом; и
первое оборудование дополнительно выполнено с возможностью:
сравнивать информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе информации градиента и результата сравнения.
33. Система по п. 18, в которой мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
первое оборудование дополнительно выполнено с возможностью передавать информацию окружения, указывающую акустические характеристики окружения, в котором расположено первое оборудование, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на информации окружения.
34. Система по п. 18, в которой мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
первое оборудование дополнительно выполнено с возможностью передавать морфологическую информацию, указывающую морфологию пользователя либо части пользователя, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на морфологической информации.
35. Второе оборудование для предоставления мультимедийного контента для воспроизведения посредством первого оборудования, причем второе оборудование выполнено с возможностью:
принимать информацию положения, указывающую позицию и/или ориентацию пользователя первого оборудования;
подготавливать посредством рендеринга мультимедийный контент на основе информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент; и
передавать подготовленный посредством рендеринга мультимедийный контент в первое оборудование для воспроизведения.
36. Второе оборудование по п. 35, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и/или
мультимедийный контент содержит видеоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга видеоконтент.
37. Второе оборудование по п. 36, в котором аудиоконтент представляет собой одно из ориентированного на амбиофонию первого порядка (FOA), ориентированного на амбиофонию высшего порядка (HOA), объектно-ориентированного или канально-ориентированного аудиоконтента либо комбинацию двух или более из FOA-ориентированного, HOA-ориентированного, объектно-ориентированного или канально-ориентированного аудиоконтента.
38. Второе оборудование по п. 36, в котором подготовленный посредством рендеринга аудиоконтент представляет собой одно из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента либо комбинацию двух или более из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента.
39. Второе оборудование по п. 35, выполненное также с возможностью:
получать прогнозированную информацию положения на основе информации положения и информации предыдущего положения; и
подготавливать посредством рендеринга мультимедийный контент на основе прогнозированной информации положения, чтобы получать подготовленный посредством рендеринга мультимедийный контент.
40. Второе оборудование по п. 39, выполненное также с возможностью передавать прогнозированную информацию положения в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом.
41. Второе оборудование по п. 39, в котором прогнозированная информация положения прогнозируется для оценки времени, когда подготовленный посредством рендеринга мультимедийный контент предположительно должен обрабатываться посредством первого оборудования для воспроизведения.
42. Второе оборудование по п. 35, в котором подготовленный посредством рендеринга мультимедийный контент передается в первое оборудование в несжатой форме.
43. Второе оборудование по п. 35, выполненное также с возможностью кодировать подготовленный посредством рендеринга мультимедийный контент перед передачей в первое оборудование.
44. Второе оборудование по п. 41, в котором оценка времени, когда подготовленный посредством рендеринга аудиоконтент предположительно должен обрабатываться посредством первого оборудования для воспроизведения, включает в себя оценку времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга аудиоконтента, и/или оценку времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
45. Второе оборудование по п. 39, в котором прогнозированная информация положения получается дополнительно на основе оценки времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга мультимедийного контента, и/или оценки времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
46. Второе оборудование по п. 35, выполненное также с возможностью:
определять информацию градиента, указывающую то, как подготовленный посредством рендеринга мультимедийный контент изменяется в ответ на изменения информации положения; и
передавать информацию градиента в первое оборудование вместе с подготовленным посредством рендеринга мультимедийным контентом.
47. Второе оборудование по п. 35, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
второе оборудование дополнительно выполнено с возможностью принимать информацию окружения, указывающую акустические характеристики окружения, в котором расположено первое оборудование, из первого оборудования; и
рендеринг мультимедийного контента дополнительно основан на информации окружения.
48. Второе оборудование по п. 35, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
второе оборудование дополнительно выполнено с возможностью принимать морфологическую информацию, указывающую морфологию пользователя либо части пользователя, из первого оборудования; и
рендеринг мультимедийного контента дополнительно основан на морфологической информации.
49. Первое оборудование для воспроизведения мультимедийного контента, предоставленного посредством второго оборудования, причем первое оборудование выполнено с возможностью:
получать информацию положения, указывающую позицию и/или ориентацию пользователя первого оборудования;
передавать информацию положения во второе оборудование;
принимать подготовленный посредством рендеринга мультимедийный контент из второго оборудования, при этом подготовленный посредством рендеринга мультимедийный контент получен посредством рендеринга мультимедийного контента на основе информации положения; и
воспроизводить подготовленный посредством рендеринга мультимедийный контент.
50. Первое оборудование по п. 49, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и/или мультимедийный контент содержит видеоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга видеоконтент.
51. Первое оборудование по п. 49, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент; и
первое оборудование дополнительно выполнено с возможностью формировать слышимое представление подготовленного посредством рендеринга аудиоконтента.
52. Первое оборудование по п. 50, в котором аудиоконтент представляет собой одно из ориентированного на амбиофонию первого порядка (FOA), ориентированного на амбиофонию высшего порядка (HOA), объектно-ориентированного или канально-ориентированного аудиоконтента либо комбинацию двух или более из FOA-ориентированного, HOA-ориентированного, объектно-ориентированного или канально-ориентированного аудиоконтента.
53. Первое оборудование по п. 50, в котором подготовленный посредством рендеринга аудиоконтент представляет собой одно из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента либо комбинацию двух или более из бинаурального аудиоконтента, FOA-аудиоконтента, HOA-аудиоконтента или канально-ориентированного аудиоконтента.
54. Первое оборудование по п. 49, выполненное также с возможностью:
принимать информацию положения, которая использована для рендеринга мультимедийного контента вместе с подготовленным посредством рендеринга мультимедийным контентом, из второго оборудования;
сравнивать информацию положения, которая использована для рендеринга мультимедиа, с информацией фактического положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
55. Первое оборудование по п. 54, в котором информация фактического положения представляет собой информацию положения, полученную в то время, когда подготовленный посредством рендеринга мультимедийный контент обрабатывается посредством первого оборудования для воспроизведения.
56. Первое оборудование по п. 49, выполненное также с возможностью получать прогнозированную информацию положения на основе информации положения и информации предыдущего положения; и передавать прогнозированную информацию положения во второе оборудование.
57. Первое оборудование по п. 56, в котором прогнозированная информация положения прогнозируется для оценки времени, когда подготовленный посредством рендеринга мультимедийный контент предположительно должен обрабатываться посредством первого оборудования для воспроизведения.
58. Первое оборудование по п. 49, в которой подготовленный посредством рендеринга мультимедийный контент принимается из второго оборудования в несжатой форме.
59. Первое оборудование по п. 49, в которой первое оборудование дополнительно выполнено с возможностью декодировать кодированный подготовленный посредством рендеринга мультимедийный контент.
60. Первое оборудование по п. 57, в котором оценка времени, когда подготовленный посредством рендеринга аудиоконтент предположительно должен обрабатываться посредством первого оборудования для воспроизведения, включает в себя оценку времени, которое необходимо для кодирования и декодирования подготовленного посредством рендеринга аудиоконтента, и/или оценку времени, которое необходимо для передачи подготовленного посредством рендеринга мультимедийного контента в первое оборудование.
61. Первое оборудование по п. 49, выполненное также с возможностью:
сравнивать информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе результата сравнения.
62. Первое оборудование по п. 49, выполненное также с возможностью:
принимать информацию градиента, указывающую то, как подготовленный посредством рендеринга мультимедийный контент изменяется в ответ на изменения информации положения вместе с подготовленным посредством рендеринга мультимедийным контентом, из второго оборудования;
сравнивать информацию положения, которая использована для рендеринга мультимедийного контента, с информацией текущего положения; и
обновлять подготовленный посредством рендеринга мультимедийный контент на основе информации градиента и результата сравнения.
63. Первое оборудование по п. 49, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
первое оборудование дополнительно выполнено с возможностью передавать информацию окружения, указывающую акустические характеристики окружения, в котором расположено первое оборудование, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на информации окружения.
64. Первое оборудование по п. 49, в котором мультимедийный контент содержит аудиоконтент, и подготовленный посредством рендеринга мультимедийный контент содержит подготовленный посредством рендеринга аудиоконтент;
первое оборудование дополнительно выполнено с возможностью передавать морфологическую информацию, указывающую морфологию пользователя либо части пользователя, во второе оборудование; и
рендеринг мультимедийного контента дополнительно основан на морфологической информации.
