Способ и устройство обработки объекта данных - RU2015139685A

1. Способ обработки объекта данных, содержащий этапы, на которых:

делят объект данных на один или более блоков;

вычисляют выборочный коэффициент сжатия для каждого блока, агрегируют в один сегмент данных последовательные блоки с одинаковой характеристикой выборочного коэффициента сжатия и получают выборочный коэффициент сжатия для каждого из сегментов данных; и

выбирают, в соответствии с диапазоном длин, к которому принадлежит длина каждого сегмента данных, и диапазоном коэффициентов сжатия, к которому принадлежит выборочный коэффициент сжатия каждого из сегментов данных, предполагаемую длину для деления сегмента данных на фрагменты данных, при этом выборочный коэффициент сжатия для каждого из сегментов данных однозначно принадлежит к одному из диапазонов коэффициентов сжатия, а длина каждого из сегментов данных однозначно принадлежит к одному из диапазонов длин.

2. Способ по п. 1, в котором на этапе деления объекта данных на один или более блоков:

делят объект данных на один или более блоков фиксированной длины.

3. Способ по п. 1, дополнительно содержащий этап, на котором:

сращивают, для соседних сегментов данных, концевой фрагмент данных предыдущего сегмента данных и начальный фрагмент данных следующего сегмента данных в сращенный фрагмент данных.

4. Способ по п. 3, дополнительно содержащий этап, на котором:

делят сращенный фрагмент данных на множество фрагментов данных, при этом предполагаемая длина, используемая для деления, меньше или равна предполагаемой длины, соответствующей предыдущему сегменту данных, и предполагаемая длина, используемая для деления, меньше или равна предполагаемой длины, соответствующей следующему сегменту данных.

5. Способ по п. 1, в котором на этапе деления объекта данных на один или более блоков:

вычисляют множество групп кандидатов на границы фрагментов с разными предполагаемыми длинами и делят объект данных на один или более блоков переменной длины с использованием одной из нескольких групп кандидатов на границы фрагментов.

6. Способ по п. 1 или 5, в котором на этапе выбора предполагаемой длины для деления сегмента данных:

выбирают, в соответствии с выбранной предполагаемой длиной и из указанного множества групп кандидатов на границы фрагментов, границы фрагментов с одинаковой предполагаемой длиной для деления сегмента данных на фрагменты данных.

7. Способ по п. 1, в котором на этапе агрегирования в один сегмент данных последовательных блоков с одинаковой характеристикой выборочного коэффициента сжатия:

агрегируют в один сегмент данных соседние последовательные блоки, для которых выборочные коэффициенты сжатия принадлежат к одному диапазону выборочных коэффициентов сжатия.

8. Способ по п. 1, в котором на этапе агрегирования в один сегмент данных последовательных блоков с одинаковой характеристикой выборочного коэффициента сжатия:

агрегируют в один сегмент данных соседние последовательные блоки, для которых разность значений выборочных коэффициентов сжатия меньше заданного порога.

9. Способ по п. 1 или 3, дополнительно содержащий этапы:

вычисляют контрольную сумму каждого из фрагментов данных, определяют, с использованием контрольной суммы, хранится ли каждый из фрагментов данных в устройстве хранения, и посылают в устройство хранения фрагмент данных, не хранящийся в устройстве хранения, вместе с контрольной суммой и выборочным коэффициентом сжатия, которые соответствуют фрагменту данных, не хранящемуся в устройстве хранения; и

сохраняют, с помощью устройства хранения, контрольную сумму принятого фрагмента данных, определяют, соответствует ли выборочный коэффициент сжатия принятого фрагмента данных порогу для коэффициентов сжатия, и сжимают, а затем сохраняют фрагмент данных, соответствующий порогу для коэффициентов сжатия.

10. Способ по п. 9, в котором:

выборочный коэффициент сжатия сегмента, из которого получен фрагмент данных, используют в качестве выборочного коэффициента сжатия фрагмента данных.

11. Способ по п. 1, в котором на этапе вычисления выборочного коэффициента сжатия сегмента данных:

вычисляют среднее арифметическое выборочных коэффициентов сжатия блоков, образующих сегмент данных; или

вычисляют взвешенное среднее выборочных коэффициентов сжатия блоков посредством использования выборочных коэффициентов сжатия блоков, образующих сегмент данных, в качестве флаговых значений, а длины блоков в качестве весов.

12. Устройство обработки объекта данных, содержащее:

модуль деления на блоки, выполненный с возможностью деления объекта данных на один или более блоков;

модуль формирования сегментов данных, выполненный с возможностью вычисления выборочного коэффициента сжатия для каждого блока, агрегирования в один сегмент данных последовательных блоков с одинаковой характеристикой коэффициента сжатия и получения выборочного коэффициента сжатия для каждого из сегментов данных; и

модуль формирования фрагментов данных, выполненный с возможностью выбора, в соответствии с диапазоном длин, к которому принадлежит длина каждого сегмента данных, и диапазоном коэффициентов сжатия, к которому принадлежит выборочный коэффициент сжатия каждого сегмента данных, предполагаемой длины для деления сегмента данных на фрагменты данных, при этом выборочный коэффициент сжатия для каждого из сегментов данных однозначно принадлежит одному из диапазонов коэффициентов сжатия, а длина каждого из сегментов данных однозначно принадлежит одному из диапазонов длин.

13. Устройство по п. 12, в котором модуль деления на блоки выполнен с возможностью:

деления объекта данных на один или более блоков фиксированной длины.

14. Устройство по п. 12, в котором модуль формирования фрагментов данных выполнен с возможностью:

сращивания, для соседних сегментов данных, концевого фрагмента данных предыдущего сегмента данных и начального фрагмента данных следующего сегмента данных в сращенный фрагмент данных.

15. Устройство по п. 14, в котором модуль формирования фрагментов данных выполнен с возможностью:

деления сращенного фрагмента данных на множество фрагментов данных, при этом предполагаемая длина, используемая для деления, меньше или равна предполагаемой длины, соответствующей предыдущему сегменту данных, и предполагаемая длина, используемая для деления, меньше или равна предполагаемой длины, соответствующей следующему сегменту данных.

16. Устройство по п. 12, в котором модуль деления на блоки дополнительно выполнен с возможностью:

вычисления множества групп кандидатов на границы фрагментов с разными предполагаемыми длинами и деления объекта данных на один или более блоков переменной длины с использованием одной из нескольких групп кандидатов на границы фрагментов.

17. Устройство по п. 12 или 16, в котором модуль формирования фрагментов данных выполнен с возможностью:

выбора, в соответствии с выбранной предполагаемой длиной и из указанного множества групп кандидатов на границы фрагментов, границ фрагментов с одинаковой предполагаемой длиной для деления сегмента данных на фрагменты данных.

18. Устройство по п. 12, в котором модуль формирования сегментов данных выполнен с возможностью:

вычисления выборочного коэффициента сжатия для каждого блока, агрегирования в один сегмент данных соседних последовательных блоков, выборочные коэффициенты сжатия которых принадлежат к одному диапазону коэффициентов сжатия, и получения выборочного коэффициента сжатия для каждого из сегментов данных.

19. Устройство по п. 12, в котором модуль формирования сегментов данных выполнен с возможностью:

вычисления выборочного коэффициента сжатия для каждого блока, агрегирования в один сегмент данных соседних последовательных блоков, для которых разность значений выборочных коэффициентов сжатия меньше заданного порога, и получения выборочного коэффициента сжатия для каждого сегмента данных.

20. Устройство по п. 12, дополнительно содержащее:

модуль отправки фрагментов данных, выполненный с возможностью вычисления контрольной суммы каждого из фрагментов данных, определения, с использованием контрольной суммы, хранится ли каждый из фрагментов данных в устройстве хранения, и отправки в устройство хранения фрагмента данных, не хранящегося в устройстве хранения, вместе с контрольной суммой и выборочным коэффициентом сжатия, которые соответствуют фрагменту данных, не хранящемуся в устройстве хранения;

при этом устройство хранения выполнено с возможностью хранения контрольной суммы принятого фрагмента данных, определения, соответствует ли выборочный коэффициент сжатия принятого фрагмента данных порогу для коэффициентов сжатия, и сжатия, а затем сохранения фрагмента данных, соответствующего порогу для коэффициентов сжатия.