Система обработки данных и способ обнаружения затора в системе обработки данных - RU2018132718A

1. Способ обнаружения затора в компьютерной системе, содержащей источник задач для формирования потока компьютерных задач, которые должны обрабатываться этой компьютерной системой, и множество последовательно расположенных обрабатывающих узлов, образующих конвейер обработки данных для обработки потока компьютерных задач, причем каждый узел из множества обрабатывающих узлов имеет соответствующий уникальный системный идентификатор (SUID), способ выполняемый компьютерной системой и включающий в себя:

- прием пакета задачи данным обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после предыдущего обрабатывающего узла конвейера обработки данных, при этом пакет задачи содержит тело задачи, указывающее на соответствующую компьютерную задачу, и доступное для записи поле индикатора затора;

- обработку данным обрабатывающим узлом тела задачи из пакета задачи;

- определение данным обрабатывающим узлом наличия в нем соответствующей входной очереди, содержащей более одного пакета задачи; и

- обновление данным обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID данного обрабатывающего узла, если определено наличие соответствующей входной очереди в данном обрабатывающем узле.

2. Способ по п. 1, отличающийся тем, что определение наличия соответствующей входной очереди выполняется после обработки тела задачи данным обрабатывающим узлом.

3. Способ по п. 1, отличающийся тем, что дополнительно включает в себя обработку пакета задачи предыдущим обрабатывающим узлом, включающую себя:

- формирование предыдущим обрабатывающим узлом доступного для записи поля индикатора затора; и

- добавление предыдущим обрабатывающим узлом доступного для записи поля индикатора затора к телу задачи.

4. Способ по п. 3, отличающийся тем, что обработка пакета задачи дополнительно включает в себя:

- определение предыдущим обрабатывающим узлом наличия соответствующей входной очереди в предыдущем обрабатывающем узле; и

- запись предыдущим обрабатывающим узлом в доступное для записи поле индикатора затора соответствующего идентификатора SUID предыдущего обрабатывающего узла, если определено наличие соответствующей входной очереди в предыдущем обрабатывающем узле.

5. Способ по п. 4, отличающийся тем, что формирование предыдущим обрабатывающим узлом доступного для записи поля индикатора затора выполняется, только если определено наличие соответствующей входной очереди в предыдущем обрабатывающем узле.

6. Способ по п. 1, отличающийся тем, что дополнительно включает в себя:

- прием пакета задачи следующим обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после данного обрабатывающего узла конвейера обработки данных;

- обработку следующим обрабатывающим узлом тела задачи из пакета задачи;

- определение следующим обрабатывающим узлом наличия соответствующей входной очереди в следующем обрабатывающем узле; и

- обновление следующим обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID следующего обрабатывающего узла, если определено наличие соответствующей входной очереди в следующем обрабатывающем узле.

7. Способ по п. 6, отличающийся тем, что дополнительно включает в себя считывание компьютерной системой доступного для записи поля индикатора затора из пакета задачи, покинувшего конвейер обработки данных, и определение последнего идентификатора SUID, записанного в доступном для записи поле индикатора затора, при этом последний записанный идентификатор SUID указывает на наиболее удаленный от начала конвейера обрабатывающий узел из множества обрабатывающих узлов, создающий затор в конвейере обработки данных.

8. Способ по п. 7, отличающийся тем, что дополнительно включает в себя регистрацию компьютерной системой в течение заранее заданного периода времени последних записанных идентификаторов SUID из пакетов задач, покинувших конвейер обработки данных.

9. Способ по п. 8, отличающийся тем, что дополнительно включает в себя:

- определение компьютерной системой наиболее часто встречающегося последнего записанного идентификатора SUID среди отслеживаемых последних записанных идентификаторов SUID; и

- формирование компьютерной системой сообщения, содержащего наиболее часто встречающийся последний записанный идентификатор SUID и способствующего устранению затора, вызванного соответствующим обрабатывающим узлом, связанным с наиболее часто встречающимся последним записанным идентификатором SUID.

10. Способ по п. 6, отличающийся тем, что компьютерная система дополнительно содержит надзорный компьютер и способ дополнительно включает в себя считывание надзорным компьютером доступного для записи поля индикатора затора из пакета задачи, покинувшего конвейер обработки данных, и определение последнего идентификатора SUID, записанного в доступном для записи поле индикатора затора, при этом последний записанный идентификатор SUID указывает на наиболее удаленный от начала конвейера обрабатывающий узел из множества обрабатывающих узлов, создающий затор в конвейере обработки данных.

11. Способ по п. 10, отличающийся тем, что компьютерная система дополнительно содержит множество конвейеров обработки данных и способ дополнительно включает в себя регистрацию надзорным компьютером в течение заранее заданного периода времени последних записанных идентификаторов SUID из пакетов задач, покинувших каждый конвейер из множества конвейеров обработки данных.

12. Способ по п. 1, отличающийся тем, что множество обрабатывающих узлов включает в себя по меньшей мере одно из следующих множеств: множество программно реализованных узлов, множество аппаратно реализованных узлов и множество устройств хранения данных.

13. Способ устранения затора, вызванного конкретным обрабатывающим узлом компьютерной системы, содержащей множество обрабатывающих узлов, имеющих уникальные системные идентификаторы (SUID) и последовательно организованных для последовательной обработки, источник задач для формирования множества компьютерных задач, которые должны обрабатываться множеством узлов, и надзорный компьютер, выполняемый в надзорном компьютере и включающий в себя:

- сбор статистики заторов от множества обрабатывающих узлов в течение заранее заданного периода времени путем повторения в течение заранее заданного периода времени следующих действий:

- прием пакета задачи данным обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после предыдущего обрабатывающего узла конвейера обработки данных, при этом пакет задачи содержит тело задачи, указывающее на соответствующую компьютерную задачу, и доступное для записи поле индикатора затора;

- обработку данным обрабатывающим узлом тела задачи из пакета задачи;

- определение данным обрабатывающим узлом наличия в данном обрабатывающем узле соответствующей входной очереди, содержащей более одного пакета задачи;

- обновление данным обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID данного обрабатывающего узла, если определено наличие соответствующей входной очереди в данном обрабатывающем узле;

- прием пакета задачи следующим обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после данного обрабатывающего узла конвейера обработки данных;

- обработку следующим обрабатывающим узлом тела задачи из пакета задачи;

- определение следующим обрабатывающим узлом наличия в следующем обрабатывающем узле соответствующей входной очереди; и

- обновление следующим обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID следующего обрабатывающего узла, если определено наличие соответствующей входной очереди в следующем обрабатывающем узле;

- считывание надзорным компьютером доступного для записи поля индикатора затора из пакета задачи, покинувшего конвейер обработки данных, и определение последнего записанного в доступном для записи поле индикатора затора идентификатора SUID, указывающего на наиболее удаленный от начала конвейера обрабатывающий узел из множества обрабатывающих узлов, создающий затор в конвейере обработки данных;

- регистрацию последнего записанного идентификатора SUID в статистике заторов;

- определение надзорным компьютером наиболее часто встречающегося последнего записанного идентификатора SUID, зарегистрированного в статистике заторов;

- определение конкретного узла, соответствующего наиболее часто встречающемуся последнему записанному идентификатору SUID; и

- инициирование изменения по меньшей мере одного параметра, связанного с этим конкретным узлом.

14. Способ по п. 13, отличающийся тем, что определение наличия соответствующей входной очереди выполняется после обработки тела задачи данным обрабатывающим узлом.

15. Способ по п. 13, отличающийся тем, что множество обрабатывающих узлов включает в себя по меньшей мере одно из следующих множеств: множество программно реализованных узлов, множество аппаратно реализованных узлов и множество устройств хранения данных.

16. Способ по п. 13, отличающийся тем, что определение наиболее часто встречающегося последнего записанного идентификатора SUID, зарегистрированного в статистике заторов, включает в себя определение последнего записанного идентификатора SUID, наиболее часто регистрировавшегося в течение заранее заданного периода времени.

17. Компьютерная система, содержащая источник задач для формирования потока компьютерных задач, которые должны обрабатываться этой компьютерной системой, и множество последовательно расположенных обрабатывающих узлов, образующих конвейер обработки данных для обработки потока компьютерных задач, при этом каждый обрабатывающий узел из множества обрабатывающих узлов имеет соответствующий уникальный системный идентификатор (SUID) и выполнен с возможностью:

- приема пакета задачи от предыдущего обрабатывающего узла конвейера обработки данных, причем пакет задачи содержит тело задачи, указывающее на соответствующую компьютерную задачу, и доступное для записи поле индикатора затора;

- обработки тела задачи из пакета задачи;

- определения наличия в данном обрабатывающем узле соответствующей входной очереди, содержащей более одного пакета задачи; и

- обновления доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID данного обрабатывающего узла, если определено наличие соответствующей входной очереди в данном обрабатывающем узле.

18. Система по п. 17, отличающаяся тем, что дополнительно содержит надзорный компьютер, связанный с по меньшей мере одним узлом из множества обрабатывающих узлов и выполненный с возможностью:

- считывания доступного для записи поля индикатора затора из пакета задачи, покинувшего конвейер обработки данных;

- определения последнего записанного в доступном для записи поле индикатора затора идентификатора SUID, указывающего на наиболее удаленный от начала конвейера обрабатывающий узел из множества обрабатывающих узлов, создающий затор в конвейере обработки данных;

- определения конкретного узла, соответствующего последнему записанному идентификатору SUID.

19. Система по п. 18, отличающаяся тем, что дополнительно выполнена с возможностью инициирования изменения по меньшей мере одного параметра, связанного с конкретным узлом, соответствующим последнему записанному идентификатору SUID.

20. Система по п. 17, отличающаяся тем, что представляет собой систему распределенной компьютерной обработки данных.

21. Способ обнаружения затора в компьютерной системе, содержащей множество последовательно расположенных обрабатывающих узлов, образующих конвейер обработки данных для обработки потока компьютерных задач, сформированных источником задач, при этом каждый узел из множества обрабатывающих узлов имеет соответствующий уникальный системный идентификатор (SUID), выполняемый в этой компьютерной системе и включающий в себя:

- сбор статистики заторов от множества обрабатывающих узлов в течение заранее заданного периода времени, выполняемый путем повторения в течение заранее заданного периода времени следующих действий:

- прием пакета задачи данным обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после предыдущего обрабатывающего узла конвейера обработки данных,

при этом пакет задачи содержит тело задачи, указывающее на соответствующую компьютерную задачу, и доступное для записи поле индикатора затора;

- обработку данным обрабатывающим узлом тела задачи из пакета задачи;

- определение данным обрабатывающим узлом наличия в данном обрабатывающем узле соответствующей входной очереди, содержащей более одного пакета задачи;

- обновление данным обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID данного обрабатывающего узла, если определено наличие соответствующей входной очереди в данном обрабатывающем узле;

- прием пакета задачи следующим обрабатывающим узлом из множества обрабатывающих узлов, представляющим собой следующий обрабатывающий узел после данного обрабатывающего узла конвейера обработки данных;

- обработку следующим обрабатывающим узлом тела задачи из пакета задачи;

- определение следующим обрабатывающим узлом наличия в следующем обрабатывающем узле соответствующей входной очереди;

- обновление следующим обрабатывающим узлом доступного для записи поля индикатора затора с использованием соответствующего идентификатора SUID следующего обрабатывающего узла, если определено наличие соответствующей входной очереди в следующем обрабатывающем узле;

- считывание компьютерной системой доступного для записи поля индикатора затора из пакета задачи, покинувшего конвейер обработки данных, и определение последнего записанного в доступном для записи поле индикатора затора идентификатора SUID, указывающего на наиболее удаленный от начала конвейера обрабатывающий узел из множества обрабатывающих узлов, создающий затор в конвейере обработки данных;

- регистрацию последнего записанного идентификатора SUID в статистике заторов;

- определение компьютерной системой наиболее часто встречающегося последнего записанного идентификатора SUID, зарегистрированного в статистике заторов;

- определение конкретного узла, соответствующего наиболее часто встречающемуся последнему записанному идентификатору SUID; и

- инициирование изменения по меньшей мере одного параметра, связанного с этим конкретным узлом.

22. Способ по п. 21, отличающийся тем, что определение наличия соответствующей входной очереди выполняется после обработки тела задачи данным обрабатывающим узлом.

23. Способ по п. 21, отличающийся тем, что множество обрабатывающих узлов включает в себя по меньшей мере одно из следующих множеств: множество программно реализованных узлов, множество аппаратно реализованных узлов и множество устройств хранения данных.

24. Способ по п. 21, отличающийся тем, что определение наиболее часто встречающегося последнего записанного идентификатора SUID, зарегистрированного в статистике заторов, включает в себя определение последнего записанного идентификатора SUID, наиболее часто регистрировавшегося в течение заранее заданного периода времени.