Система и способ компьютеризированного обучения музыкальному языку - RU2690863C1
Код документа: RU2690863C1
Чертежи
Описание
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение в общем относится к системе и способу обучения и изучения письменного музыкального языка и развития певческих навыков с помощью компьютеризированного устройства и, в частности, к компьютеризированному обучению, изучению и практике сольфеджио.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
Музыкальный язык основан на сложных временных соотношениях между наборами акустических характеристик звуков. Язык нотной записи является письменным представлением слышимого, и был, до эпохи звукозаписи, единственным способом хранения, передачи и распространения музыки, а также единственным способом обучения и изучения сложных музыкальных композиций. Таким образом, обучение чтению нотной записи разграничивает музыкальную грамотность и музыкальную безграмотность.
Сольфеджио - это способ исполнения нотной записи путем пропевания слоговых названий нот. Сольфеджио преподается на разных уровнях музыкального образования от начального до высшего. Знание сольфеджио предполагает способность чтения нот с листа нотной записи, мысленное определение высоты, названий нот, ритмического рисунка и громкости нот, а также вокальное воспроизведение соответствующих звуков. Сольфеджио является формой сольмизации, которая представляет собой систему присвоения определенного слога каждой ноте в музыкальном звукоряде. Существуют различные формы сольмизации, и сольфеджио представляет собой форму сольмизации, широко используемую в Европе, Северной и Южной Америке, в латинских и славянских странах. Термины «сольмизация» и «сольфеджио» могут использоваться как синонимы. В других странах, культурах и языках названия слогов отличаются, например, в японском, китайском, индийском, корейском, арабском и других языках.
Техника сольфеджио включает в себя привязку нот звукоряда к отдельным слогам и последующее пение различных последовательностей нот с использованием этих слогов. При изучении сольфеджио последовательности, как правило, постепенно усложняются, например, в зависимости от используемых интервалов и ритмов.
В латинских и славянских странах для такой практики широко используются семь слогов: до, ре, ми, фа, соль, ля и си (ти). В англоговорящих странах также используется система А, В, С (что соответствует ля, си, до и т.п.). В настоящем документе названия нот или слоги нот связаны конкретной записью нот партитуры, например, одним из: до, ре, ми, фа, соль, ля или си. В учебных заведениях музыкальное образование по методу сольфеджио предполагает обучение интерпретации письменной нотной записи со связанными акустическими свойствами: высотой, длительностью и громкостью, а также практику пения слоговых названий нот голосом.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задача настоящего изобретения заключается в обеспечении компьютеризированной системы помощи обучению и изучению письменного музыкального языка, которая содержит процессор, выполненный с возможностью получения контрольного объекта музыкальных данных, где контрольный объект музыкальных данных содержит последовательность свойств ноты, причем указанные свойства ноты содержат один или более параметров ноты; извлечения свойств ноты из объекта музыкальных данных; определения связанного слогового названия звуков ноты на основе свойств ноты; генерации визуальной нотной записи в соответствии со свойствами ноты и генерации синтезированного звука пения сольфеджио в соответствии с определенным слоговым названием ноты и свойствами ноты; блок отображения, выполненный с возможностью отображения нотной записи; и блок генерации звука, выполненный с возможностью вывода синтезированного звука пения сольфеджио для пользователя компьютеризированной системы.
В некоторых случаях компьютеризированная система дополнительно выполнена с возможностью получения звукозаписи одной или более нот, спетых пользователем.
В некоторых случаях компьютеризированная система дополнительно выполнена с возможностью анализа звукозаписи нот для генерации анализируемого объекта музыкальных данных, соответствующего контрольному объекту музыкальных данных.
В некоторых случаях компьютеризированная система дополнительно выполнена с возможностью сравнения анализируемого объекта музыкальных данных с контрольным объектом музыкальных данных для определения степени точности звукозаписи; оценки точности анализируемого объекта музыкальных данных; и отображения оценки точности звукозаписи для пользователя посредством блока отображения.
В некоторых случаях объект музыкальных данных представляет собой стандартный MIDI-файл.
В некоторых случаях компьютеризированная система дополнительно выполнена с возможностью обеспечения динамического визуального индикатора, отображаемого на нотной записи одновременно с соответствующей нотой в синтезированном звуке пения сольфеджио, что позволяет пользователю следить за нотной записью во время звукового воспроизведения звука ноты.
В некоторых случаях один или более параметров ноты содержат по меньшей мере одно из следующего: высота ноты, длительность ноты, громкость ноты, слог ноты, время ноты и их сочетание.
В некоторых случаях музыкальный процессор дополнительно выполнен с возможностью распознавания по меньшей мере спетого слога и высоты спетого слога.
В некоторых случаях процессор дополнительно выполнен с возможностью использования высоты в наборе акустических признаков, используемых системой распознавания слогов.
В некоторых случаях компьютеризированная система дополнительно содержит блок связи, выполненный с возможностью получения контрольного объекта музыкальных данных с сервера.
В некоторых случаях компьютеризированная система дополнительно содержит блок хранения, выполненный с возможностью хранения контрольных объектов музыкальных данных.
В некоторых случаях музыкальный процессор дополнительно выполнен с возможностью генерации контрольного объекта музыкальных данных на основе входящего файла.
В некоторых случаях объект музыкальных данных представляет собой musicXML-файл.
В некоторых случаях оценка точности звукозаписи содержит по меньшей мере оценку высоты и оценку длительности.
В некоторых случаях оценка точности звукозаписи содержит оценку громкости.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Примерные неограничивающие варианты осуществления изобретения будут описаны со ссылкой на нижеследующее описание вариантов выполнения в сочетании с чертежами. Чертежи в общем показаны не в масштабе, и любые размеры являются лишь примерными, а не ограничивающими. Соответствующие или подобные элементы могут быть обозначены одинаковыми ссылочными позициями.
Фиг. 1 показывает визуальное представление музыки, где наряду с нотной записью показаны слоги сольфеджио, в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 2 показывает систему, выполненную с возможностью помощи в обучении музыкальному языку, в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 3 показывает вычислительное устройство, выполненное с возможностью помощи в обучении музыкальному языку, в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 4 показывает схематическую иллюстрацию двух основных функциональных компонентов системы, например, механизм синтеза «знак2пение» (sign2sing) (преобразования знаков в пение) и механизм анализа «пение2знак» (sing2sign) (преобразования пения в знаки), в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 5 показывает сервер системы, выполненной с возможностью помощи в обучении музыкальному языку, в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 6 показывает объект музыкальных данных в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 7 показывает способ вывода звука нот сольфеджио и нотной записи в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 8 показывает блок «пение2знак» (sing2sign) (преобразования пения в знаки) для обеспечения обратной связи в отношении точности записи пения в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 9 показывает способ анализа параметров записи пения для обеспечения обратной связи в отношении точности записи пения в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 10 показывает неограничивающую примерную конфигурацию вероятностей перехода между слогами для распознавателя слогов в соответствии с некоторыми примерами осуществления изобретения.
Фиг. 11 показывает пример отображения нотного листа с обратной связью в соответствии с некоторыми примерами осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Изобретение в общем относится к системе и способу обучения и изучения нотной записи, сольфеджио и пения с использованием компьютеризированного устройства в соответствии с примерами осуществления.
Фиг. 1 показывает пример нотного листа. Нотная запись 100 содержит пятилинейный нотный стан 105, на котором написаны или напечатаны одна или более нот, в настоящем документе обозначенных нотой 110. Расположение или положение ноты 110 на пятилинейном нотном стане 105 показывает высоту ноты, тогда как разная форма ноты показывает длительность. Кроме того, на нотной записи 100 могут быть изображены знаки громкости и изменения громкости, указывающие предполагаемую громкость звуков во время исполнения, например, меццо-форте (mf) 120 для пения нот умерено громко или меццо-пиано (mp) 121 для пения нот умерено тихо. Нотная запить читается слева направо и сверху вниз.
Изучающий сольфеджио учится читать такие нотные листы и петь ноты 110 с соответствующей высотой, временем и громкостью с использованием собственного голоса. Пение нот означает артикуляцию соответствующего слога 135 сольфеджио (например, одного из до, ре, ми, фа, соль, ля или си). Слоги 135 не отображаются на нотном листе 100; наоборот, изучающий должен запомнить связь между положением (или высотой) нот и их названиями. Артикуляция слогов улучшает процесс запоминания. В некоторых случаях на устройстве отображения визуальном отображении может быть обеспечен визуальный индикатор 140, который показывает, какая нота озвучивается компьютерной программой во время воспроизведения.
В условиях учебной аудитории ученики могут практиковать только совместное пение сольфеджио под руководством преподавателя, тогда как индивидуальная практика в домашних условиях практически невозможна из-за отсутствия надлежащего профессионального контроля и помощи. Многие современные музыкальные программы для государственных школ предполагают и рекомендуют применение сольфеджио, но это сложно реализуемо, и, как правило, изучение музыкального языка на практике доступно только ученикам, обучающимся игре на музыкальном инструменте.
В настоящее время существуют компьютерные программы, которые помогают в изучении музыки. Однако ни одна из существующих программ не обучает сольфеджио, например, пению музыкальных нот, написанных в партитуре, путем артикуляции названий нот. Например, программа «Sight-singing®» генерирует мелодию из написанных нот, но звук воспроизводится электронным синтезатором, а не за счет артикуляции названий нот человеческим или человекоподобным голосом. Также эта программа может записывать входящее пение, анализировать высоту голоса и указывать исполнителю, была ли высота слишком низкой или слишком высокой, а также указывать правильность длительности. Однако она не распознает и не предоставляет обратной связи по другим параметрам звука: ни по озвученному тексту/сольфеджио, ни по времени, ни по громкости. Следовательно, программа «Sight-singing®» не подходит для помощи в изучении сольфеджио.
Также существуют компьютерные программы, которые синтезируют человекоподобное пение. Например, программный продукт под названием «Vocaloid®» принимает входящую мелодию и входящий текст для нее и синтезирует человекоподобный голос, который пропевает текст в соответствии с мелодией. Однако ни одна из этих программ не показывает пользователю индикатор воспроизводимых нот и не позволяет записывать входящее пение и предоставлять обратную связь исполнителю в отношении точности его исполнения. В связи с этим они не могут использоваться для помощи в изучении сольфеджио.
Также существуют программы для преобразования речи в текст, которые распознают произносимое текстовое содержание из звукового сигнала. Такие программы теоретически могут быть объединены с программами, подобными «Sight-singing®», для предоставления обратной связи в отношении пропетых названий нот. Однако программы для преобразования речи в текст применяют методы машинного обучения, использующие множество записей человеческой речи для построения статистических моделей акустических свойств речевых сигналов, и их точность снижается, если речь пропевается, а не произносится. В дополнение они не предоставляют информацию о высоте, времени, длительности и громкости каждого распознанного слога. В связи с этим они не совсем подходят для помощи в изучении сольфеджио.
Одно техническое решение в соответствии с изобретением заключается в обеспечении системы и способа, в которых компьютеризированное устройство выполнено с возможностью обеспечения пользователю визуального и звукового инструмента обучения сольфеджио для помощи в изучении музыкального языка. Компьютеризированное устройство использует объекты музыкальных данных нотной записи и звука ноты. Объект музыкальных данных может представлять собой структуру цифровых данных, которая содержит данные о ноте для одной или более нот, например, песня, музыкальный отрывок или его часть. Изобретение включает в себя представление, например, визуальное, музыкальной партитуры на экране и позволяет пользователю одновременно озвучивать ноты в виде пения сольфеджио; например, компьютеризированная система воспроизводит название ноты с правильной высотой, длительностью и громкостью. Это позволяет пользователю изучать данные характеристики ноты на слух и знакомиться с музыкальным языком.
Другое техническое решение в соответствии с изобретением заключается в использовании записи пения пользователя для обеспечения обратной связи и точной оценки певческого исполнения пользователя. Компьютеризированное устройство анализирует записанное пение и предоставляет обратную связь в режиме реального времени, обеспечивая мгновенное представление высоты, длительности, громкости, слога и/или темпа спетой ноты в текущей партитуре, позволяя пользователю сравнивать исходную партитуру и исполнение пользователя.
Настоящее изобретение описывает готовое специализированное решение для помощи в изучении сольфеджио. Оно включает в себя некоторые компоненты, содержащиеся в существующих продуктах, например, Vocaloid®, Sight-singing® и продуктах для преобразования речи в текст, но также обеспечивает дополнительные компоненты, которые не являются частью таких продуктов. В частности, достигается превосходная точность анализа записанного пения за счет знания ожидаемой последовательности пропеваемых нот на основе соответствующего контрольного объекта музыкальных данных, который включает в себя по меньшей мере один параметр из высоты, длительности, громкости, слогов и темпа последовательности нот, и ожидаемой корреляции между ожидаемыми пропеваемыми слогами и высотой сегментов слога. Упомянутое знание не учитывается в программах для преобразования речи в текст. Комбинированный анализ слогов и высоты позволяет более точно оценивать другие параметры сигнала, по которым необходимо предоставить обратную связь пользователю, например, время, длительность и громкость исполняемых нот.
Варианты осуществления изобретения могут включать в себя продукт, например, не носящий временного характера считываемый компьютером или процессором носитель данных, например, память, дисковый накопитель или USB-флеш-накопитель, кодирующий, содержащий или хранящий инструкции, например, выполняемые компьютером инструкции, которые при выполнении процессором или контроллером заставляют процессор или контроллер к реализации способов, раскрытых в настоящем документе. Инструкции могут заставлять процессор или контроллер к выполнению процессов, которые реализуют способы, раскрытые в настоящем документе. Представленные в настоящем документе процессы и отображения по существу не связаны с каким-либо конкретным компьютером или другим устройством. С программами в соответствии настоящим изобретением могут быть использованы различные системы общего назначения, или может быть полезно обеспечить специализированное устройство для выполнения желаемого способа. Необходимо понимать, что для реализации вариантов выполнения изобретения, описанных в настоящем документе, может быть использовано множество языков программирования.
Фиг. 2 показывает систему обучения сольфеджио и пению с листа в соответствии с некоторыми примерами осуществления изобретения. Система 200 содержит одно или более компьютеризированных устройств, проиллюстрированных, например, в виде компьютеризированного устройства 205, представляющего любое количество компьютеризированных устройств 205, как обозначено пунктирными линиями 215. Компьютеризированное устройство 205 может представлять собой настольный компьютер, переносной компьютер, планшетный компьютер, смартфон или т.п. Компьютеризированное устройство 205 содержит запоминающее устройство для хранения выполняемого компьютером программного обеспечения или приложения, которое при выполнении блоком обработки позволяет пользователю компьютеризированного устройства 205 изучать музыкальный язык с использованием выполняемого компьютером программного обеспечения или приложения. Компьютеризированное устройство 205 может включать в себя или может быть функционально связано с продуктом, например, энергонезависимую копьютеризированную систему или считываемый процессором носитель данных, например, память, дисковый накопитель или USB-флеш-накопитель кодирующим, содержащим или хранящим инструкции, например, выполняемые компьютером инструкции, которые при выполнении процессором или контроллером побуждают процессор или контроллер к реализации способов, раскрытых в настоящем документе. Инструкции могут заставлять процессор или контроллер к выполнению процессов, которые реализуют способы, раскрытые в настоящем документе.
Выполняемое компьютером программное обеспечение или приложение выполняет считываемые компьютером файлы или объекты музыкальных данных, содержащие свойства ноты. Свойства ноты содержат данные для генерации нотной записи и звука ноты объекта музыкальных данных. Объект музыкальных данных содержит последовательность одной или более нот, причем каждая нота содержит по меньшей мере одно из следующих свойств: высота ноты, длительность ноты, громкость ноты и слог, связанный с нотой. Объект музыкальных данных может быть обеспечен в виде считываемого цифрового файла, содержащего музыкальные данные, например, SMF-стандартный MIDI-файл, musicXML-файл или подобный цифровой музыкальный файл, раскрытый и включенный в настоящий документ путем ссылки на следующие документы www.midi.org/specifications/category/complete-midi-1-0-detailed-specification, www.midi.org/articles/an-intro-to-midi и/или usermanuals.musicxml.com/MusicXML/MusicXML.htm.
Система 200 дополнительно содержит один или более серверов, проиллюстрированных в виде сервера 220, представляющего любое количество серверов 220, как обозначено пунктирными линиями 225. Сервер 220 в общем хранит объекты музыкальных данных, например, контрольные объекты музыкальных данных, которые используются для генерации последовательности представлений, связанных с нотами, например, слышимого звука ноты и визуальных представлений ноты, что позволяет пользователю изучать музыкальный язык. Компьютеризированное устройство 205 выполнено с возможностью доступа к серверу 220 для получения объектов музыкальных данных. В некоторых неограничивающих вариантах осуществления сервер 220 управляет доступом пользователей к объектам музыкальных данных, например, разрешая доступ к объектам музыкальных данных только зарегистрированным пользователям.
В некоторых неограничивающих вариантах осуществления одно или более компьютеризированных устройств 205 функционально соединены или связаны или подключены между одним или более серверами 220, причем соединение или связи проиллюстрированы и представлены сетью 230. Сеть 230 может содержать один или более средствами связи между одним или более компьютеризированными устройствами 205 и одним или более серверами 220. Например, сетевые каналы позволяют функционально соединять одно или более компьютеризированных устройств 205 и один или более серверов 220 посредством проводной связи, беспроводной связи, LAN или т.п.
Фиг. 3 показывает компьютеризированное устройство 300, выполненное с возможностью помощи в обучении музыкальному языку в соответствии с некоторыми примерами осуществления изобретения. Компьютеризированное устройство 300 содержит музыкальный процессор 305 и блок 310 отображения, который отображает и позволяет пользователю визуально просматривать нотную запись контрольного объекта музыкальных данных. Компьютеризированное устройство 300 содержит блок 315 генерации звука или воспроизведения звука, который генерирует синтезированный звук пения сольфеджио и позволяет пользователю прослушивать синтезированный звук. Компьютеризированное устройство 300 содержит блок 320 записи звука, который позволяет пользователю записывать свое певческое исполнение сольфеджио, например, микрофон. Компьютеризированное устройство 300 содержит блок 325 хранения. Компьютеризированное устройство 300 может содержать блок 330 связи, который обеспечивает связь компьютеризированного устройства 300 с сервером 220 для получения одного или более контрольных объектов музыкальных данных для использования пользователем компьютеризированного устройства 300.
В некоторых случаях пользователь может дополнительно загружать объекты музыкальных данных на сервер 200 для использования другими пользователями, и может быть обеспечен удаленный доступ к объектам музыкальных данных с сервера 200, например, через сетевой интерфейс.
Музыкальный процессор 305 содержит блок 410 преобразования знаков в пение, показанный на фиг. 4, который принимает контрольный объект 415 музыкальных данных в качестве входных данных, отображает письменную нотную запись контрольной музыки и генерирует слышимый звук, который представляет собой синтезированное пение слогов сольфеджио с определенной высотой, длительностью громкостью и темпом, которые получены на основе контрольного объекта музыкальных данных.
Музыкальный процессор содержит блок 450 «пение2знак» (преобразования пения в знаки), показанный на фиг. 4, например, модуль анализа «пение2знак» (преобразования пения в знаки), который получает исполнение 445 звуков сольфеджио пользователем, анализирует исполнение в соответствии с соответствующим контрольным объектом музыкальных данных для генерации оценки точности пользователя в соответствии с различными свойствами, например, точности высоты, точности длительности, точности громкости, точности темпа и точности слога или их сочетания, и генерирует визуальную обратную связь 455 пользователю в отношении точности входящего пения.
Фиг. 4 показывает схематично иллюстрацию двух основных функциональных компонентов системы, например, модуль синтеза «знак2пение» (преобразования знаков в пение) и модуль анализа «пение2знак» (преобразования пения в знаки), в соответствии с некоторыми примерами осуществления изобретения. Блок 330 хранения, показанный на фиг. 3, хранит один или более контрольных объектов музыкальных данных, которые доступны пользователю компьютеризированного устройства 300, показанного на фиг. 3. Каждый контрольный объект музыкальных данных из одного или более контрольных объектов музыкальных данных может хранить данные, относящиеся к определенной последовательности нот. Объект музыкальных данных и данные о нотах дополнительно описаны в настоящем документе со ссылкой на фиг. 6.
Фиг. 5 показывает сервер системы, выполненной с возможностью помощи в обучении музыкальному языку, в соответствии с некоторыми примерными вариантами выполнения изобретения. Сервер 500 содержит серверную базу 505 данных, которая хранит объекты музыкальных данных. Объекты музыкальных данных хранятся на сервере 500, что позволяет одному или более компьютеризированным устройствам 205, показанным на фиг. 2, получать доступ к объектам музыкальных данных. Сервер 500 содержит блок 515 связи, который обеспечивает связь сервера 500 с одним или более компьютеризированными устройствами 205. Блок 510 связи передает объекты музыкальных данных компьютеризированному устройству 205. Блок 510 связи также выполнен с возможностью приема объектов музыкальных данных от компьютеризированных устройств 205, и объекты музыкальных данных хранятся в серверной базе 505 данных и, следовательно, доступны другим компьютеризированным устройствам из одного или более компьютеризированных устройств 205.
Сервер 500 содержит блок 520 регистрации пользователей, который хранит данные, связанные с зарегистрированными пользователями, которые имеют доступ к серверу 500 и могут получать объекты музыкальных данных. Например, блок 520 регистрации пользователей хранит информацию о пользователях компьютеров в государственных школах, например, об учителях музыки или учениках, что позволяет пользователю выполнять однократную регистрацию и скачивать или загружать объекты музыкальных данных. Компьютер 205 получает доступ к серверу 500 при вводе имени пользователя и пароля, которые хранятся в блоке 520 регистрации пользователей. После входа пользователь компьютера 205 может получать доступ к объектам музыкальных данных и использовать контент для обучения учеников музыкальному языку.
Фигура 6 показывает объект музыкальных данных в соответствии с некоторыми примерами осуществления изобретения. Объект 600 музыкальных данных содержит множество нот, например, последовательность нот. Каждая нота может быть связана с набором соответствующих данных о ноте или свойств 601 ноты. Каждый набор свойств 601 ноты может содержать по меньшей мере одно из высоты 605 ноты, длительности 615 ноты, громкости 620 ноты, темпа 625 музыки, аннотации 610 ноты и слога 630 ноты. Объект 600 музыкальных данных может представлять собой музыкальный отрывок или музыкальную композицию или ее часть.
Высота 605 ноты содержит значение, которое соответствует частоте ноты, например, нота ля четвертой октавы может иметь частоту 440 Гц.
Длительность 615 ноты содержит такие значения, как восьмая, четвертная, половинная, целая и т.п.Указанные длительности нот связаны с относительными длительностями времени, например, половинная нота имеет длительность, в два раза превышающую длительность четвертной ноты.
Темп 625 музыки содержит временное значение, которое соответствует физической длительности нот в пределах определенного отрезка последовательности нот, например, длительность, измеренная в миллисекундах, всех четвертных нот в указанном отрезке. В других вариантах осуществления темп может соответствовать физической длительности восьмых нот, четвертных нот или половинных нот. Темп может быть постоянным для всей последовательности нот или принимать разные значения в разных отрезках последовательности нот.
Громкость 620 ноты содержит значение, связанное с относительной громкостью ноты, например, выделяется ли нота или звучит громче, чем другие ноты в последовательности нот, описанной в объекте музыкальных данных.
Слог 630 ноты содержит название или слог, связанный с нотой, например, слог ноты до. В некоторых случаях слог 630 ноты может содержать один или более слогов.
Аннотация 610 ноты указывает графическое представление ноты для визуального отображения ноты, например, отображения в блоке 310 отображения, показанном на фиг. 3. Аннотация 610 ноты связана с другими компонентами свойств 601 каждой ноты в последовательности нот, представленной объектом 600 музыкальных данных, например, аннотация 610 ноты может быть определена в соответствии с высотой 605 ноты, громкостью 620 ноты или т.п., что позволяет создавать точную графическую нотную запись каждой ноты в последовательности нот. Примерная аннотация 610 ноты показана на фиг. 1.
Объект 600 музыкальных данных может содержать последовательность нот, причем каждая нота связана со свойствами 601 ноты, представленными в настоящем документе в виде трех точек 603, причем последовательность нот содержит одну или более нот и связанные с ними свойства 601 нот. Последовательность нот вместе со связанными свойствами 601 нот позволяют генерировать слышимое и видимое представление последовательности нот.
Необходимо отметить, что объект 600 музыкальных данных, обеспеченный в настоящем документе, может представлять собой контрольный объект музыкальных данных и/или анализируемый объект музыкальных данных.
Фиг. 7 показывает способ, осуществляемый блоком 410 «знак2пение» (преобразования знаков в пение), показанным на фиг. 4, для генерации визуальной нотной записи и синтезированного музыкального отрывка, в соответствии с некоторыми примерными вариантами выполнения изобретения. Блок 410 «знак2пение» выполнен с возможностью выполнения этапа 702, на котором получают контрольный объект музыкальных данных. Например, контрольный объект музыкальных данных получают из блока 325 хранения, показанного на фиг. 3, или с сервера 205, показанного на фиг. 2. В некоторых примерах осуществления изобретения получаемый контрольный объект музыкальных данных может быть сгенерирован на основе входящего файла, например, на основе pdf-файлов, файлов изображений, текстовых файлов, видеофайлов или т.п.
Блок 410 «знак2пение» (преобразования знаков в пение) выполнен с возможностью выполнения этапа 705, на котором определяют контрольную последовательность слогов, которая соответствует последовательности нот, представленной контрольным объектом музыкальных данных. В некоторых вариантах осуществления этапа 705 контрольный слог для каждой ноты из последовательности нот четко сохранен в данных о ноте и может быть непосредственно получен. В некоторых вариантах выполнения этапа 705 контрольные слоги не хранятся в объекте музыкальных данных и определяются в соответствии со свойством высоты нот. Примерная контрольная последовательность слогов может иметь следующий вид, например, «до-ре-ми-до-ре-си-до-ре-фа».
Блок 410 «знак2пение» (преобразования знаков в пение) выполнен с возможностью осуществления этапа 710, на котором генерируют графическую нотную запись, соответствующую контрольному объекту музыкальных данных. Графическая нотная запись выводится из блока 410 «знак2пение» и может быть отображена в блоке 310 отображения компьютеризированного устройства 300, например, на экране компьютера. Графическая нотная запись позволяет пользователю компьютеризированного устройства 300 читать нотную запись во время воспроизведения звука ноты блоком 315 воспроизведения звука для дополнительного понимания пользователем связи между графической нотной записью и акустическими свойствами соответствующего музыкального звука. Нотная запись может включать в себя письменную аннотацию нот, указание длительности на основе формы представления ноты, темп (например, умеренно) и индикатор динамики, например, индикатор 140, который показывает ноту, воспроизводимую в данный момент.
Блок 410 «знак2пение» выполнен с возможностью осуществления этапа 720, на котором генерируют слышимую синтезированную последовательность слогов человекоподобного пения на основе контрольного объекта музыкальных данных, которая может быть сгенерирована, например, блоком 315 воспроизведения звука, показанным на фиг. 3. Синтезированная последовательность звуков нот может быть озвучена пользователю компьютеризированного устройства 300, показанного на фиг. 3, что позволяет пользователю слышать звуки нот и воспринимать их высоту, длительность, темп, связанные слоги и громкость, а также следить за динамическим визуальным индикатором, который может отображаться на нотной записи, например, по существу одновременно с воспроизведением текущей ноты.
В соответствии с некоторыми примерами осуществления изобретения синтезированная последовательность реализована как частный случай механизма преобразования текста в речь. Механизм преобразования текста в речь содержит набор элементарных акустико-фонетических единиц в форме цифрового акустического сигнала, правил объединения элементарных единиц друг с другом и компонента просодии, который определяет высоту, длительность и громкость элементарных единиц в соответствии с набором правил расстановки ударения в каждом слове и использования интонации в предложении. Разные реализации преобразования текста в речь выбирают разные наборы элементарных акустико-фонетических единиц. В настоящем изобретении синтез сольфеджио реализован путем выбора в качестве акустико-фонетических единиц слоговых названий нот, например, до, ре, ми, фа, соль, ля, си, и замены правил просодии свойствами нот, например, высота, длительность и громкость элементарных единиц определяются в соответствии со свойствами нот или данными о нотах.
В соответствии с некоторыми примерами осуществления изобретения графическая нотная запись, соответствующая конкретному объекту музыкальных данных, отображается пользователю, например, посредством блока 310 отображения, при выборе пользователем указанного объекта музыкальных данных. В соответствии с некоторыми вариантами осуществления выполнения изобретения соответствующий звук генерируется при приеме системой указания, например, от пользователя, для обеспечения звука, например, путем приема команды генерации звука, который может быть выведен через блок 315 воспроизведения звука. В соответствии с некоторыми примерами осуществления изобретения одновременно или практически одновременно с соответствующим звуком, выводимым через блок 315 воспроизведения звука, на графической нотной записи 100 может отображаться динамическая или движущаяся визуальная метка 140, положение которой в любой заданный момент времени указывает озвучиваемую в данный момент ноту.
Фиг. 8 показывает блок «пение2знак» (преобразования пения в знаки) для осуществления способа анализа записанного входящего музыкального отрывка, спетого пользователем, и генерации обратной связи в отношении точности записи пения в соответствии с некоторыми примерами осуществления изобретения. Блок 450 «пение2знак», показанный на фиг. 4, может представлять собой программный модуль, например, выполняемый блоком обработки, который выполнен с возможностью выполнения этапа 805, на котором получают звукозапись, например, путем приведения в действие блока 320 записи звука, показанного на фиг. 3, и сохранения записанного звука в блоке хранения.
Блок 450 «пение2знак» выполнен с возможностью выполнения этапа 807, на котором получают контрольный объект музыкальных данных и все соответствующие данные о нотах, полученные блоком 410 «знак2пение» (преобразования знаков в пение).
Блок 450 «пение2знак» выполнен с возможностью выполнения этапа 810, на котором анализируют записанный звук, например, отрывок сольфеджио, спетый пользователем. Анализ включает в себя преобразование записи пения пользователя в анализируемый объект музыкальных данных. Анализ включает в себя анализ параметров звуков, спетых пользователем, например, временную сегментацию, для определения последовательности отдельных нот и связанных с ними свойств нот, например, высоты, времени, длительности, громкости и спетого слога каждой ноты. При использовании в настоящем документе время ноты указывает время начала спетого слога, например, измеренное с начала записанного звука, или относительное время, например, с конца предыдущей определенной ноты. В некоторых случаях музыкальный процессор 305 распознает по меньшей мере спетый слог и высоту спетого слога, что позволяет анализировать запись пения. Анализируемый объект музыкальных данных может быть сгенерирован на основе выходных данных блока 810 анализа, например, путем сохранения значения, вычисленного для каждого свойства ноты (например, высоты, длительности, темпа, слога и громкости), связанного с нотой в последовательности нот, обеспеченной в соответствующем контрольном объекте музыкальных данных. Этап 810 способа дополнительно описан в настоящем документе со ссылкой на фиг. 9.
Блок 450 «пение2знак» (преобразования пения в знаки) выполнен с возможностью выполнения этапа 807, на котором получают контрольный объект музыкальных данных и все соответствующие данные о нотах, полученные блоком 410 «знак2пение», в том числе соответствующую контрольную последовательность слогов, определенную на этапе 705.
Блок 450 «пение2знак» (преобразования пения в знаки) выполнен с возможностью выполнения этапа 820, на котором генерируют оценку точности исполнения пользователя на основе записанного звука. Блок 450 «пение2знак» сравнивает анализируемый объект музыкальных данных с соответствующим контрольным объектом музыкальных данных для определения оценки точности записи пения. Оценка точности определена количественно, например, как различия или отношения между анализируемыми параметрами, например, анализируемым объектом музыкальных данных, сгенерированным на основе записи пения, и контрольными параметрами, например, контрольным объектом музыкальных данных.
Оценка точности может быть выполнена с помощью таблицы квантования точности, которая преобразует значения точности в один из нескольких показателей степени неточности, например, таблица может содержать диапазон значений, например, указывающих, что отклонение высоты определенной ноты в записанном звуке находится в пределах достаточно узкого диапазона правильной высоты, в некоторой степени близко к правильной высоте или абсолютно неправильно. В некоторых случаях таблица квантования точности может храниться, например, в блоке 325 хранения, показанном на фиг. 3. Например, отклонение, не превышающее первое значение, считается отсутствием ошибки, тогда как отклонение между первым и вторым значениями считается небольшой ошибкой, а отклонение, превышающее второе значение, считается серьезной ошибкой. Таблица также может указывать характер ошибки, например, небольшая ошибка в слишком низкой высоте или серьезная ошибка в слишком высокой высоте.
В одном примере осуществления точности достигается путем первого преобразования анализируемого объекта музыкальных данных в квантованный объект музыкальных данных, который подобен или идентичен по формату контрольному объекту музыкальных данных, например, имеет тот же тип структуры данных. Например, контрольный объект музыкальных данных может указывать высоту нот как одно из семи возможных значений для каждой октавы. Преобразование анализируемого объекта музыкальных данных в такой же формат может включать в себя квантование анализируемых значений высоты в одно из указанных семи возможных значений. Например, если анализируемая высота находится между «до» и «ре», она будет проквантована либо в «до», либо в «ре», в зависимости от того, к чему она ближе. После указанного преобразования музыкальный процессор 305 выполнен с возможностью выполнения этапа 820, на котором сравнивают оценку точности анализируемого объекта с контрольным объектом музыкальных данных и определяют какие-либо различия. Различия могут быть определены как ошибка, которая затем предоставляется пользователю в рамках обратной связи, как показано на фиг. 11. Например, обратная связь может указывать, что пользователь спел ноту, высота которой звучит как «ре» вместо «ми».
Блок 450 «пение2знак» (преобразования пения в знаки) выполнен с возможностью выполнения этапа 830, на котором генерируют представление обратной связи, которое показывает оценку точности в форме визуальной обратной связи для пользователя. Например, обратная связь может представлять собой визуальное представление, показывающее один или более индикаторов, например, сообщение, график, диаграмму, схему, шкалу или т.п., указывающих степень точности различных параметров, определенных из записи пения, например, точность высоты, точность произношения слога ноты, точность времени начала и конца, точность длительности ноты, точность темпа и точность громкости, например, для каждой ноты в последовательности нот, обеспеченной в объекте музыкальных данных, как показано в некоторых примерах на фиг. 11.
Фиг. 9 показывает способ анализа записи пения для получения анализируемых параметров записи пения с целью обеспечения обратной связи в отношении точности записи пения в соответствии с некоторыми примерами осуществления изобретения. Способ может выполняться, например, с использованием процессора компьютеризированной системы. На этапе 911 генерируют первую оценку высоты. Генерация первой оценки высоты основана на оценке значения высоты и показателя периодичности методом автокорреляции, например, методом, раскрытым и включенным в настоящий документ в качестве ссылки на документ на имя Parsons, «Voice and Speech Processing)), McGraw Hill, ISBN 0-07-048541-0, 1986, Глава 8 (далее - «Parsons») и на имя S. A. Zahorian и Н. Hu, «А spectral/temporal method for robust fundamental frequency tracking)), J. Acoustical Society America 123(6), июнь 2008 (далее - «Zahorian»).
В другом примере осуществления изобретения первую оценку высоты получают посредством кепстрального метода, например, описанного и включенного в настоящий документ в качестве ссылки на документ на имя Parsons. В другом примере осуществления изобретения оценку высоты получают путем сочетания упомянутого метода автокорреляции или кепстрального метода или других связанных методов, известных специалисту в области этой техники.
На этапе 911 генерируют независимые оценки высоты в каждом интервале, например, как необработанные оценки высоты, где интервалы представляют собой короткие отрезки голосового сигнала, которые могут варьироваться по длительности в диапазоне, например, от 10 до 100 миллисекунд. Первая оценка высоты генерирует интервальное значение высоты и показатель периодичности. Известно, что упомянутый показатель периодичности в заданном временном интервале коррелируется со степенью, в которой сигнал в указанном временном интервале относится к гласному звуку.
На этапе 912 выполняют распознавание слогов и временную сегментацию. Распознавание слогов и временную сегментацию выполняют, например, с помощью специализированной версии механизма преобразования речи в текст, например, раскрытого и включенного в настоящий документ в качестве ссылки на документ на имя X. Huang, А. Асего и Н. Hon, «Spoken Language Processings, Prentice Hall, ISBN-13-022616-5, 2001 (далее - «Huang»). Специализированная версия механизмов преобразования речи в текст генерирует наиболее вероятную последовательность слогов, соответствующую записанному сигналу, и соответствующее указание времени начала и конца каждого слога, например, вероятную последовательность слогов, схематически проиллюстрированную на фиг. 10.
Специалисту в данной области техники понятно, что механизмы преобразования речи в текст известного уровня техники основаны на статистических моделях распознаваемых фонетических единиц и сравнении записанного сигнала с этими статистическими моделями. В одном примере осуществления статистические модели могут быть реализованы с использованием скрытых Марковских статистических моделей. Статистические модели генерируются, как известно в уровне техники, на более раннем этапе обучения с использованием базы данных акустических записей. Модели состоят из набора заданных математических функций, которые характеризуются набором заданных параметров, где каждая фонетическая единица содержит разные значения для заданных параметров. Каждая фонетическая единица моделируется в соответствии с последовательностью состояний, которые непосредственно не наблюдаются, где каждое состояние характеризуется распределением вероятностей наблюдаемых акустических признаков, причем указанное распределение вероятностей известно в уровне техники как вероятность результата или выхода.
Обычно для механизмов преобразования речи в текст указанные акустические признаки, в отношении которых определяется указанная вероятность результата, содержат кепстральные коэффициенты, соответствующие временному интервалу. Набор заданных параметров, которые характеризуют слог, состоит из вероятностей перехода между состояниями и параметрами вероятности результата, соответствующими каждому состоянию. Упомянутый набор заданных параметров генерируется на основе базы данных записей. В дополнение, набор заданных вероятностей перехода между фонетическими единицами, известное специалисту в данной области техники как «грамматика», обычно генерируется на основе большой базы данных текстов, содержание которых подобно ожидаемому во время распознавания. Во время распознавания распознаватель оценивает вероятности возможных последовательностей фонетических единиц и выполняет поиск наиболее вероятной последовательности.
В некоторых примерах осуществления изобретения распознавание слогов, выполняемое в настоящем изобретении на этапе 912, отличается от механизмов преобразования речи в текст известного уровня техники, раскрытых выше в отношении указанных акустических признаков. В одном варианте осуществления акустические признаки также включают в себя значение высоты и значение показателя периодичности в дополнение к кепстральным коэффициентам, используемым в механизмах преобразования речи в текст известного уровня техники. Вероятности результата также включают в себя распределение вероятностей по значениям высоты и вес указанного распределения вероятностей в общей вероятности результата, который определяется показателем периодичности, в дополнение к распределению вероятностей по кепстральным коэффициентам, используемым в известном уровне техники.
В одном варианте осуществления распознавание слогов отличается от механизмов преобразования речи в текст известного уровня техники в выборе элементарных фонетических единиц. Упомянутые фонетические единицы содержат слоги сольфеджио плюс единица тишины, которая определяет период тишины. В отличие от известного уровня техники множество фонетических единиц в каждом слоге присваивается слогам, которые исполняются в разных октавах. В некоторых вариантах осуществления количество октав может настраиваться.
В некоторых примерах осуществления изобретения каждый слог моделируется по меньшей мере двумя состояниями скрытой Марковской модели, где по меньшей мере первое состояние соответствует согласному звуку, и по меньшей мере последнее состояние соответствует гласному звуку.
В некоторых примерах осуществления изобретения в набор фонетических единиц добавлена фонетическая единица короткой паузы.
В некоторых примерах осуществления изобретения грамматика, используемая для распознавания слогов, составлена так, что возможны все переходы между всеми слогами, но более высокая вероятность, обозначенная в настоящем документе «Ре», присвоена переходу между слогами, которые соответствуют контрольной последовательности слогов, полученной на основе контрольного объекта музыкальных данных, который соответствует анализируемому отрывку записанного звука. Ре является настраиваемым параметром. Указанная грамматика позволяет обнаруживать неправильные последовательности в ходе операции 912 распознавания слогов, но присваивает таким неправильным последовательностям меньшую вероятность.
В некоторых примерах осуществления изобретения грамматика, используемая для распознавания слогов, составлена так, что она включает в себя переходы в состояния слогов, которые на одну октаву выше или на одну октаву ниже контрольной музыки.
В некоторых примерах осуществления изобретения операция 912 распознавания слогов предусматривает использование акустических признаков, которые не включают в себя информацию о высоте. В некоторых вариантах осуществления генерация первой оценки высоты и распознавания слогов может быть обращена, и первая и вторая оценки высоты могут быть объединены в один блок оценки высоты.
В некоторых примерах осуществления изобретения вероятность результата распознавателя слогов моделируется смесью многомерных распределений Гаусса. В некоторых примерных вариантах выполнения изобретения вероятность результата моделируется нейронной сетью.
Результат распознавания слогов может включать в себя, например, более подробную информацию, чем в механизмах преобразования речи в текст известного уровня техники. Результат операции 912 распознавания слогов может содержать наиболее вероятную последовательность слогов, наиболее вероятное время начала и конца каждого слога и наиболее вероятное время начала и конца гласного звука в каждом слоге или т.п.
На этапе 810 анализа процессор получает данные распознавания слогов из базы 816 данных распознавания слогов. База 816 данных распознавания слогов может храниться, например, в компьютеризированной системе 205 и/или на сервере 220.
На этапе 913 генерируют вторую оценку высоты каждой ноты. Вторая оценка высоты представляет собой вычисление среднего значения из всех интервальных значений высоты, вычисленных в результате первой оценки 911 высоты, за все интервалы между временем начала и временем конца гласного звука каждого слога ноты. В соответствии с одним вариантом выполнения упомянутое среднее значение высоты может быть использовано или определено в качестве анализируемого значения высоты, соответствующего спетой ноте.
В некоторых примерах осуществления изобретения значения высоты каждой ноты подвергается дополнительной нормализации для уточнения обратной связи. Эта нормализация связана с определением того, какая высота считается «правильной», для предоставления обратной связи исполнителю, например, когда спетая нота звучит чисто, и когда она звучит фальшиво. В некоторых случаях исполнитель может воспроизводить ноты, которые идеально выровнены относительно друг друга, но не соответствуют абсолютному музыкальному звукоряду, например, в музыкальном звукоряде, где «ля» четвертой октавы имеет частоту 440 Гц. В соответствии с таким вариантом осуществления предпочтительно предоставлять пользователю обратную связь, которая содержит только ошибку в относительной высоте спетых нот. Смещение абсолютной высоты спетых нот оценивается на основе средней разности или среднего отношения между контрольными и анализируемыми значениями высоты по всем спетым нотам. Смещение абсолютной высоты может быть использовано для генерации нормализованного анализируемого значения высоты каждой ноты, например, путем вычитания смещения абсолютной высоты из анализируемой высоты или деления анализируемой высоты на смещение абсолютной высоты.
На этапе 914 генерируют определение времени и длительности на основе сегментации слогов. В некоторых случаях время начала каждого распознанного слога принимается за анализируемое время соответствующей спетой ноты. В некоторых случаях разность между временем момента конца и временем момента начала каждого слога может быть использована для вычисления длительности соответствующей спетой ноты.
На этапе 915 генерируют оценку громкости. В некоторых случаях громкость каждой ноты вычисляется как отношение между силой звука каждой ноты и средним значением для каждой ноты из последовательности нот, где сила звука каждой ноты вычисляется как средняя сила сигнала между временем момента начала и временем момента конца каждого слога ноты.
Фиг. 10 показывает неограничивающую примерную конфигурацию вероятностей перехода между слогами для операции 912 распознавания слогов в соответствии с некоторыми примерами осуществления изобретения. Этот пример может быть использован для настройки параметра Ре, например, чтобы обнаруживать неправильные последовательности в ходе операции 912 распознавания слогов, и присваивать таким неправильным последовательностям меньшую вероятность.
В показанном примере контрольная последовательность слогов имеет следующий вид «до-ре-ми». Вероятностям перехода, соответствующим контрольной последовательности, присвоена более высокая вероятность Ре, как обозначено жирными линиями 1010, 1015, 1020, 1025. Фиг. 10 показывает визуальную иллюстрацию некоторых возможных вероятностей перехода тонкими линиями. Для этого примера показаны переходы к слогу «до» и от него. Этот пример иллюстрирует, что контрольная последовательность слогов используется для определения наиболее вероятной последовательности слогов в звукозаписи пения. Следует отметить, что в некоторых примерах осуществления изобретения грамматика не содержит никаких ограничений в отношении вероятностей перехода.
Фиг. 11 показывает пример отображения оценки исполнения пользователя и обратной связи в соответствии с некоторыми примерами осуществления изобретения. В некоторых примерах осуществления изобретения обратная связь может состоять из нотного листа с обратной связью или оценкой, который подобен контрольному нотному листу, но на котором визуальные представления свойств нот, например, с использованием отображаемых положений нот, размеров, акцентов и/или цветов, связаны с оцененной точностью анализируемой высоты, времени, длительности и громкости соответствующих нот в анализируемой записи.
Отображение 1100 нотного листа с обратной связью показывает нотный лист 1101, который обеспечивает оригинальную нотную запись контрольного объекта музыкальных данных. Нотный лист 1101 обеспечивает контрольное отображение 1105, например, фактические ноты с высотой, длительностью, громкостью темпом и т.п. Отображение 1100 нотного листа содержит отображение 1106 обратной связи, которое обеспечивает обратную связь, сгенерированную в соответствии с входящим исполнением пользователя. Например, обратная связь обеспечивается путем размещения отображения 1106 нот ниже или выше контрольного отображения 1105, если анализируемая высота является слишком низкой или слишком высокой, и путем окрашивания отображения нот для указания правильности высоты, например, в зеленый цвет для правильной высоты или красный цвет для неправильной высоты. Отображение 1106 обратной связи может обеспечивать обратную связь в виде написанного текста, например, «правильная высота», «правильный слог» или т.п.
В некоторых примерах осуществления изобретения слой обратной связи может обеспечивать вспомогательное отображение 1110 обратной связи, которое обеспечивает обратную связь в соответствии с отображением 1112 пары волнистых линий. Например, когда длительность спетой ноты является слишком короткой, отображение 1112 содержит короткие волнистые линии, когда длительность спетой ноты является слишком долгой, отображение 1112 содержит длинные волнистые линии. Когда спетая нота начинается поздно, волнистые линии начинаются после отображения ноты. В случае декрещендо или крещендо волнистые линии показаны сходящимися или расходящимися соответственно. В некоторых случаях отображение может обеспечивать другую обратную связь для длительности путем модификации формы ноты в соответствии с пользовательской нотной записью. Например, если контрольная нота была четвертной нотой, а анализируемая длительность больше соответствовала половинной ноте, ноты 1106 обратной связи будут иметь несплошную форму вместо сплошной формы.
Термины «процессор» или «компьютер» или «система» используются в настоящем документе в их обычных значениях из уровня техники, например, процессор общего назначения или микропроцессор, RISC-процессор или цифровой сигнальный процессор, возможно, содержащий дополнительные элементы, например память или коммуникационные порты. Как вариант или дополнительно термины «процессор» или «компьютер» или их производные означают устройство, которое может выполнять предоставленную или встроенную программу и/или может управлять и/или получать доступ к устройству хранения данных и/или другому устройству, например, входным и выходным портам. Термины «процессор» или «компьютер» означают также множество процессоров или компьютеров, соединенных и/или связанных и/или иным образом обменивающихся данными, возможно, совместно использующих один или более других ресурсов, например, память.
Термин «программное обеспечение», «программа», «программная процедура» или «процедура», «программный код» или «код» или «приложение» могут использоваться как синонимы в зависимости от контекста и означают одну или более команд или директив или схему выполнения последовательности операций, которые в общем представляют алгоритм и/или другой процесс или способ. Программа хранится на носителе информации, например, в RAM, ROM или на диске, или встроена в схему, доступную и выполняемую устройством, например, процессором или другой схемой.
Процессор и программа могут по меньшей мере частично составлять одно устройство, например, матрицу электронных вентилей, например, FPGA или ASIC, предназначенное для выполнения запрограммированной последовательности операций, возможно, содержащее или связанное с процессором или другой схемой.
Термин «компьютеризированное устройство» или «компьютеризированная система» или подобный термин означает устройство, содержащее один или более процессоров, управляемых или работающих в соответствии с одной или более программами.
В настоящем документе без ограничения модуль означает часть системы, например, часть программы, работающую или взаимодействующую с одной или более другими частями в этом же блоке или в другом блоке, или электронный компонент или узел для взаимодействия с одним или более другими компонентами.
В настоящем документе без ограничения процесс означает набор операций для достижения определенной цели или результата.
В настоящем документе термин «сервер» обозначает компьютеризированное устройство, обеспечивающее данные и/или операционный сервис или сервисы одному или более другим устройствам.
Термин «настройка» и/или «адаптация» с определенной целью или их производные предполагают использование по меньшей мере программного обеспечения и/или электронной схемы и/или вспомогательного устройства, предназначенного и/или реализованного и/или выполненного или работающего для достижения цели.
Устройство, хранящее и/или содержащее программу и/или данные, образует продукт производства. Если не указано иное, программа и/или данные хранятся на энергонезависимом носителе информации.
Блок-схемы и структурные схемы иллюстрируют архитектуру, функциональность или работу возможных исполнений систем, способов и компьютерных программных продуктов в соответствии с различными вариантами осуществления настоящего изобретения. В связи с этим каждый блок в блок-схемах или структурных схемах может представлять модуль, сегмент или участок программного кода, который содержит одну или более выполняемых инструкций для реализации определенной логической функции (функций). Следует также отметить, что в некоторых альтернативных исполнениях проиллюстрированные или описанные операции могут выполняться в другом порядке или сочетании или в виде одновременных операций вместо последовательных операций для достижения такого же или эквивалентного результата.
Соответствующие структуры, материалы, действия и эквиваленты всех элементов типа «средство или этап плюс функция» в приведенной ниже формуле изобретения предназначены для включения любой структуры, материала или действия для выполнения функций в сочетании с другими конкретно заявленными элементами. В настоящем документе формы единственного числа также предназначены для включения форм множественного числа, кроме тех случаев, когда контекст явно указывает иное. Дополнительно нужно понимать, что выражения «содержит» и/или «содержащий» и/или «имеющий» при использовании в настоящем описании указывают наличие заявленных признаков, целых чисел, этапов, операций, элементов и/или компонентов, но не исключают наличия или возможности добавления одного или более других признаков, целых чисел, этапов, операций, элементов, компонентов или их групп.
Используемую в настоящем документе терминологию не следует понимать как ограничение, если не указано иное, она предназначена только для описания конкретных вариантов осуществления и не предназначена для ограничения раскрытого изобретения. Хотя проиллюстрированы и описаны некоторые конкретные варианты осуществления раскрытого изобретения, следует понимать, что изобретение не ограничивается вариантами осуществления, описанными в настоящем документе. Не исключаются многочисленные модификации, изменения, вариации, замены и эквиваленты.
Термины в нижеследующей формуле изобретения следует толковать без ограничения, как раскрыто или описано в описании.
Хотя изобретение было описано со ссылкой на примеры осуществления, специалисту в данной области техники будет понятно, что могут быть сделаны различные изменения, и элементы могут быть заменены их эквивалентами без отклонения от объема охраны изобретения. В дополнение для адаптации конкретной ситуации или материала к замыслам изобретения может быть выполнено множество модификаций без отклонения от сущности предмета изобретения. В связи с этим предполагается, что раскрытое изобретение не ограничивается конкретным вариантом осуществления, раскрытым в качестве наилучшего варианта, предусмотренного для выполнения настоящего изобретения, а определяется только нижеследующей формулой изобретения.
Реферат
Настоящее изобретение раскрывает компьютеризированную систему помощи в обучении и изучении письменного музыкального языка, причем система содержит процессор, выполненный с возможностью получения контрольного объекта музыкальных данных, в котором контрольный объект музыкальных данных содержит последовательность свойств ноты, причем указанные свойства ноты содержат один или более параметров ноты; извлечения свойств ноты из объекта музыкальных данных; определения связанного слога ноты на основе свойств ноты; генерации визуальной нотной записи в соответствии со свойствами ноты и генерации синтезированного звука пения сольфеджио в соответствии с определенным слогом ноты и свойствами ноты; блок отображения, выполненный с возможностью отображения нотной записи; и блок генерации звука, выполненный с возможностью вывода синтезированного звука пения сольфеджио для пользователя компьютеризированной системы. 11 з.п. ф-лы, 11 ил.
