Перекрестная ссылка на родственную заявкуCross reference to related application
Настоящая заявка испрашивает приоритет заявки на патент Китая № 202010480925.6, поданной в Национальное управление интеллектуальной собственности Китая 30 мая 2020 года и озаглавленной «AUDIO CODING METHOD AND APPARATUS», которая включена сюда во всей своей полноте путем ссылки.This application claims priority to Chinese Patent Application No. 202010480925.6, filed with the National Intellectual Property Administration of China on May 30, 2020, entitled “AUDIO CODING METHOD AND APPARATUS,” which is incorporated herein by reference in its entirety.
Область техники, к которой относится изобретениеField of technology to which the invention relates
Настоящая заявка относится, в общем, к области технологий кодирования аудиосигнала и, в частности, к способу и устройству кодирования аудио.The present application relates generally to the field of audio signal coding technologies and, in particular, to a method and device for audio coding.
Уровень техникиState of the art
По мере улучшения качества жизни у людей возрастает потребность в высококачественном аудио. Для лучшей передачи аудиосигнала в ограниченной полосе пропускания аудиосигнал сначала кодируется, а затем кодированный битовый поток передается на сторону декодера. Сторона декодера выполняет обработку декодирования принятого битового потока для получения декодированного аудиосигнала, причем декодированный аудиосигнал предназначен для воспроизведения.As people's quality of life improves, their need for high-quality audio increases. In order to better transmit the audio signal in a limited bandwidth, the audio signal is first encoded, and then the encoded bitstream is transmitted to the decoder side. The decoder side performs decoding processing on the received bitstream to obtain a decoded audio signal, and the decoded audio signal is intended for playback.
То, как повысить эффективность кодирования аудиосигнала становится технической задачей, которую необходимо срочно решить.How to improve the efficiency of audio signal coding becomes a technical challenge that needs to be addressed urgently.
Сущность изобретенияThe essence of the invention
Варианты осуществления настоящей заявки предоставляют способ и устройство кодирования аудио для повышения эффективности кодирования аудиосигнала.Embodiments of the present application provide a method and device for encoding audio for improving the encoding efficiency of an audio signal.
Для решения вышеупомянутой технической задачи варианты осуществления настоящей заявки предоставляют следующие технические решения.To solve the above-mentioned technical problem, the embodiments of the present application provide the following technical solutions.
Согласно первому аспекту вариант осуществления настоящей заявки предусматривает способ кодирования аудио, включающий в себя: получение текущего кадра аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот; выполнение первого кодирования сигнала полосы высоких частот и сигнала полосы низких частот для получения первого параметра кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания; определение флага резервирования спектра каждого частотного бина (элемента разрешения) сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину, где первый спектр включает в себя спектр, соответствующий частотному бину перед кодированием с расширением полосы пропускания, и второй спектр включает в себя спектр, соответствующий частотному бину после кодирования с расширением полосы пропускания; выполнение второго кодирования над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра, где второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, и информация о тональном компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии тональной компоненты; и выполнение мультиплексирования битового потока нал первым параметром кодирования и вторым параметром кодирования для получения кодированного битового потока. В этом варианте осуществления настоящей заявки процесс первого кодирования включает в себя кодирование с расширением полосы пропускания. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может быть определен на основе спектров сигнала полосы высоких частот перед и после кодирования с расширением полосы пропускания. То, зарезервирован ли спектр частотного бина сигнала полосы высоких частот перед кодированием с расширением полосы пропускания после кодирования с расширением полосы пропускания, указывается с помощью флага резервирования спектра. Второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, и флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться во избежание повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.According to a first aspect, an embodiment of the present application provides a method for encoding audio, comprising: obtaining a current frame of an audio signal, where the current frame includes a high-frequency band signal and a low-frequency band signal; performing a first encoding of the high-frequency band signal and the low-frequency band signal to obtain a first encoding parameter of the current frame, where the first encoding includes bandwidth extension encoding; determining a spectrum reservation flag of each frequency bin (resolution element) of the high-frequency band signal, where the spectrum reservation flag indicates whether a first spectrum corresponding to the frequency bin is reserved in a second spectrum corresponding to the frequency bin, where the first spectrum includes a spectrum corresponding to the frequency bin before the bandwidth extension encoding, and the second spectrum includes a spectrum corresponding to the frequency bin after the bandwidth extension encoding; performing a second encoding on the highband signal based on a spectrum reservation flag of each frequency bin of the highband signal to obtain a second encoding parameter of the current frame, where the second encoding parameter indicates information about a target tonal component of the highband signal, and the tonal component information includes position information, quantity information, and amplitude information or energy information of the tonal component; and multiplexing a bitstream over the first encoding parameter and the second encoding parameter to obtain an encoded bitstream. In this embodiment of the present application, the first encoding process includes bandwidth extension encoding. The spectrum reservation flag of each frequency bin of the highband signal can be determined based on the spectra of the highband signal before and after the bandwidth extension encoding. Whether a spectrum of a frequency bin of the highband signal is reserved before the bandwidth extension encoding and after the bandwidth extension encoding is indicated by the spectrum reservation flag. The second encoding is performed on the highband signal based on the spectrum reservation flag of each frequency bin of the highband signal, and the spectrum reservation flag of each frequency bin of the highband signal can be used to avoid re-encoding the tonal component already reserved in the bandwidth extension encoding. This can improve the encoding efficiency of the tonal components.
В возможной реализации определение флага резервирования спектра для каждого частотного бина сигнала полосы высоких частот включает в себя: определение флага резервирования спектра для каждого частотного бина сигнала полосы высоких частот на основе первого спектра, второго спектра, и частотного диапазона кодирования с расширением полосы пропускания. В приведенном выше решении, в процессе кодирования с расширением полосы пропускания, спектр сигнала (то есть первый спектр) перед кодированием с расширением полосы пропускания, спектр сигнала (то есть второй спектр) после кодирования с расширением полосы, и можно получить диапазон частот кодирования с расширением полосы пропускания. Диапазон частот кодирования с расширением полосы пропускания может быть диапазоном частотных бинов кодирования с расширением полосы пропускания. Например, диапазон частот кодирования с расширением полосы пропускания включает в себя начальный частотный бин и конечный частотный бин для интеллектуальной обработки заполнения промежутков. В качестве альтернативы, диапазон частот кодирования с расширением полосы пропускания может быть представлен другим способом. Например, диапазон частот кодирования с расширением полосы пропускания представлен на основе значения начальной частоты и значения конечной частоты кодирования с расширением полосы пропускания.In a possible implementation, determining a spectrum reservation flag for each frequency bin of the highband signal includes: determining a spectrum reservation flag for each frequency bin of the highband signal based on a first spectrum, a second spectrum, and a bandwidth extension coding frequency range. In the above solution, in the bandwidth extension coding process, a signal spectrum (that is, the first spectrum) before the bandwidth extension coding, a signal spectrum (that is, the second spectrum) after the bandwidth extension coding, and a bandwidth extension coding frequency range can be obtained. The bandwidth extension coding frequency range may be a range of bandwidth extension coding frequency bins. For example, the bandwidth extension coding frequency range includes a start frequency bin and an end frequency bin for intelligent gap filling processing. Alternatively, the bandwidth extension coding frequency range may be represented in another way. For example, the bandwidth extension coding frequency range is represented based on the start frequency value and the stop frequency value of the bandwidth extension coding.
В возможной реализации полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область. Выполнение второго кодирования сигнала полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра включает в себя: выполнение поиска пика на основе сигнала полосы высоких частот текущей частотной области для того, чтобы получить информацию о пике в текущей частотной области, где информация о пике в текущей частотной области включает в себя информацию о количестве пиков, информацию о местоположении пика и информацию об амплитуде пика или информацию об энергии пика в текущей частотной области; выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области; получение информации о целевой тональной компоненте текущей частотной области на основе информации о тональном компоненте-кандидате текущей частотной области; и получение второго параметра кодирования текущей частотной области на основе информации о целевой тональной компоненте текущей частотной области. В приведенном выше решении фильтрация пиков выполняется над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться во избежание повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In a possible implementation, a high band corresponding to a high band signal includes at least one frequency region, and the at least one frequency region includes a current frequency region. Performing a second encoding of the high band signal based on a spectrum reservation flag of each frequency bin of the high band signal to obtain a second encoding parameter of the current frame includes: performing a peak search based on the high band signal of the current frequency region to obtain peak information in the current frequency region, where the peak information in the current frequency region includes peak number information, peak location information, and peak amplitude information or peak energy information in the current frequency region; performing peak filtering on the peak information in the current frequency region based on the spectrum reservation flag of each frequency bin in the current frequency region to obtain candidate tonal component information in the current frequency region; obtaining information about the target tonal component of the current frequency region based on the candidate tonal component information of the current frequency region; and obtaining the second encoding parameter of the current frequency domain based on the information of the target tonal component of the current frequency domain. In the above solution, peak filtering is performed on the peak information in the current frequency domain based on the spectrum reservation flag of each frequency bin in the current frequency domain to obtain information of the candidate tonal component in the current frequency domain. The spectrum reservation flag of each frequency bin of the highband signal can be used to avoid re-encoding the tonal component already reserved in the bandwidth extension encoding. This can improve the encoding efficiency of tonal components.
В возможной реализации полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область. Когда первый частотный бин в текущей частотной области не принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра первого частотного бина равно первому заданному значению флага. В качестве альтернативы, когда второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра второго частотного бина равно второму заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию; или значение флага резервирования спектра второго частотного бина равно третьему заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию. В частности, устройство кодирования аудио определяет то, принадлежат ли один или более частотных бинов в текущей частотной области частотному диапазону кодирования с расширением полосы пропускания. Например, первый частотный бин определяется как частотный бин, который находится в текущей частотной области и не принадлежит частотному диапазону кодирования с расширением полосы пропускания, и второй частотный бин определяется как частотный бин, который находится в текущей частотной области и принадлежит частотному диапазону кодирования с расширением полосы пропускания. Значение флага резервирования спектра первого частотного бина равно первому заданному значению, и флаг резервирования спектра второго частотного бина имеет два значения, например, второе заданное значение и третье заданное значение, соответственно. В частности, когда значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра второго частотного бина соответствует второму заданному значению. Когда значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию, значением флага резервирования спектра второго частотного бина является третье заданное значение. Заданное условие может быть реализовано множеством способов. Это не ограничивается здесь. Например, заданное условие является условием, точно определенным для значения спектра перед кодированием с расширением полосы пропускания и значения спектра после кодирования с расширением полосы пропускания, которые могут быть конкретно определены на основе сценария применения.In a possible implementation, the high frequency band corresponding to the high frequency band signal includes at least one frequency region, and the at least one frequency region includes the current frequency region. When the first frequency bin in the current frequency region does not belong to the frequency range of the bandwidth extension coding, the value of the spectrum reservation flag of the first frequency bin is equal to the first predetermined value of the flag. Alternatively, when the second frequency bin in the current frequency region belongs to the frequency range of the bandwidth extension coding, the value of the spectrum reservation flag of the second frequency bin is equal to the second predetermined value, if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy a predetermined condition; or the value of the spectrum reservation flag of the second frequency bin is equal to the third predetermined value, if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy the predetermined condition. Specifically, the audio encoding device determines whether one or more frequency bins in the current frequency domain belong to the bandwidth extension coding frequency range. For example, the first frequency bin is determined as a frequency bin that is in the current frequency domain and does not belong to the bandwidth extension coding frequency range, and the second frequency bin is determined as a frequency bin that is in the current frequency domain and belongs to the bandwidth extension coding frequency range. The value of the spectrum reservation flag of the first frequency bin is equal to the first predetermined value, and the spectrum reservation flag of the second frequency bin has two values, for example, the second predetermined value and the third predetermined value, respectively. Specifically, when the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy a predetermined condition, the value of the spectrum reservation flag of the second frequency bin corresponds to the second predetermined value. When the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy the predetermined condition, the value of the spectrum reservation flag of the second frequency bin is the third predetermined value. The predetermined condition may be implemented in a plurality of ways. It is not limited here. For example, the predetermined condition is a condition precisely defined for the spectrum value before the bandwidth extension coding and the spectrum value after the bandwidth extension coding, which can be specifically determined based on the application scenario.
В возможной реализации текущая частотная область включает в себя по меньшей мере одну подполосу, и выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области, получение информации о тональном компоненте-кандидате текущей частотной области включает в себя: получение флага резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области; и выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте-кандидате текущей частотной области. В этом варианте осуществления настоящей заявки флаг резервирования спектра каждой подполосы текущей частотной области может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In a possible implementation, the current frequency domain includes at least one sub-band, and performing peak filtering on peak information in the current frequency domain based on a spectrum reservation flag of each frequency bin in the current frequency domain, obtaining information on a candidate tonal component of the current frequency domain includes: obtaining a spectrum reservation flag of each sub-band of the current frequency domain based on a spectrum reservation flag of each frequency bin in the current frequency domain; and performing peak filtering on peak information in the current frequency domain based on the spectrum reservation flag of each sub-band of the current frequency domain to obtain information on a candidate tonal component of the current frequency domain. In this embodiment of the present application, the spectrum reservation flag of each sub-band of the current frequency domain can be used to prevent re-coding of a tonal component already reserved in bandwidth extension coding. This makes it possible to improve the coding efficiency of tonal components.
В возможной реализации по меньшей мере одна подполоса включает в себя текущую подполосу; и получение флага резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области включает в себя: если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения, определение того, что значение флага резервирования спектра текущей подполосы является значением первого флага, где, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после того, как кодирование с расширением полосы пропускания удовлетворяет заданному условию, значение флага резервирования спектра для частотного бина является вторым заданным значением; или, если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению, определение того, что значение флага резервирования спектра текущей подполосы равно второму значению флага. Первое значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше, чем заданное пороговое значение. Если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра для частотного бина является вторым заданным значением, и частотный бин является частотным бином в текущей подполосе. Второе значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению. Флаг резервирования спектра текущей подполосы может иметь множество значений. Например, флаг резервирования спектра текущей подполосы является первым значением флага, или флаг резервирования спектра текущей подполосы является вторым значением флага, которое может быть специально определено на основе количества частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению.In a possible implementation, at least one sub-band includes a current sub-band; and obtaining a spectrum reservation flag of each sub-band of the current frequency region based on a spectrum reservation flag of each frequency bin in the current frequency region includes: if a number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to a second predetermined value is greater than a predetermined threshold value, determining that the value of the spectrum reservation flag of the current sub-band is the value of the first flag, where if the value of the spectrum corresponding to the frequency bin before the bandwidth extension coding and the value of the spectrum corresponding to the frequency bin after the bandwidth extension coding satisfy the predetermined condition, the value of the spectrum reservation flag for the frequency bin is the second predetermined value; or, if the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to a second predetermined value is less than or equal to a predetermined threshold value, determining that the value of the spectrum reservation flag of the current sub-band is equal to the second flag value. The first flag value indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to a second predetermined value is greater than the predetermined threshold value. If the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding satisfy the predetermined condition, the spectrum reservation flag value for the frequency bin is the second predetermined value, and the frequency bin is a frequency bin in the current sub-band. The second value of the flag indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value is less than or equal to the specified threshold value. The spectrum reservation flag of the current sub-band may have multiple values. For example, the spectrum reservation flag of the current sub-band is the first value of the flag, or the spectrum reservation flag of the current sub-band is the second value of the flag, which may be specifically determined based on the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value.
В возможной реализации выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте- кандидате текущей частотной области включает в себя: получение на основе информации о местоположении пика в текущей частотной области порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области; и выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области. Фильтрация пиков выполняется над информацией о пиках в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы текущей частотной области для получения отфильтрованной информации о количестве пиков, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей частотной области в качестве информации о тональном компоненте-кандидате в текущей частотной области. В этом варианте осуществления настоящей заявки флаг резервирования спектра каждой подполосы текущей частотной области может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In a possible implementation of performing peak filtering on peak information in a current frequency domain based on a spectrum reservation flag of each sub-band of the current frequency domain to obtain candidate tonal component information of the current frequency domain, the method includes: obtaining, based on peak location information in the current frequency domain, a sub-band serial number corresponding to the peak location in the current frequency domain; and performing peak filtering on peak information in the current frequency domain based on the sub-band serial number corresponding to the peak location in the current frequency domain and the spectrum reservation flag of each sub-band in the current frequency domain to obtain candidate tonal component information in the current frequency domain. Peak filtering is performed on peak information in the current frequency domain based on a sub-band serial number corresponding to a peak location in the current frequency domain and a spectrum reservation flag of each sub-band of the current frequency domain to obtain filtered peak number information, peak location information, and amplitude information or peak energy information in the current frequency domain as candidate tone component information in the current frequency domain. In this embodiment of the present application, the spectrum reservation flag of each sub-band of the current frequency domain can be used to prevent re-coding of a tone component already reserved in bandwidth extension coding. This can improve the coding efficiency of tone components.
В возможной реализации, если значение флага резервирования спектра текущей подполосы равно второму значению флага, пик в текущей подполосе является тональной компонентой-кандидатом. Второе значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению. Если значение флага резервирования спектра текущей подполосы равно второму значению флага, это указывает то, что спектр текущей подполосы не резервируется при кодировании с расширением полосы пропускания. Таким образом, тональный компонент-кандидат может быть определен тогда, когда значение флага резервирования спектра текущей подполосы равно второму значению флага.In a possible implementation, if the value of the spectrum reservation flag of the current sub-band is equal to the second flag value, the peak in the current sub-band is a candidate tonal component. The second flag value indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value is less than or equal to the specified threshold value. If the value of the spectrum reservation flag of the current sub-band is equal to the second flag value, this indicates that the spectrum of the current sub-band is not reserved in the bandwidth extension coding. Thus, the candidate tonal component can be determined when the value of the spectrum reservation flag of the current sub-band is equal to the second flag value.
В возможной реализации заданное условие включает в себя: значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания. В частности, заданное условие может состоять в том, что значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания. Заданным условием может быть то, что значение спектра не изменяется перед и после кодирования с расширением полосы пропускания, то есть значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания. В качестве другого примера, заданное условие может также состоять в том, что абсолютное значение разности между значением спектра, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим частотному бину после кодирования с расширением полосы пропускания, меньше или равно заданному пороговому значению. Заданное условие основано на том, что может существовать некоторая разность между значениями спектра перед и после кодирования с расширением полосы пропускания, но информация о спектре зарезервирована, то есть разность между значением спектра, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим частотному бину после кодирования с расширением полосы пропускания меньше заданного порогового значения. В этом варианте осуществления настоящей заявки флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот определяется путем определения заданного условия. Основываясь на флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот можно избежать повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In a possible implementation, the specified condition includes: the spectrum value corresponding to the frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after the bandwidth extension coding. In particular, the specified condition may be that the spectrum value corresponding to the frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after the bandwidth extension coding. The specified condition may be that the spectrum value does not change before and after the bandwidth extension coding, i.e., the spectrum value corresponding to the frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after the bandwidth extension coding. As another example, the predetermined condition may also be that the absolute value of the difference between the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding is less than or equal to a predetermined threshold value. The predetermined condition is based on the fact that there may be some difference between the spectrum values before and after the bandwidth extension coding, but the spectrum information is reserved, that is, the difference between the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding is less than a predetermined threshold value. In this embodiment of the present application, the spectrum reservation flag of each frequency bin of the highband signal is determined by determining the predetermined condition. Based on the spectrum reservation flag of each frequency bin of the highband signal, it is possible to avoid re-coding the tonal component already reserved in the bandwidth extension coding. This allows to increase the efficiency of coding of tonal components.
Согласно второму аспекту вариант осуществления настоящей заявки предусматривает устройство кодирования аудио, включающее в себя: модуль получения, выполненный с возможностью получения текущего кадра аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот; первый модуль кодирования, выполненный с возможностью выполнения первого кодирования сигнала полосы высоких частот и сигнала полосы низких частот для получения первого параметра кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания; модуль определения флага, выполненный с возможностью определения флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину, причем первый спектр включает в себя спектр, соответствующий частотному бину перед кодированием с расширением полосы пропускания, и второй спектр включает в себя спектр, соответствующий частотному бину после кодирования с расширением полосы пропускания; второй модуль кодирования, выполненный с возможностью выполнения второго кодирования над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра, где второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, причем информация о тональном компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии тональной компоненты; и модуль мультиплексирования битового потока, выполненный с возможностью выполнения мультиплексирования битового потока нал первым параметром кодирования и вторым параметром кодирования для получения кодированного битового потока. В этом варианте осуществления настоящей заявки процесс первого кодирования включает в себя кодирование с расширением полосы пропускания. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может быть определен на основе спектров сигнала полосы высоких частот перед и после кодирования с расширением полосы пропускания. То, зарезервирован ли спектр частотного бина сигнала полосы высоких частот перед кодированием с расширением полосы пропускания после кодирования с расширением полосы пропускания, указывается с помощью флага резервирования спектра. Второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, и флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.According to a second aspect, an embodiment of the present application provides an audio encoding device, including: an obtaining module configured to obtain a current frame of an audio signal, where the current frame includes a high-frequency band signal and a low-frequency band signal; a first encoding module configured to perform a first encoding of the high-frequency band signal and the low-frequency band signal to obtain a first encoding parameter of the current frame, where the first encoding includes bandwidth extension encoding; a flag determining module configured to determine a spectrum reservation flag of each frequency bin of the high-frequency band signal, where the spectrum reservation flag indicates whether a first spectrum corresponding to the frequency bin is reserved in a second spectrum corresponding to the frequency bin, where the first spectrum includes a spectrum corresponding to the frequency bin before the bandwidth extension encoding, and the second spectrum includes a spectrum corresponding to the frequency bin after the bandwidth extension encoding; a second encoding module configured to perform a second encoding on the highband signal based on a spectrum reservation flag of each frequency bin of the highband signal to obtain a second encoding parameter of the current frame, wherein the second encoding parameter indicates information about a target tonal component of the highband signal, wherein the information about the tonal component includes position information, quantity information, and amplitude information or energy information of the tonal component; and a bitstream multiplexing module configured to multiplex a bitstream over the first encoding parameter and the second encoding parameter to obtain an encoded bitstream. In this embodiment of the present application, the first encoding process includes bandwidth extension encoding. The spectrum reservation flag of each frequency bin of the highband signal can be determined based on the spectra of the highband signal before and after the bandwidth extension encoding. Whether a spectrum of a frequency bin of the highband signal is reserved before the bandwidth extension encoding and after the bandwidth extension encoding is indicated by the spectrum reservation flag. The second encoding is performed on the highband signal based on the spectrum reservation flag of each frequency bin of the highband signal, and the spectrum reservation flag of each frequency bin of the highband signal can be used to prevent the tone component already reserved in the bandwidth extension encoding from being re-encoded. This can improve the encoding efficiency of the tone components.
В возможной реализации модуль определения флага специально выполнен с возможностью: определения флага резервирования спектра каждого частотного бина сигнала полосы высоких частот на основе первого спектра, второго спектра и частотного диапазона кодирования с расширением полосы пропускания.In a possible implementation, the flag determination module is specifically configured to: determine a spectrum reservation flag of each frequency bin of the high-frequency band signal based on the first spectrum, the second spectrum, and the frequency range of the bandwidth expansion coding.
В возможной реализации полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область. Второй модуль кодирования специально выполнен с возможностью: выполнения поиска пика на основе сигнала полосы высоких частот текущей частотной области, получения информации о пиках в текущей частотной области, где информация о пике в текущей частотной области включает в себя информацию о количестве пиков, информацию о местоположении пика и информацию об амплитуде пика или информацию об энергии пика в текущей частотной области; выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области; получить информацию о целевой тональной компоненте текущей частотной области на основе информации о тональном компоненте-кандидате текущей частотной области; и получения второго параметра кодирования текущей частотной области на основе информации о целевой тональной компоненте текущей частотной области.In a possible implementation, the high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and the at least one frequency region includes the current frequency region. The second encoding module is specially configured to: perform a peak search based on the high-frequency band signal of the current frequency region, obtain information about peaks in the current frequency region, where the peak information in the current frequency region includes information about the number of peaks, information about the location of the peak and information about the amplitude of the peak or information about the energy of the peak in the current frequency region; perform peak filtering over the information about the peaks in the current frequency region based on a spectrum reservation flag of each frequency bin in the current frequency region to obtain information about a candidate tonal component in the current frequency region; obtain information about the target tonal component of the current frequency region based on the information about the candidate tonal component of the current frequency region; and obtain a second encoding parameter of the current frequency region based on the information about the target tonal component of the current frequency region.
В возможной реализации полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область. Когда первый частотный бин в текущей частотной области не принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра первого частотного бина равно первому заданному значению флага. В качестве альтернативы, когда второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра второго частотного бина равно второму заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию; или значение флага резервирования спектра второго частотного бина равно третьему заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию.In a possible implementation, the high frequency band corresponding to the high frequency band signal includes at least one frequency region, and the at least one frequency region includes the current frequency region. When the first frequency bin in the current frequency region does not belong to the frequency range of the bandwidth extension coding, the value of the spectrum reservation flag of the first frequency bin is equal to the first predetermined value of the flag. Alternatively, when the second frequency bin in the current frequency region belongs to the frequency range of the bandwidth extension coding, the value of the spectrum reservation flag of the second frequency bin is equal to the second predetermined value, if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy a predetermined condition; or the value of the spectrum reservation flag of the second frequency bin is equal to the third specified value if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy the specified condition.
В возможной реализации текущая частотная область включает в себя по меньшей мере одну подполосу, и второй модуль кодирования специально выполнен с возможностью: получения флага резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области; и выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.In a possible implementation, the current frequency region includes at least one sub-band, and the second coding module is specifically configured to: obtain a spectrum reservation flag of each sub-band of the current frequency region based on a spectrum reservation flag of each frequency bin in the current frequency region; and perform peak filtering on peak information in the current frequency region based on the spectrum reservation flag of each sub-band of the current frequency region to obtain information about a candidate tonal component in the current frequency region.
В возможной реализации по меньшей мере одна подполоса включает в себя текущую подполосу; и второй модуль кодирования специально выполнен с возможностью: если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения, определения того, что значение флага резервирования спектра текущей подполосы равно первому значению флага, где, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, определения того, что значение флага резервирования спектра частотного бина равно второму заданному значению; или, если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению, значение флага резервирования спектра текущей подполосы равно значение второго флага.In a possible implementation, at least one sub-band includes a current sub-band; and the second coding module is specifically configured to: if a number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to a second specified value is greater than a specified threshold value, determine that the spectrum reservation flag value of the current sub-band is equal to the first flag value, where, if the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding satisfy a specified condition, determine that the spectrum reservation flag value of the frequency bin is equal to the second specified value; or, if the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to the second specified value is less than or equal to the specified threshold value, the value of the spectrum reservation flag of the current sub-band is equal to the value of the second flag.
В возможной реализации второй модуль кодирования специально выполнен с возможностью: получения, на основе информации о местоположении пика в текущей частотной области, порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области; и выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.In a possible implementation, the second coding module is specifically configured to: obtain, based on information about the location of a peak in a current frequency region, a sub-band serial number corresponding to the location of the peak in the current frequency region; and perform peak filtering on information about the peaks in the current frequency region based on the sub-band serial number corresponding to the location of the peak in the current frequency region and a spectrum reservation flag of each sub-band in the current frequency region to obtain information about a candidate tonal component in the current frequency region.
В возможной реализации, если значение флага резервирования спектра текущей подполосы равно второму значению флага, пик в текущей подполосе является тональной компонентой-кандидатом.In a possible implementation, if the value of the spectrum reservation flag of the current subband is equal to the second value of the flag, the peak in the current subband is a candidate tonal component.
В возможной реализации заданное условие включает в себя: значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания.In a possible implementation, the specified condition includes: the spectrum value corresponding to the frequency bin before bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after bandwidth extension coding.
Во втором аспекте настоящей заявки модули устройства кодирования аудио могут дополнительно выполнять этапы, описанные в первом аспекте и возможных реализациях. Для получения подробной информации следует обратиться к предыдущим описаниям в первом аспекте и возможных реализациях.In the second aspect of the present application, the audio encoding device modules may additionally perform the steps described in the first aspect and possible implementations. For detailed information, reference should be made to the previous descriptions in the first aspect and possible implementations.
Согласно третьему аспекту вариант осуществления настоящей заявки предусматривает устройство кодирования аудио, включающее в себя энергонезависимую память и процессор, соединенные друг с другом. Процессор вызывает программный код, хранящийся в памяти, для выполнения способа согласно первому аспекту.According to a third aspect, an embodiment of the present application provides an audio encoding device, including a non-volatile memory and a processor, connected to each other. The processor calls the program code stored in the memory to perform the method according to the first aspect.
Согласно четвертому аспекту вариант осуществления настоящей заявки предусматривает устройство кодирования аудио, включающее в себя кодер. Кодер выполнен с возможностью выполнения способа согласно первому аспекту.According to a fourth aspect, an embodiment of the present application provides an audio encoding device, including an encoder. The encoder is configured to perform the method according to the first aspect.
Согласно пятому аспекту вариант осуществления настоящей заявки предусматривает машиночитаемый носитель данных, включающий в себя компьютерную программу. Когда компьютерная программа исполняется на компьютере, компьютер получает возможность выполнять способ согласно первому аспекту.According to a fifth aspect, an embodiment of the present application provides a computer-readable storage medium that includes a computer program. When the computer program is executed on a computer, the computer is able to perform the method according to the first aspect.
Согласно шестому аспекту вариант осуществления настоящей заявки предусматривает машиночитаемый носитель данных, включающий в себя кодированный битовый поток, полученный с использованием способа согласно первому аспекту.According to a sixth aspect, an embodiment of the present application provides a machine-readable storage medium including an encoded bit stream obtained using the method according to the first aspect.
Согласно седьмому аспекту настоящая заявка предусматривает компьютерный программный продукт. Компьютерный программный продукт включает в себя компьютерную программу. Когда компьютерная программа исполняется компьютером, выполняется способ согласно первому аспекту.According to a seventh aspect, the present application provides a computer program product. The computer program product includes a computer program. When the computer program is executed by the computer, the method according to the first aspect is performed.
Согласно восьмому аспекту настоящая заявка предусматривает микросхему, включающую в себя процессор и память. Память выполнена с возможностью хранения компьютерной программы, и процессор выполнен с возможностью вызова и запуска компьютерной программы, хранящейся в памяти, для выполнения способа согласно первому аспекту.According to an eighth aspect, the present application provides a microcircuit including a processor and a memory. The memory is configured to store a computer program, and the processor is configured to call and run the computer program stored in the memory to perform the method according to the first aspect.
Краткое описание чертежейBrief description of the drawings
Фиг.1 – схематичное представление примера системы кодирования и декодирования аудио согласно варианту осуществления настоящей заявки;Fig. 1 is a schematic representation of an example of an audio encoding and decoding system according to an embodiment of the present application;
Фиг.2 – схематичное представление применения кодирования аудио согласно варианту осуществления настоящей заявки;Fig. 2 is a schematic representation of an audio coding application according to an embodiment of the present application;
Фиг.3 – схематичное представление применения кодирования аудио согласно варианту осуществления настоящей заявки;Fig. 3 is a schematic representation of an audio coding application according to an embodiment of the present application;
Фиг.4 – блок-схема последовательности операций способа кодирования аудио согласно варианту осуществления настоящей заявки;Fig. 4 is a flow chart of the sequence of operations of the audio encoding method according to an embodiment of the present application;
Фиг.5 – блок-схема последовательности операций другого способа кодирования аудио согласно варианту осуществления настоящей заявки;Fig. 5 is a flow chart of another method for encoding audio according to an embodiment of the present application;
Фиг.6 – блок-схема последовательности операций другого способа кодирования аудио согласно варианту осуществления настоящей заявки;Fig. 6 is a flow chart of another method for encoding audio according to an embodiment of the present application;
Фиг.7 – блок-схема последовательности операций способа декодирования аудио согласно варианту осуществления настоящей заявки;Fig. 7 is a flow chart of a method for decoding audio according to an embodiment of the present application;
Фиг.8 – схематичное представление устройства кодирования аудио согласно варианту осуществления настоящей заявки; иFig. 8 is a schematic representation of an audio encoding device according to an embodiment of the present application; and
Фиг.9 – схематичное представление устройства кодирования аудио согласно варианту осуществления настоящей заявки.Fig. 9 is a schematic representation of an audio encoding device according to an embodiment of the present application.
Подробное описание изобретенияDetailed description of the invention
Варианты осуществления настоящей заявки предоставляют способ кодирования аудио и устройство кодирования аудио для повышения эффективности кодирования аудиосигнала.Embodiments of the present application provide an audio encoding method and an audio encoding device for improving the encoding efficiency of an audio signal.
Ниже приведено описание вариантов осуществления настоящей заявки со ссылкой на сопроводительные чертежи.The following is a description of embodiments of the present application with reference to the accompanying drawings.
В описании, формуле изобретения и на сопроводительных чертежах настоящей заявки термины «первый», «второй» и т.д. предназначены для различения сходных объектов, но они не обязательно указывают конкретный порядок или последовательность. Следует понимать, что термины, используемые таким образом, являются взаимозаменяемыми при соответствующих обстоятельствах, и они используются для различения, используемого тогда, когда объекты, которые имеют одинаковый атрибут, описываются в вариантах осуществления настоящей заявки. В дополнение к этому, термины «включать в себя», «содержать» и любые другие варианты означают охват неисключительного включения, так что процесс, способ, система, изделие или устройство, которое включает в себя ряд блоков, не обязательно ограничены этими блоками, но могут включать в себя другие блоки, не перечисленные явным образом или присущие такому процессу, способу, системе, изделию или устройству.In the description, claims and accompanying drawings of the present application, the terms "first", "second", etc. are intended to distinguish between similar objects, but they do not necessarily indicate a particular order or sequence. It should be understood that the terms so used are interchangeable under appropriate circumstances, and they are used for the distinction used when objects that have the same attribute are described in embodiments of the present application. In addition, the terms "include", "comprise" and any other variants are intended to cover a non-exclusive inclusion, such that a process, method, system, article or device that includes a number of blocks is not necessarily limited to these blocks, but may include other blocks not explicitly listed or inherent in such a process, method, system, article or device.
Следует понимать, что в настоящей заявке «по меньшей мере один (элемент)» относится к одному или более, и «множество» относится к двум или более. Термин «и/или» используется для описания отношения ассоциации между ассоциированными объектами и означает то, что могут существовать три отношения. Например, «А и/или В» может представлять следующие три случая: существует только А, существует только В и существуют и А, и В, где А и В могут использоваться как в единственном, так и в множественном числе. Символ «/» обычно указывает на отношение «или» между ассоциированными объектами. «По меньшей мере, один из следующих элементов (частей)» или выражение, аналогичное этому, относится к любой комбинации этих элементов, включая любую комбинацию элементов (частей) в единственном числе или элементов (частей) в множественном числе. Например, по меньшей мере один из a, b или c может представлять собой: a, b, c, "a и b", "a и c", "b и c" или "a, b и c". Каждый элемент из a, b и c может использоваться как в единственном, так и в множественном числе. В качестве альтернативы, некоторые из a, b и c могут использоваться в единственном числе; и некоторые из a, b и c могут использоваться в множественном числе.It should be understood that in this application, "at least one" refers to one or more, and "plurality" refers to two or more. The term "and/or" is used to describe an association relationship between associated objects and means that three relationships may exist. For example, "A and/or B" may represent the following three cases: only A exists, only B exists, and both A and B exist, where A and B may be used in either the singular or the plural. The symbol "/" generally indicates an "or" relationship between associated objects. "At least one of the following" or an expression similar thereto refers to any combination of these elements, including any combination of singular elements or plural elements. For example, at least one of a, b, or c may represent: a, b, c, "a and b", "a and c", "b and c", or "a, b and c". Each of a, b, and c may be used in either the singular or the plural. Alternatively, some of a, b, and c may be used in the singular; and some of a, b, and c may be used in the plural.
Ниже приведено описание системной архитектуры, к которой применим вариант осуществления настоящей заявки. Обращаясь к фиг.1, на фиг.1 показана блок-схема примера системы 10 кодирования и декодирования аудио, к которой применим вариант осуществления настоящей заявки. Как показано на фиг.1, система 10 кодирования и декодирования аудио может включать в себя устройство-источник 12 и устройство-получатель 14. Устройство-источник 12 вырабатывает кодированные аудиоданные. Таким образом, устройство-источник 12 может упоминаться как устройство кодирования аудио. Устройство-получатель 14 может декодировать кодированные аудиоданные, выработанные устройством-источником 12. Таким образом, устройство-получатель 14 может упоминаться как устройство декодирования аудио. В различных реализациях устройство-источник 12, устройство-получатель 14 или как устройство-источник 12, так и устройство-получатель 14 могут включать в себя один или несколько процессоров и память, подключенную к одному или нескольким процессорам. Память может включать в себя, но без ограничений, оперативную память (random access memory, RAM), постоянную память (read only memory, ROM), электрически стираемую программируемую постоянную память (electrically erasable programmable read only memory, EEPROM), флэш-память или любой другой носитель, который можно использовать для хранения нужного программного кода в виде инструкции или структуры данных, к которой может обращаться компьютер, как описано в этой спецификации. Устройство-источник 12 и устройство-получатель 14 могут включать в себя различные устройства, в том числе настольный компьютер, мобильное вычислительное устройство, ноутбук (например, переносной компьютер), планшетный компьютер, телевизионную приставку, телефонную трубку, например, так называемый «умный» телефон, телевизор, звуковую приставку, цифровой медиаплеер, игровую приставку, бортовой компьютер, устройство беспроводной связи и т.п.A description of a system architecture to which an embodiment of the present application is applicable is given below. Referring to Fig. 1, Fig. 1 shows a block diagram of an example of an audio encoding and decoding system 10 to which an embodiment of the present application is applicable. As shown in Fig. 1, the audio encoding and decoding system 10 may include a source device 12 and a sink device 14. The source device 12 produces encoded audio data. Thus, the source device 12 may be referred to as an audio encoding device. The sink device 14 may decode the encoded audio data produced by the source device 12. Thus, the sink device 14 may be referred to as an audio decoding device. In various implementations, the source device 12, the sink device 14, or both the source device 12 and the sink device 14 may include one or more processors and a memory coupled to the one or more processors. The memory may include, but is not limited to, random access memory (RAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), flash memory, or any other medium that can be used to store desired program code in the form of an instruction or data structure that can be accessed by a computer as described in this specification. The source device 12 and the destination device 14 may include various devices, including a desktop computer, a mobile computing device, a notebook (e.g., a laptop), a tablet computer, a set-top box, a telephone handset such as a so-called "smart" phone, a television, a sound box, a digital media player, a game console, an on-board computer, a wireless communication device, and the like.
Хотя на фиг.1 показано устройство-источник 12 и устройство-получатель 14 как отдельные устройства, вариант осуществления устройства может альтернативно включать в себя как устройство-источник 12, так и устройство-получатель 14, или функциональные возможности как устройства-источника 12, так и устройства-получателя 14, то есть устройство-источник 12 или соответствующие функциональные возможности и устройство-получатель 14 или соответствующие функциональные возможности. В таких вариантах осуществления устройство-источник 12 или соответствующие функциональные возможности и устройство-получатель 14 или соответствующие функциональные возможности могут быть реализованы с использованием одних и тех же аппаратных средств и/или программного обеспечения, отдельных аппаратных средств и/или программного обеспечения или любого их сочетания.Although Fig. 1 shows the source device 12 and the destination device 14 as separate devices, an embodiment of the device may alternatively include both the source device 12 and the destination device 14, or the functionality of both the source device 12 and the destination device 14, that is, the source device 12 or the corresponding functionality and the destination device 14 or the corresponding functionality. In such embodiments, the source device 12 or the corresponding functionality and the destination device 14 or the corresponding functionality may be implemented using the same hardware and/or software, separate hardware and/or software, or any combination thereof.
Коммуникационное соединение между устройством-источником 12 и устройством-получателем 14 может быть реализовано по линии 13 связи, и устройство-получатель 14 может принимать кодированные аудиоданные из устройства-источника 12 по линии 13 связи. Линия 13 связи может включать в себя один или несколько носителей или устройств, способных перемещать кодированные аудиоданные из устройства-источника 12 в устройство-получатель 14. Например, линия 13 связи может включать в себя одно или несколько средств связи, которые позволяют устройству-источнику 12 напрямую передавать кодированные аудиоданные в устройство-получатель 14 в реальном времени. В этом примере устройство-источник 12 может модулировать кодированные аудиоданные в соответствии со стандартом связи (например, протоколом беспроводной связи) и может передавать модулированные аудиоданные в устройство-получатель 14. Одна или несколько коммуникационных сред могут включать в себя среду беспроводной связи и/или среду проводной связи, например, радиочастотный (РЧ, RF) спектр или одну или несколько физических линий передачи. Одна или более сред связи могут образовывать часть пакетной сети, и пакетная сеть представляет собой, например, локальную сеть, региональную сеть или глобальную сеть (например, Интернет). Одно или несколько средств связи могут включать в себя маршрутизатор, коммутатор, базовую станцию или другое устройство, которое обеспечивает связь от устройства-источника 12 до устройства-получателя 14.The communication connection between the source device 12 and the destination device 14 can be implemented via the communication line 13, and the destination device 14 can receive the encoded audio data from the source device 12 via the communication line 13. The communication line 13 can include one or more carriers or devices capable of moving the encoded audio data from the source device 12 to the destination device 14. For example, the communication line 13 can include one or more communication means that allow the source device 12 to directly transmit the encoded audio data to the destination device 14 in real time. In this example, the source device 12 can modulate the encoded audio data in accordance with a communication standard (for example, a wireless communication protocol) and can transmit the modulated audio data to the destination device 14. One or more communication media can include a wireless communication medium and/or a wired communication medium, for example, a radio frequency (RF) spectrum or one or more physical transmission lines. One or more communication media can form part of a packet network, and the packet network is, for example, a local area network, a regional network, or a global network (for example, the Internet). One or more communication means can include a router, a switch, a base station, or another device that provides communication from the source device 12 to the destination device 14.
Устройство-источник 12 включает в себя кодер 20. При необходимости устройство-источник 12 может дополнительно включать в себя источник 16 аудио, препроцессор 18 и интерфейс 22 связи. В конкретной реализации кодер 20, источник 16 аудио, препроцессор 18 и интерфейс 22 связи могут быть аппаратными компонентами в устройстве-источнике 12 или могут быть программами программного обеспечения в устройстве-источнике 12. Они отдельно описаны ниже.The source device 12 includes an encoder 20. If necessary, the source device 12 may further include an audio source 16, a preprocessor 18, and a communication interface 22. In a particular implementation, the encoder 20, the audio source 16, the preprocessor 18, and the communication interface 22 may be hardware components in the source device 12 or may be software programs in the source device 12. They are described separately below.
Источник 16 аудио может включать в себя или может быть устройством захвата звука любого типа, выполненным с возможностью захвата, например, звука из реального мира, и/или устройством выработки аудио любого типа. Источник 16 аудио может представлять собой микрофон, выполненный с возможностью захвата звука, или память, выполненную с возможностью хранения аудиоданных, и источник 16 аудио может дополнительно включать в себя интерфейс любого типа (внутренний или внешний) для хранения ранее захваченных или выработанных аудиоданных и/или для получения или приема аудиоданных. Когда источником 16 аудио является микрофон, источником 16 аудио может быть, например, локальный микрофон или микрофон, встроенный в устройство-источник. Когда источник 16 аудио представляет собой память, источник 16 аудио может быть, например, локальной памятью или памятью, встроенной в устройство-источник. Когда источник 16 аудио включает в себя интерфейс, этот интерфейс может быть, например, внешним интерфейсом для приема аудиоданных из внешнего источника звука. Например, внешний источник звука – это внешнее устройство захвата звука, такое как микрофон, внешнее запоминающее устройство или внешнее устройство выработки аудио. Интерфейс может быть интерфейсом любого типа, например, проводным или беспроводным интерфейсом или оптическим интерфейсом, в соответствии с любым патентованным или стандартизированным интерфейсным протоколом.The audio source 16 may include or may be an audio capture device of any type, configured to capture, for example, sound from the real world, and/or an audio generation device of any type. The audio source 16 may be a microphone configured to capture sound, or a memory configured to store audio data, and the audio source 16 may further include an interface of any type (internal or external) for storing previously captured or generated audio data and/or for receiving or receiving audio data. When the audio source 16 is a microphone, the audio source 16 may be, for example, a local microphone or a microphone built into the source device. When the audio source 16 is a memory, the audio source 16 may be, for example, a local memory or a memory built into the source device. When the audio source 16 includes an interface, this interface may be, for example, an external interface for receiving audio data from an external audio source. For example, an external audio source is an external audio capture device such as a microphone, an external storage device, or an external audio generation device. The interface may be any type of interface, such as a wired or wireless interface, or an optical interface, in accordance with any proprietary or standardized interface protocol.
В этом варианте осуществления настоящей заявки аудиоданные, передаваемые из источника 16 аудио в препроцессор 18, также могут называться предварительно обработанными аудиоданными 17.In this embodiment of the present application, the audio data transmitted from the audio source 16 to the preprocessor 18 may also be referred to as preprocessed audio data 17.
Препроцессор 18 выполнен с возможностью приема и предварительной обработки аудиоданных 17 для получения предварительно обработанного аудио 19 или предварительно обработанных аудиоданных 19. Например, предварительная обработка, выполняемая препроцессором 18, может включать в себя фильтрацию или шумоподавление.The preprocessor 18 is configured to receive and preprocess the audio data 17 to obtain preprocessed audio 19 or preprocessed audio data 19. For example, the preprocessing performed by the preprocessor 18 may include filtering or noise reduction.
Кодер 20 (или аудиокодер 20) выполнен с возможностью приема предварительно обработанных аудиоданных 19 и выполнен с возможностью выполнения вариантов осуществления, описанных ниже, для реализации применения способа кодирования аудио, описанного в настоящей заявке, на стороне кодера.The encoder 20 (or audio encoder 20) is configured to receive pre-processed audio data 19 and is configured to perform the embodiments described below for implementing the application of the audio encoding method described in the present application on the encoder side.
Интерфейс 22 связи может быть выполнен с возможностью приема кодированных аудиоданных 21 и передачи кодированных аудиоданных 21 в устройство-получатель 14 или любое другое устройство (например, память) по линии связи 13 связи для хранения или прямого восстановления. Другое устройство может быть любым устройством, используемым для декодирования или хранения. Интерфейс 22 связи может быть, например, выполнен с возможностью инкапсуляции кодированных аудиоданных 21 в соответствующий формат, например, пакет данных, для передачи по линии 13 связи.The communication interface 22 may be configured to receive the encoded audio data 21 and transmit the encoded audio data 21 to the recipient device 14 or any other device (for example, memory) via the communication line 13 for storage or direct recovery. The other device may be any device used for decoding or storage. The communication interface 22 may, for example, be configured to encapsulate the encoded audio data 21 in an appropriate format, for example, a data packet, for transmission via the communication line 13.
Устройство-получатель 14 включает в себя декодер 30. При необходимости устройство-получатель 14 может дополнительно включать в себя интерфейс 28 связи, аудиопостпроцессор 32 и динамик 34. Они отдельно описаны ниже.The receiving device 14 includes a decoder 30. If necessary, the receiving device 14 may additionally include a communication interface 28, an audio post-processor 32 and a speaker 34. They are described separately below.
Интерфейс 28 связи может быть выполнен с возможностью приема кодированных аудиоданных 21 из устройства-источника 12 или любого другого источника. Любой другой источник – это, например, запоминающее устройство. Запоминающее устройство представляет собой, например, устройство хранения кодированных аудиоданных. Интерфейс 28 связи может быть выполнен с возможностью передачи или приема кодированных аудиоданных 21 по линии 13 связи между устройством-источником 12 и устройством-получателем 14 или через сеть любого типа. Линия 13 связи представляет собой, например, прямое проводное или беспроводное соединение. Любой тип сети представляет собой, например, проводную или беспроводную сеть или любую их комбинацию, или любой тип частной или общедоступной сети, или любую их сочетание. Интерфейс 28 связи может быть, например, выполнен с возможностью декапсуляции пакета данных, переданного через интерфейс 22 связи, для получения кодированных аудиоданных 21.The communication interface 28 may be configured to receive the encoded audio data 21 from the source device 12 or any other source. Any other source is, for example, a storage device. The storage device is, for example, a device for storing encoded audio data. The communication interface 28 may be configured to transmit or receive the encoded audio data 21 over the communication line 13 between the source device 12 and the recipient device 14 or via any type of network. The communication line 13 is, for example, a direct wired or wireless connection. Any type of network is, for example, a wired or wireless network or any combination thereof, or any type of private or public network, or any combination thereof. The communication interface 28 may be, for example, configured to decapsulate a data packet transmitted via the communication interface 22 to obtain the encoded audio data 21.
Как интерфейс связи 28, так и интерфейс 22 связи могут быть сконфигурированы как однонаправленные интерфейсы связи или двунаправленные интерфейсы связи и могут быть выполнены, например, с возможностью отправки и приема сообщений для установления соединения, и подтверждения и обмена любой другой информации, относящийся к линии связи и/или передаче данных, такой как передача кодированных аудиоданных.Both the communication interface 28 and the communication interface 22 may be configured as unidirectional communication interfaces or bidirectional communication interfaces and may be configured, for example, to send and receive messages for establishing a connection, and to confirm and exchange any other information related to the communication line and/or data transmission, such as transmission of encoded audio data.
Декодер 30 (или аудиодекодер 30) выполнен с возможностью приема кодированных аудиоданных 21 и предоставления декодированных аудиоданных 31 или декодированного аудио 31. В некоторых вариантах осуществления декодер 30 может быть выполнен с возможностью выполнения вариантов осуществления, описанных ниже, для реализации применения способа кодирования аудио, описанного в настоящей заявке, на стороне декодера.The decoder 30 (or audio decoder 30) is configured to receive the encoded audio data 21 and provide decoded audio data 31 or decoded audio 31. In some embodiments, the decoder 30 may be configured to perform the embodiments described below to implement the application of the audio encoding method described in this application on the decoder side.
Аудиопостпроцессор 32 выполнен с возможностью постобработки декодированных аудиоданных 31 (также называемых восстановленными аудиоданными) для получения постобработанных аудиоданных 33. Постобработка, выполняемая аудиопостпроцессором 32, может включать в себя, например, рендеринг или любую другую обработку и может дополнительно выполняться с возможностью передачи аудиоданных 33 с постобработкой на динамик 34.The audio post processor 32 is configured to post-process the decoded audio data 31 (also referred to as reconstructed audio data) to obtain post-processed audio data 33. The post-processing performed by the audio post processor 32 may include, for example, rendering or any other processing and may further be configured to transmit the post-processed audio data 33 to the speaker 34.
Динамик 34 выполнен с возможностью приема аудиоданных 33 постобработки для воспроизведения звука, например, пользователю или зрителю. Динамик 34 может быть или может включать в себя динамик любого типа, выполненный с возможностью воспроизведения восстановленного звука.The speaker 34 is configured to receive the post-processed audio data 33 for reproducing the sound, for example, to a user or a viewer. The speaker 34 may be or may include a speaker of any type configured to reproduce the reconstructed sound.
Хотя на фиг.1 показано устройство-источник 12 и устройство-получатель 14 как отдельные устройства, вариант осуществления устройства может альтернативно включать в себя как устройство-источник 12, так и устройство-получатель 14, или функциональные возможности как устройства-источника 12, так и устройства-получателя 14, то есть устройство-источник 12 или соответствующие функциональные возможности и устройство-получатель 14 или соответствующие функциональные возможности. В таких вариантах осуществления устройство-источник 12 или соответствующие функциональные возможности и устройство-получатель 14 или соответствующие функциональные возможности могут быть реализованы с использованием одних и тех же аппаратных средств и/или программного обеспечения, отдельных аппаратных средств и/или программного обеспечения или любого их сочетания.Although Fig. 1 shows the source device 12 and the destination device 14 as separate devices, an embodiment of the device may alternatively include both the source device 12 and the destination device 14, or the functionality of both the source device 12 and the destination device 14, that is, the source device 12 or the corresponding functionality and the destination device 14 or the corresponding functionality. In such embodiments, the source device 12 or the corresponding functionality and the destination device 14 or the corresponding functionality may be implemented using the same hardware and/or software, separate hardware and/or software, or any combination thereof.
Специалистам в данной области техники будет очевидно, что, на основе описаний, существование и (точное) разделение функциональных возможностей различных блоков или функциональных возможностей устройства-источника 12 и/или устройства-получателя 14, показанных на фиг.1 может отличаться в зависимости от конкретного устройства и применения. Устройство-источник 12 и устройство-получатель 14 могут включать в себя любое из широкого спектра устройств, включая портативные или стационарные устройства любого типа, например, ноутбук или портативный компьютер, мобильный телефон, смартфон, планшет или планшетный компьютер, видеокамеру, настольный компьютер, телевизионную приставку, телевизор, фотоаппарат, автомобильное устройство, звуковую приставку, цифровой медиаплеер, аудио игровую приставку, устройство передачи потокового аудио (например, сервер службы содержания или сервер распространения содержания), широковещательное приемное устройство, широковещательное передающее устройство, смарт-очки или смарт-часы, и не могут использовать или могут использовать операционную систему любого типа.It will be obvious to those skilled in the art that, based on the descriptions, the existence and (exact) division of the functionalities of the various blocks or functionalities of the source device 12 and/or the destination device 14 shown in Fig. 1 may differ depending on the specific device and application. The source device 12 and the destination device 14 may include any of a wide range of devices, including portable or stationary devices of any type, such as a laptop or portable computer, a mobile phone, a smartphone, a tablet or tablet computer, a video camera, a desktop computer, a set-top box, a television, a camera, an in-car device, a sound box, a digital media player, an audio game console, an audio streaming device (such as a content service server or a content distribution server), a broadcast receiving device, a broadcast transmitting device, smart glasses or a smart watch, and may or may not use an operating system of any type.
Кодер 20 и декодер 30 каждый может быть реализован в виде любой из различных соответствующих схем, например, одного или более микропроцессоров, процессоров цифровых сигналов (digital signal processor, DSP), специализированных интегральных схем (application-specific integrated circuit, ASIC), программируемых пользователем вентильных матриц (field-programmable gate array, FPGA), дискретной логики, аппаратных средств или любого их сочетания. Если технологии реализованы частично с использованием программного обеспечения, устройство может хранить программные инструкции на соответствующем и энергонезависимом машиночитаемом носителе данных и может исполнять инструкции с использованием аппаратных средств, таких как один или более процессоров, для выполнения технологий настоящего раскрытия. Любое из вышеуказанного содержания (включая аппаратные средства, программное обеспечение, комбинацию аппаратных средств и программного обеспечения и т.п.) может рассматриваться как один или более процессоров.The encoder 20 and the decoder 30 may each be implemented as any of various appropriate circuits, such as one or more microprocessors, digital signal processors (DSP), application-specific integrated circuits (ASIC), field-programmable gate arrays (FPGA), discrete logic, hardware, or any combination thereof. If the technologies are implemented in part using software, the device may store software instructions on a corresponding and non-volatile computer-readable storage medium and may execute the instructions using hardware, such as one or more processors, to perform the technologies of the present disclosure. Any of the above content (including hardware, software, a combination of hardware and software, etc.) may be considered as one or more processors.
В некоторых случаях система 10 кодирования и декодирования аудио, показанная на фиг.1, является просто примером, и технологии настоящей заявки применимы к настройкам кодирования аудио (например, кодированию аудио или декодированию аудио), которые не обязательно включают в себя какой-либо обмен данными между устройством кодирования и устройством декодирования. В другом примере данные могут быть извлечены из локальной памяти, переданы в потоковом режиме через сеть и т.п. Устройство кодирования аудио может кодировать данные и сохранять данные в памяти, и/или устройство декодирования аудио может извлекать и декодировать данные из памяти. В некоторых примерах кодирование и декодирование выполняются устройствами, которые не взаимодействуют друг с другом, а просто кодируют данные в память и/или извлекают и декодируют данные из памяти.In some cases, the audio encoding and decoding system 10 shown in Fig. 1 is simply an example, and the techniques of the present application are applicable to audio encoding settings (e.g., audio encoding or audio decoding) that do not necessarily include any data exchange between the encoding device and the decoding device. In another example, data may be retrieved from a local memory, streamed over a network, etc. The audio encoding device may encode data and store the data in memory, and/or the audio decoding device may retrieve and decode data from memory. In some examples, encoding and decoding are performed by devices that do not interact with each other, but simply encode data into memory and/or retrieve and decode data from memory.
Кодер может быть многоканальным кодером, например, стереофоническим кодером, 5.1-канальным кодером или 7.1-канальным кодером. Конечно, можно понять, что вышеупомянутый кодер также может быть монокодером.The encoder can be a multi-channel encoder, such as a stereo encoder, a 5.1 channel encoder, or a 7.1 channel encoder. Of course, it can be understood that the above encoder can also be a mono encoder.
Аудиоданные также могут упоминаться как аудиосигнал. Аудиосигнал в этом варианте осуществления настоящей заявки является входным сигналом в устройстве кодирования аудио. Аудиосигнал может включать в себя множество кадров. Например, текущий кадр может конкретно относиться к кадру в аудиосигнале. В вариантах осуществления настоящей заявки кодирование и декодирование аудиосигнала текущего кадра используются в качестве примера для описания. Предыдущий кадр или следующий кадр текущего кадра в аудиосигнале могут быть, соответственно, закодированы и декодированы на основе способа кодирования и декодирования аудиосигнала текущего кадра. Процессы кодирования и декодирования предыдущего кадра или следующего кадра текущего кадра в аудиосигнале не описываются один за другим. В дополнение к этому, аудиосигнал в вариантах осуществления настоящей заявки может быть монофоническим аудиосигналом или может быть многоканальным сигналом, например, стереофоническим сигналом. Стереосигнал может быть исходным стереосигналом, может быть стереосигналом, включающим в себя два канала сигналов (сигнал левого канала и сигнал правого канала), включенным в многоканальный сигнал, или может быть стереосигналом, включающим в себя два канала сигналов, вырабатываемых не менее чем тремя каналами сигналов, включенных в многоканальный сигнал. Это не ограничивается вариантами осуществления настоящей заявки.Audio data may also be referred to as an audio signal. The audio signal in this embodiment of the present application is an input signal to the audio encoding device. The audio signal may include a plurality of frames. For example, the current frame may specifically refer to a frame in the audio signal. In the embodiments of the present application, encoding and decoding the audio signal of the current frame is used as an example for description. The previous frame or the next frame of the current frame in the audio signal may be respectively encoded and decoded based on the encoding and decoding method of the audio signal of the current frame. The encoding and decoding processes of the previous frame or the next frame of the current frame in the audio signal are not described one by one. In addition, the audio signal in the embodiments of the present application may be a monophonic audio signal or may be a multi-channel signal, such as a stereophonic signal. The stereo signal may be an original stereo signal, may be a stereo signal including two channels of signals (a left channel signal and a right channel signal) included in a multi-channel signal, or may be a stereo signal including two channels of signals generated by at least three channels of signals included in a multi-channel signal. This is not limited to the embodiments of the present application.
Например, как показано на фиг.2, этот вариант осуществления описан на примере, в котором кодер 20 расположен в мобильном терминале 230, декодер 30 расположен в мобильном терминале 240, мобильный терминал 230 и мобильный терминал 240 представляют собой электронные устройства, которые используются независимо друг от друга и имеют возможность обработки аудиосигнала, например, мобильные телефоны, носимые устройства, устройства виртуальной реальности (virtual Reality, VR) или устройства дополненной реальности (AR), и мобильный терминал 230 и мобильный терминал 240 подключаются через беспроводную или проводную сеть.For example, as shown in Fig. 2, this embodiment is described using an example in which the encoder 20 is located in the mobile terminal 230, the decoder 30 is located in the mobile terminal 240, the mobile terminal 230 and the mobile terminal 240 are electronic devices that are used independently of each other and have the ability to process an audio signal, such as mobile phones, wearable devices, virtual reality (VR) devices or augmented reality (AR) devices, and the mobile terminal 230 and the mobile terminal 240 are connected via a wireless or wired network.
При необходимости мобильный терминал 230 может включать в себя источник 16 аудио, препроцессор 18, кодер 20 и кодер 232 канала. Источник 16 аудио, препроцессор 18, кодер 20 и кодер 232 канала подключены друг к другу.If necessary, the mobile terminal 230 may include an audio source 16, a preprocessor 18, an encoder 20, and a channel encoder 232. The audio source 16, the preprocessor 18, the encoder 20, and the channel encoder 232 are connected to each other.
При необходимости мобильный терминал 240 может включать в себя декодер 242 канала, декодер 30, аудиопостпроцессор 32 и динамик 34. Декодер 242 канала, декодер 30, аудиопостпроцессор 32 и динамик 34 подключены друг к другу.If necessary, the mobile terminal 240 may include a channel decoder 242, a decoder 30, an audio post processor 32, and a speaker 34. The channel decoder 242, the decoder 30, the audio post processor 32, and the speaker 34 are connected to each other.
После получения аудиосигнала через источник 16 аудио мобильный терминал 230 выполняет предварительную обработку аудио, используя препроцессор 18, кодирует аудиосигнал, используя кодер 20, чтобы получить кодированный битовый поток, и затем кодирует кодированный поток битов, используя кодер 232 канала, чтобы получить сигнал передачи.After receiving an audio signal through an audio source 16, the mobile terminal 230 performs audio preprocessing using a preprocessor 18, encodes the audio signal using an encoder 20 to obtain an encoded bit stream, and then encodes the encoded bit stream using a channel encoder 232 to obtain a transmission signal.
Мобильный терминал 230 отправляет сигнал передачи в мобильный терминал 240 через беспроводную или проводную сеть.The mobile terminal 230 sends a transmission signal to the mobile terminal 240 via a wireless or wired network.
После приема сигнала передачи мобильный терминал 240 декодирует сигнал передачи, используя декодер 242 канала, чтобы получить кодированный битовый поток; декодирует кодированный поток битов, используя декодер, чтобы получить аудиосигнал; обрабатывает аудиосигнал, используя аудиопостпроцессор 32, и затем воспроизводит аудиосигнал, используя динамик 34. Можно понять, что мобильный терминал 230 может также включать в себя функциональные модули, включенные в мобильный терминал 240, и мобильный терминал 240 также может включать в себя функциональные модули, включенные в мобильный терминал 230.After receiving the transmission signal, the mobile terminal 240 decodes the transmission signal using the channel decoder 242 to obtain an encoded bit stream; decodes the encoded bit stream using the decoder to obtain an audio signal; processes the audio signal using the audio post processor 32, and then reproduces the audio signal using the speaker 34. It can be understood that the mobile terminal 230 may also include functional modules included in the mobile terminal 240, and the mobile terminal 240 may also include functional modules included in the mobile terminal 230.
Например, как показано на фиг.3, для описания используется пример, в котором кодер 20 и декодер 30 расположены в сетевом элементе 350, который имеет возможность обработки аудиосигнала в одной и той же базовой сети или беспроводной сети. Сетевой элемент 350 может осуществлять транскодирование, например, преобразовывать кодированный битовый поток другого аудиокодера (немногоканального кодера) в кодированный битовый поток многоканального кодера. Сетевой элемент 350 может быть медиашлюзом, устройством транскодирования, сервером медиаресурсов и т.п. сети радиодоступа или базовой сети.For example, as shown in Fig. 3, an example is used for description in which the encoder 20 and the decoder 30 are located in the network element 350, which has the ability to process an audio signal in the same core network or a wireless network. The network element 350 can perform transcoding, for example, convert an encoded bit stream of another audio encoder (a few-channel encoder) into an encoded bit stream of a multi-channel encoder. The network element 350 can be a media gateway, a transcoding device, a media resource server, etc. of a radio access network or a core network.
При необходимости сетевой элемент 350 включает в себя декодер 351 канала, другой аудиодекодер 352, кодер 20 и кодер 353 канала. Декодер 351 канала, другой аудиодекодер 352, кодер 20 и кодер 353 канала подключены друг к другу.If necessary, the network element 350 includes a channel decoder 351, another audio decoder 352, an encoder 20 and a channel encoder 353. The channel decoder 351, the other audio decoder 352, the encoder 20 and the channel encoder 353 are connected to each other.
После приема сигнала передачи, отправленного другим устройством, декодер 351 канала декодирует сигнал передачи для получения первого кодированного битового потока; декодирует первый кодированный битовый поток, используя другой аудиодекодер 352, чтобы получить аудиосигнал; кодирует аудиосигнал, используя кодер 20, чтобы получить второй кодированный битовый поток; и кодирует второй кодированный битовый поток, используя кодер 353 канала, чтобы получить сигнал передачи. То есть первый кодированный битовый поток преобразуется во второй кодированный битовый поток.After receiving a transmission signal sent by another device, the channel decoder 351 decodes the transmission signal to obtain a first coded bit stream; decodes the first coded bit stream using another audio decoder 352 to obtain an audio signal; encodes the audio signal using the encoder 20 to obtain a second coded bit stream; and encodes the second coded bit stream using the channel encoder 353 to obtain a transmission signal. That is, the first coded bit stream is converted into a second coded bit stream.
Другое устройство может быть мобильным терминалом, имеющим возможность обработки аудиосигнала, или может быть другим сетевым элементом, имеющим возможность обработки аудиосигнала. В этом варианте осуществления это не ограничено.The other device may be a mobile terminal having the ability to process an audio signal, or may be another network element having the ability to process an audio signal. In this embodiment, this is not limited.
При необходимости в этом варианте осуществления настоящей заявки устройство, на котором установлен кодер 20, может упоминаться как устройство кодирования аудио. В реальной реализации устройство кодирования аудио может также иметь функцию декодирования аудио. Этот случай не ограничивается этим вариантом осуществления настоящей заявки.If necessary, in this embodiment of the present application, the device on which the encoder 20 is installed may be referred to as an audio encoding device. In a real implementation, the audio encoding device may also have an audio decoding function. This case is not limited to this embodiment of the present application.
При необходимости в этом варианте осуществления настоящей заявки устройство, на котором установлен декодер 30, может упоминаться как устройство декодирования аудио. Во время фактической реализации устройство декодирования аудио может также иметь функцию кодирования аудио. Этот случай не ограничивается этим вариантом осуществления настоящей заявки.If necessary, in this embodiment of the present application, the device on which the decoder 30 is installed may be referred to as an audio decoding device. During actual implementation, the audio decoding device may also have an audio encoding function. This case is not limited to this embodiment of the present application.
Кодер может выполнять способ кодирования аудио в вариантах осуществления настоящей заявки. Процесс первого кодирования включает в себя кодирование с расширением полосы пропускания. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может быть определен на основе спектров сигнала полосы высоких частот перед и после кодирования с расширением полосы пропускания и частотного диапазона кодирования с расширением полосы пропускания. То, зарезервировано ли значение спектра частотного бина сигнала полосы высоких частот перед кодированием с расширением полосы пропускания после кодирования с расширением полосы пропускания с использованием флага резервирования спектра. Второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, и флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться во избежание повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.An encoder may perform an audio encoding method in embodiments of the present application. The first encoding process includes bandwidth extension encoding. A spectrum reservation flag of each frequency bin of the highband signal may be determined based on the spectra of the highband signal before and after the bandwidth extension encoding and the frequency range of the bandwidth extension encoding. Whether a spectrum value of a frequency bin of the highband signal is reserved before the bandwidth extension encoding after the bandwidth extension encoding using the spectrum reservation flag. The second encoding is performed on the highband signal based on the spectrum reservation flag of each frequency bin of the highband signal, and the spectrum reservation flag of each frequency bin of the highband signal may be used to avoid re-encoding of a tonal component already reserved in the bandwidth extension encoding. This makes it possible to improve the encoding efficiency of tonal components.
Например, первое кодирование, выполняемое кодером или базовым кодером внутри кодера над сигналом полосы высоких частот и сигналом полосы низких частот, включает в себя кодирование с расширением полосы пропускания, так что флаг резервирования спектра каждого частотного бина полосы сигнала полосы высоких частот может быть записан, то есть то, изменяется ли спектр каждого частотного бина перед и после расширения полосы пропускания, определяется на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент. Для его конкретной реализации следует обратиться к следующему конкретному пояснению и описанию варианта осуществления, показанного на фиг.4.For example, the first encoding performed by the encoder or the core encoder inside the encoder on the high-band signal and the low-band signal includes bandwidth extension encoding, so that a spectrum reservation flag of each frequency bin of the high-band signal can be recorded, that is, whether the spectrum of each frequency bin changes before and after the bandwidth extension is determined based on the spectrum reservation flag of each frequency bin of the high-band signal. The spectrum reservation flag of each frequency bin of the high-band signal can be used to prevent the tone component already reserved in the bandwidth extension encoding from being re-encoded. This can improve the encoding efficiency of the tone components. For a specific implementation thereof, refer to the following specific explanation and description of the embodiment shown in Fig. 4.
На фиг.4 показана блок-схема последовательности операций способа кодирования аудио согласно варианту осуществления настоящей заявки. Этот вариант осуществления настоящей заявки может выполняться вышеупомянутым кодером или базовым кодером внутри кодера. Как показано на фиг.4, способ в этом варианте осуществления может включать в себя следующие этапы.Fig. 4 shows a flow chart of the audio encoding method according to an embodiment of the present application. This embodiment of the present application can be performed by the above-mentioned encoder or a core encoder within the encoder. As shown in Fig. 4, the method in this embodiment can include the following steps.
401: Получить текущий кадр аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот.401: Get the current frame of the audio signal, where the current frame includes the high-band signal and the low-band signal.
Текущий кадр может быть любым кадром в аудиосигнале, и текущий кадр может включать в себя сигнал полосы высоких частот и сигнал полосы низких частот. Классификация сигнала полосы высоких частот и сигнала полосы низких частот может быть определена с использованием порога полосы частот. Например, сигнал выше порога полосы частот является сигналом полосы высоких частот, и сигнал ниже порога полосы частот является сигналом полосы низких частот. Порог полосы частот может быть определен на основе ширины полосы передачи и возможностей обработки данных устройства кодирования аудио и устройства декодирования аудио. Этот случай не ограничивается здесь.The current frame may be any frame in the audio signal, and the current frame may include a high-frequency band signal and a low-frequency band signal. The classification of the high-frequency band signal and the low-frequency band signal may be determined using a band threshold. For example, a signal above the band threshold is a high-frequency band signal, and a signal below the band threshold is a low-frequency band signal. The band threshold may be determined based on the transmission bandwidth and the data processing capabilities of the audio encoding device and the audio decoding device. This case is not limited here.
Сигнал полосы высоких частот и сигнал полосы низких частот являются относительными. Например, сигнал ниже порогового значения частоты является сигналом полосы низких частот, и сигнал выше порогового значения частоты является сигналом полосы высоких частот (сигнал, соответствующий пороговому значению частоты, может быть классифицирован либо как сигнал полосы низких частот, либо как сигнал полосы высоких частот). Пороговое значение частоты варьируется в зависимости от полосы пропускания текущего кадра. Например, когда текущий кадр представляет собой широкополосный сигнал с полосой пропускания сигнала от 0 кГц до 8 кГц, пороговое значение частоты может быть равно 4 кГц; или, когда текущий кадр представляет собой сверхширокополосный сигнал с полосой пропускания сигнала от 0 кГц до 16 кГц, пороговое значение частоты может быть равно 8 кГц.The high-frequency band signal and the low-frequency band signal are relative. For example, a signal below the frequency threshold is a low-frequency band signal, and a signal above the frequency threshold is a high-frequency band signal (a signal corresponding to the frequency threshold can be classified as either a low-frequency band signal or a high-frequency band signal). The frequency threshold varies depending on the bandwidth of the current frame. For example, when the current frame is a wideband signal with a signal bandwidth of 0 kHz to 8 kHz, the frequency threshold may be 4 kHz; or when the current frame is an ultra-wideband signal with a signal bandwidth of 0 kHz to 16 kHz, the frequency threshold may be 8 kHz.
Следует отметить, что в этом варианте осуществления настоящего изобретения сигнал полосы высоких частот может быть частью или всеми сигналами в области высоких частот. В частности, область высоких частот изменяется в зависимости от различной ширины полосы пропускания сигнала текущего кадра, а также изменяется в зависимости от различных пороговых значений частоты. Например, когда ширина полосы пропускания сигнала текущего кадра составляет от 0 кГц до 8 кГц, и пороговое значение частоты равно 4 кГц, область высоких частот составляет от 4 кГц до 8 кГц. В этом случае сигнал полосы высоких частот может быть сигналом от 4 кГц до 8 кГц, покрывающим всю область высоких частот, или может быть сигналом, покрывающим только часть области высоких частот. Например, сигналы полосы высоких частот могут находиться в диапазоне от 4 кГц до 7 кГц, от 5 кГц до 8 кГц, от 5 кГц до 7 кГц или от 4 кГц до 6 кГц и от 7 кГц до 8 кГц (то есть сигналы полосы высоких частот могут быть несмежными в частотной области). Когда полоса пропускания сигнала текущего кадра составляет от 0 кГц до 16 кГц, и пороговое значение частоты равно 8 кГц, область высоких частот составляет от 8 кГц до 16 кГц. В этом случае сигнал полосы высоких частот может быть сигналом от 8 кГц до 16 кГц, покрывающим всю область высоких частот, или может быть сигналом, покрывающим только часть области высоких частот. Например, сигналы полосы высоких частот могут быть от 8 кГц до 15 кГц, от 9 кГц до 16 кГц, от 9 кГц до 15 кГц или от 8 кГц до 10 кГц и от 11 кГц до 16 кГц (то есть сигналы полосы высоких частот могут быть несмежными в частотной области). Можно понять, что диапазон частот, охватываемый сигналом полосы высоких частот, может быть установлен по мере необходимости или может быть адаптивно определен на основе диапазона частот, в котором необходимо выполнить последующее второе кодирование, например, может быть адаптивно определен на основе диапазона частот, в котором необходимо выполнить обнаружение тональной компоненты.It should be noted that in this embodiment of the present invention, the high-frequency band signal may be a part or all of the signals in the high-frequency region. In particular, the high-frequency region varies depending on different bandwidths of the signal of the current frame, and also varies depending on different frequency thresholds. For example, when the bandwidth of the signal of the current frame is from 0 kHz to 8 kHz, and the frequency threshold is 4 kHz, the high-frequency region is from 4 kHz to 8 kHz. In this case, the high-frequency band signal may be a signal from 4 kHz to 8 kHz covering the entire high-frequency region, or may be a signal covering only a part of the high-frequency region. For example, the high-frequency band signals may be in the range of 4 kHz to 7 kHz, 5 kHz to 8 kHz, 5 kHz to 7 kHz, or 4 kHz to 6 kHz and 7 kHz to 8 kHz (that is, the high-frequency band signals may be non-adjacent in the frequency domain). When the bandwidth of the current frame signal is from 0 kHz to 16 kHz, and the frequency threshold is 8 kHz, the high-frequency region is from 8 kHz to 16 kHz. In this case, the high-frequency band signal may be a signal from 8 kHz to 16 kHz covering the entire high-frequency region, or may be a signal covering only a part of the high-frequency region. For example, the high-frequency band signals may be from 8 kHz to 15 kHz, from 9 kHz to 16 kHz, from 9 kHz to 15 kHz, or from 8 kHz to 10 kHz and from 11 kHz to 16 kHz (that is, the high-frequency band signals may be non-contiguous in the frequency domain). It can be understood that the frequency range covered by the high-frequency band signal may be set as needed or may be adaptively determined based on the frequency range in which the subsequent second coding is to be performed, for example, may be adaptively determined based on the frequency range in which the tone component detection is to be performed.
402: Выполнить первое кодирование сигнала полосы высоких частот и сигнала полосы низких частот, чтобы получить первый параметр кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания.402: Perform first encoding of the high-band signal and the low-band signal to obtain a first encoding parameter of the current frame, where the first encoding includes bandwidth extension encoding.
После получения сигнала полосы высоких частот и сигнала полосы низких частот устройство кодирования аудио может выполнить первое кодирование сигнала полосы высоких частот и сигнала полосы низких частот. Первое кодирование может включать в себя кодирование с расширением полосы пропускания, и кодирование с расширением полосы пропускания также может для краткости упоминаться как "расширение полосы пропускания". Кодирование с расширением полосы пропускания (то есть кодирование с расширением полосы пропускания аудио, именуемое ниже расширением полосы пропускания) вводится в процессе первого кодирования, и параметр кодирования с расширением полосы пропускания (сокращенно называемый параметром расширения полосы пропускания) может быть получен путем кодирования с расширением полосы пропускания. Сторона декодера может восстанавливать информацию о высокой частоте в аудиосигнале на основе параметра кодирования с расширением полосы пропускания. Это позволяет расширить эффективную полосу пропускания аудиосигнала и повысить качество аудиосигнала.After receiving the high-frequency band signal and the low-frequency band signal, the audio encoding device may perform the first encoding of the high-frequency band signal and the low-frequency band signal. The first encoding may include bandwidth extension encoding, and the bandwidth extension encoding may also be referred to as "bandwidth extension" for short. Bandwidth extension encoding (that is, audio bandwidth extension encoding, referred to as bandwidth extension below) is input in the first encoding process, and a bandwidth extension encoding parameter (abbreviated as a bandwidth extension parameter) may be obtained by the bandwidth extension encoding. The decoder side may recover high frequency information in the audio signal based on the bandwidth extension encoding parameter. This can expand the effective bandwidth of the audio signal and improve the quality of the audio signal.
В этом варианте осуществления настоящей заявки сигнал полосы высоких частот и сигнал полосы низких частот кодируются в процессе первого кодирования для получения первого параметра кодирования текущего кадра. Первый параметр кодирования может использоваться для мультиплексирования битового потока.In this embodiment of the present application, a high-frequency band signal and a low-frequency band signal are encoded in a first encoding process to obtain a first encoding parameter of the current frame. The first encoding parameter can be used for multiplexing a bit stream.
В некоторых вариантах осуществления в дополнение к кодированию с расширением полосы пропускания первое кодирование может дополнительно включать в себя обработку, такую как формирование временного шума, формирование шума в частотной области или дискретизацию спектра. Соответственно, в дополнение к параметру кодирования с расширением полосы пропускания первый параметр кодирования может дополнительно включать в себя параметр формирования временного шума, параметр формирования шума в частотной области или параметр дискретизации спектра. Подробности процесса первого кодирования в этом варианте осуществления настоящей заявки не описаны.In some embodiments, in addition to the bandwidth extension coding, the first coding may further include processing such as temporal noise shaping, frequency domain noise shaping, or spectrum sampling. Accordingly, in addition to the bandwidth extension coding parameter, the first coding parameter may further include a temporal noise shaping parameter, a frequency domain noise shaping parameter, or a spectrum sampling parameter. The details of the first coding process in this embodiment of the present application are not described.
403: Определить флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину, причем первый спектр включает в себя спектр сигнала полосы высоких частот, соответствующий частотному бину перед кодированием с расширением полосы пропускания, и второй спектр включает в себя спектр сигнала полосы высоких частот, соответствующий частотному бину после кодирования с расширением полосы пропускания.403: Determine a spectrum reservation flag of each frequency bin of the highband signal, where the spectrum reservation flag indicates whether a first spectrum corresponding to the frequency bin is reserved in a second spectrum corresponding to the frequency bin, wherein the first spectrum includes a spectrum of the highband signal corresponding to the frequency bin before bandwidth extension coding, and the second spectrum includes a spectrum of the highband signal corresponding to the frequency bin after bandwidth extension coding.
В этом варианте осуществления настоящей заявки кодирование с расширением полосы пропускания выполняется над высокочастотным сигналом при первом кодировании, и то, изменяется ли спектр перед и после кодирования с расширением полосы пропускания, может быть записано для каждого частотного бина высокочастотного сигнала. Например, первый спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и второй спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину после кодирования с расширением полосы пропускания. В этом случае устройство кодирования аудио может вырабатывать флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину.In this embodiment of the present application, bandwidth extension coding is performed on the high-frequency signal in the first coding, and whether the spectrum changes before and after the bandwidth extension coding can be recorded for each frequency bin of the high-frequency signal. For example, the first spectrum is the spectrum of the high-frequency band signal corresponding to the frequency bin before the bandwidth extension coding, and the second spectrum is the spectrum of the high-frequency band signal corresponding to the frequency bin after the bandwidth extension coding. In this case, the audio coding device can generate a spectrum reservation flag of each frequency bin of the high-frequency band signal. The spectrum reservation flag of each frequency bin of the high-frequency band signal indicates whether the first spectrum corresponding to the frequency bin is reserved in the second spectrum corresponding to the frequency bin.
Следует отметить, что на этапе 403 определяется флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот, где каждый частотный бин сигнала полосы высоких частот относится к каждому частотному бину, для которого флаг резервирования спектра должен быть определен в сигнале полосы высоких частот. Если диапазон частот, в котором необходимо выполнить обнаружение тональной компоненты, заранее определен, диапазон частот, в котором необходимо определить флаг резервирования спектра в сигнале полосы высоких частот, не является полным диапазоном частот сигнала полосы высоких частот. Таким образом, может быть получен только флаг резервирования спектра каждого частотного бина в диапазоне частот, в котором необходимо выполнить обнаружение тональной компоненты. В дополнение к этому, сигнал полосы высоких частот на этапе 403 также может быть сигналом полосы высоких частот в диапазоне частот, в котором необходимо выполнить обнаружение тональной компоненты. Диапазон частот, в котором необходимо выполнить обнаружение тональной компоненты, может быть определен на основе количества частотных областей, в которых необходимо выполнить обнаружение тональной компоненты. В частности, количество частотных областей, в отношении которых необходимо выполнить обнаружение тональной компоненты, может быть задано заранее.It should be noted that in step 403, a spectrum reservation flag of each frequency bin of the high band signal is determined, where each frequency bin of the high band signal refers to each frequency bin for which a spectrum reservation flag is to be determined in the high band signal. If the frequency range in which the tone component detection is to be performed is determined in advance, the frequency range in which the spectrum reservation flag is to be determined in the high band signal is not the entire frequency range of the high band signal. Thus, only a spectrum reservation flag of each frequency bin in the frequency range in which the tone component detection is to be performed can be obtained. In addition, the high band signal in step 403 may also be a high band signal in the frequency range in which the tone component detection is to be performed. The frequency range in which the tone component detection is to be performed may be determined based on the number of frequency regions in which the tone component detection is to be performed. In particular, the number of frequency regions in respect of which the tone component detection is to be performed may be set in advance.
В некоторых вариантах осуществления настоящей заявки определение флага резервирования спектра каждого частотного бина сигнала полосы высоких частот на этапе 403 включает в себя:In some embodiments of the present application, determining a spectrum reservation flag of each frequency bin of the highband signal at step 403 includes:
определение флага резервирования спектра каждого частотного бина сигнала полосы высоких частот на основе первого спектра, второго спектра и частотного диапазона кодирования с расширением полосы пропускания.determining a spectrum reservation flag of each frequency bin of the high-band signal based on the first spectrum, the second spectrum, and the bandwidth expansion coding frequency range.
В процессе кодирования с расширением полосы пропускания спектр сигнала (то есть первого спектра) перед кодированием с расширением полосы, можно получить спектр сигнала (то есть второй спектр) после кодирования с расширением полосы и диапазон частот кодирования с расширением полосы пропускания. Диапазон частот кодирования с расширением полосы пропускания может быть диапазоном частотных бинов кодирования с расширением полосы пропускания. Например, диапазон частот кодирования с расширением полосы пропускания включает в себя начальный частотный бин и конечный частотный бин для обработки интеллектуального заполнения интервалов (intelligent gap filling, IGF). В качестве альтернативы, диапазон частот кодирования с расширением полосы пропускания может быть представлен другим способом. Например, диапазон частот кодирования с расширением полосы пропускания представлен на основе значения начальной частоты и значения конечной частоты кодирования с расширением полосы пропускания.In the process of bandwidth extension coding, the spectrum of the signal (i.e., the first spectrum) before the bandwidth extension coding, the spectrum of the signal (i.e., the second spectrum) after the bandwidth extension coding and the bandwidth extension coding frequency range can be obtained. The bandwidth extension coding frequency range may be a range of bandwidth extension coding frequency bins. For example, the bandwidth extension coding frequency range includes a start frequency bin and an end frequency bin for processing intelligent gap filling (IGF). Alternatively, the bandwidth extension coding frequency range may be represented in another way. For example, the bandwidth extension coding frequency range is represented based on a start frequency value and a stop frequency value of the bandwidth extension coding.
В процессе первого кодирования, предусмотренного в этом варианте осуществления настоящей заявки, полоса высоких частот может быть разделена на K частотных областей (например, частотная область представлена в виде тайла), и каждая частотная область дополнительно разделена на М диапазонов частот. Значения K и M не ограничены. Диапазон частот кодирования с расширением полосы пропускания может быть определен с использованием частотной области в качестве единицы или может быть определен с использованием полосы частот в качестве единицы.In the first encoding process provided in this embodiment of the present application, the high frequency band may be divided into K frequency regions (for example, the frequency region is represented as a tile), and each frequency region is further divided into M frequency ranges. The values of K and M are not limited. The frequency range of the bandwidth extension encoding may be defined using the frequency region as a unit, or may be defined using the frequency band as a unit.
Устройство кодирования аудио может получать значение флага резервирования спектра каждого частотного бина в сигнале полосы высоких частот множеством способов, которые подробно описаны ниже.The audio encoding device may obtain a spectrum reservation flag value of each frequency bin in the highband signal in a variety of ways, which are described in detail below.
В некоторых вариантах осуществления настоящей заявки полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область.In some embodiments of the present application, a high frequency band corresponding to a high frequency band signal includes at least one frequency region, and the at least one frequency region includes a current frequency region.
Когда первый частотный бин в текущей частотной области не принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра первого частотного бина равно первому заданному значению.When the first frequency bin in the current frequency domain does not belong to the bandwidth extension coding frequency range, the value of the spectrum reservation flag of the first frequency bin is equal to the first specified value.
В качестве альтернативы, когда второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра второго частотного бина равно второму заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию; или значение флага резервирования спектра второго частотного бина равно третьему заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию.Alternatively, when the second frequency bin in the current frequency domain belongs to the frequency range of bandwidth extension coding, the value of the spectrum reservation flag of the second frequency bin is equal to a second predetermined value if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy a predetermined condition; or the value of the spectrum reservation flag of the second frequency bin is equal to a third predetermined value if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy a predetermined condition.
Первое заданное значение указывает то, что первый частотный бин в текущей частотной области не принадлежит частотному диапазону кодирования с расширением полосы пропускания. Второе заданное значение указывает то, что второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию. Третье заданное значение указывает то, что второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию.The first specified value indicates that the first frequency bin in the current frequency domain does not belong to the frequency range of the bandwidth extension coding. The second specified value indicates that the second frequency bin in the current frequency domain belongs to the frequency range of the bandwidth extension coding, and the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy the specified condition. The third specified value indicates that the second frequency bin in the current frequency domain belongs to the frequency range of the bandwidth extension coding, and the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy the specified condition.
В частности, устройство кодирования аудио определяет то, принадлежат ли один или более частотных бинов в текущей частотной области частотному диапазону кодирования с расширением полосы пропускания. Например, первый частотный бин определяется как частотный бин, который находится в текущей частотной области и не принадлежит частотному диапазону кодирования с расширением полосы пропускания, и второй частотный бин определяется как частотный бин, который находится в текущей частотной области и принадлежит частотному диапазону кодирования с расширением полосы пропускания. Значение флага резервирования спектра первого частотного бина равно первому заданному значению, и флаг резервирования спектра второго частотного бина имеет два значения, например, второе заданное значение и третье заданное значение, соответственно. В частности, когда значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра второго частотного бина соответствует второму заданному значению. Когда значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию, значение флага резервирования спектра второго частотного бина равно третьему заданному значению. Заданное условие может быть реализовано множеством способов. Это не ограничивается здесь. Например, заданное условие является условием, точно определенным для значения спектра перед кодированием с расширением полосы пропускания и значения спектра после кодирования с расширением полосы пропускания, которые могут быть конкретно определены на основе сценария применения.In particular, the audio encoding device determines whether one or more frequency bins in the current frequency domain belong to the frequency range of bandwidth extension coding. For example, the first frequency bin is defined as a frequency bin that is in the current frequency domain and does not belong to the frequency range of bandwidth extension coding, and the second frequency bin is defined as a frequency bin that is in the current frequency domain and belongs to the frequency range of bandwidth extension coding. The value of the spectrum reservation flag of the first frequency bin is equal to the first predetermined value, and the spectrum reservation flag of the second frequency bin has two values, for example, the second predetermined value and the third predetermined value, respectively. In particular, when the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy the predetermined condition, the value of the spectrum reservation flag of the second frequency bin corresponds to the second predetermined value. When the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy a predetermined condition, the value of the spectrum reservation flag of the second frequency bin is equal to a third predetermined value. The predetermined condition can be implemented in a variety of ways. It is not limited here. For example, the predetermined condition is a condition specified for the spectrum value before the bandwidth extension coding and the spectrum value after the bandwidth extension coding, which can be specifically determined based on the application scenario.
В некоторых вариантах осуществления настоящей заявки заданное условие включает в себя: значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему второму частотному бину после кодирования с расширением полосы пропускания.In some embodiments of the present application, the specified condition includes: a spectrum value corresponding to the second frequency bin before bandwidth extension coding is equal to a spectrum value corresponding to the second frequency bin after bandwidth extension coding.
В частности, заданное условие может состоять в том, что значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему второму частотному бину после кодирования с расширением полосы пропускания. Заданное условие состоит в том, что значение спектра не изменяется перед и после кодирования с расширением полосы пропускания, то есть значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему второму частотному бину после кодирования с расширением полосы пропускания. В качестве другого примера, заданное условие может также состоять в том, что абсолютное значение разности между значением спектра, соответствующим второму частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим второму частотному бину после кодирования с расширением полосы пропускания, меньше или равно заданному пороговому значению. Заданное условие основано на том, что может существовать некоторая разность между значениями спектра перед и после кодирования с расширением полосы пропускания, но информация о спектре зарезервирована, то есть разность между значением спектра, соответствующим второму частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим второму частотному бину после кодирования с расширением полосы пропускания, меньше заданного порогового значения. В этом варианте осуществления настоящей заявки флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот определяется путем определения заданного условия. Основываясь на флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот можно избежать повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In particular, the predetermined condition may be that the spectrum value corresponding to the second frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the second frequency bin after the bandwidth extension coding. The predetermined condition is that the spectrum value does not change before and after the bandwidth extension coding, that is, the spectrum value corresponding to the second frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the second frequency bin after the bandwidth extension coding. As another example, the predetermined condition may also be that the absolute value of the difference between the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding is less than or equal to a predetermined threshold value. The predetermined condition is based on the fact that there may be some difference between the spectrum values before and after the bandwidth extension coding, but the spectrum information is reserved, that is, the difference between the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding is less than a predetermined threshold. In this embodiment of the present application, the spectrum reservation flag of each frequency bin of the highband signal is determined by determining the predetermined condition. Based on the spectrum reservation flag of each frequency bin of the highband signal, it is possible to avoid re-coding the tonal component already reserved in the bandwidth extension coding. This makes it possible to improve the coding efficiency of the tonal components.
Например, значение флага резервирования спектра, соответствующего частотному бину, который не принадлежит частотному диапазону кодирования с расширением полосы пропускания, устанавливается равным первому заданному значению. Для частотного бина, который принадлежит частотному диапазону кодирования с расширением полосы пропускания, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания, значение флага резервирования спектра частотного бина устанавливается на второе заданное значение. Если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, не равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания, значение флага резервирования спектра частотного бина устанавливается равным третьему заданному значению.For example, the value of the spectrum reservation flag corresponding to a frequency bin that does not belong to the frequency range of bandwidth extension coding is set to the first specified value. For a frequency bin that belongs to the frequency range of bandwidth extension coding, if the spectrum value corresponding to the frequency bin before bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after bandwidth extension coding, the value of the spectrum reservation flag of the frequency bin is set to the second specified value. If the spectrum value corresponding to the frequency bin before bandwidth extension coding is not equal to the spectrum value corresponding to the frequency bin after bandwidth extension coding, the value of the spectrum reservation flag of the frequency bin is set to the third specified value.
В конкретном варианте осуществления настоящей заявки спектр сигнала перед кодированием с расширением полосы пропускания, то есть спектр модифицированного дискретного косинусного преобразования (modified discrete cosine transform, MDCT) перед интеллектуальным заполнением интервалов (intellectual gap fill, IGF), обозначается как mdctSpectrumBeforeIGF. Спектр сигнала после кодирования с расширением полосы пропускания, то есть спектр mdct после IGF, обозначается как mdctSpectrumAfterIGF. Флаг резервирования спектра частотного бина обозначается как igfActivityMask. Например, первое заданное значение равно –1, второе заданное значение равно 1, и третье заданное значение равно 0. Если значение igfActivityMask равно –1, это указывает то, что частотный бин находится за пределами полосы частот, обрабатываемой IGF (то есть диапазон частот кодирования с расширением полосы пропускания). Если значение igfActivityMask равно 0, это указывает то, что частотный бин не зарезервирован (то есть значение спектра частотного бина было установлено равным нулю во время кодирования с расширением полосы пропускания). Если значение igfActivityMask равно 1, это указывает то, что частотный бин зарезервирован (то есть значение спектра остается неизменным перед и после кодирования с расширением полосы пропускания).In a particular embodiment of the present application, the spectrum of the signal before the bandwidth extension coding, i.e. the spectrum of the modified discrete cosine transform (MDCT) before the intelligent gap fill (IGF), is denoted as mdctSpectrumBeforeIGF. The spectrum of the signal after the bandwidth extension coding, i.e. the spectrum of the mdct after the IGF, is denoted as mdctSpectrumAfterIGF. The frequency bin spectrum reservation flag is denoted as igfActivityMask. For example, the first specified value is -1, the second specified value is 1, and the third specified value is 0. If the value of igfActivityMask is -1, this indicates that the frequency bin is outside the frequency band processed by the IGF (i.e. the frequency range of the bandwidth extension coding). If the value of igfActivityMask is 0, it indicates that the frequency bin is not reserved (i.e., the spectrum value of the frequency bin was set to zero during bandwidth extension encoding). If the value of igfActivityMask is 1, it indicates that the frequency bin is reserved (i.e., the spectrum value remains unchanged before and after bandwidth extension encoding).
В частности, способ получения igfActivityMask выглядит следующим образом:In particular, the method for obtaining igfActivityMask is as follows:
sb – порядковый номер частотного бина, igfBgn и igfEnd – начальный частотный бин и конечный частотный бин, соответственно, для обработки IGF, и blockSize – максимальный порядковый номер частотного бина полосы высоких частот .sb is the frequency bin ordinal number, igfBgn and igfEnd are the start frequency bin and end frequency bin, respectively, for IGF processing, and blockSize is the maximum frequency bin ordinal number of the high-frequency band.
404: Выполнить второе кодирование сигнала полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, чтобы получить второй параметр кодирования текущего кадра, где второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, и информация о тональном компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии тональной компоненты.404: Perform a second encoding of the high band signal based on a spectrum reservation flag of each frequency bin of the high band signal to obtain a second encoding parameter of the current frame, where the second encoding parameter indicates information about a target tone component of the high band signal, and the information about the tone component includes location information, quantity information, and amplitude information or energy information of the tone component.
В этом варианте осуществления настоящей заявки, после получения флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, устройство кодирования аудио может выполнять второе кодирование сигнала полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот. В процессе второго кодирования устройство кодирования аудио может определить путем синтаксического анализа флага резервирования спектра каждого частотного бина то, какой частотный бин изменяется перед и после расширения полосы пропускания и какая частота не изменяется перед и после расширения полосы пропускания, то есть устройство кодирования аудио может определить то, был ли закодирован каждый частотный бин сигнала полосы высоких частот в процессе первого кодирования. Частотный бин сигнала полосы высоких частот, который был закодирован в процессе первого кодирования, может не кодироваться в процессе второго кодирования. Таким образом, флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In this embodiment of the present application, after receiving the spectrum reservation flag of each frequency bin of the high band signal, the audio encoding device can perform the second encoding of the high band signal based on the spectrum reservation flag of each frequency bin of the high band signal. In the second encoding process, the audio encoding device can determine by parsing the spectrum reservation flag of each frequency bin which frequency bin changes before and after the bandwidth expansion and which frequency does not change before and after the bandwidth expansion, that is, the audio encoding device can determine whether each frequency bin of the high band signal has been encoded in the first encoding process. The frequency bin of the high band signal which has been encoded in the first encoding process may not be encoded in the second encoding process. Thus, the spectrum reservation flag of each frequency bin of the high band signal can be used to prevent re-encoding of a tonal component already reserved in the bandwidth expansion encoding. This makes it possible to improve the encoding efficiency of tonal components.
В частности, устройство кодирования аудио может получить второй параметр кодирования текущего кадра посредством вышеупомянутого второго кодирования, и второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот. Целевая тональная компонента относится к тональной компоненту, полученной посредством второго кодирования сигнала полосы высоких частот. Например, целевая тональная компонента может конкретно относиться к одному или более тональным компонентам в сигнале полосы высоких частот. В этом варианте осуществления настоящей заявки имеется множество типов информации о целевой тональной компоненте. Например, информация о целевой тональной компоненте может включать в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии целевой тональной компоненты. В целевую тональную компоненту может быть включена только одна информация об амплитуде или информация об энергии. Например, информация о целевой тональной компоненте может включать в себя информацию о местоположении, информацию о количестве и информацию об амплитуде целевой тональной компоненты. В другом примере информация о целевой тональной компоненте может включать в себя информацию о местоположении, информацию о количестве и информацию об энергии целевой тональной компоненты.In particular, the audio encoding device may obtain a second encoding parameter of the current frame by the above-mentioned second encoding, and the second encoding parameter indicates information about a target tonal component of the high-frequency band signal. The target tonal component refers to a tonal component obtained by the second encoding of the high-frequency band signal. For example, the target tonal component may specifically refer to one or more tonal components in the high-frequency band signal. In this embodiment of the present application, there are multiple types of information about the target tonal component. For example, the information about the target tonal component may include location information, quantity information, and amplitude information or energy information of the target tonal component. Only one amplitude information or energy information may be included in the target tonal component. For example, the information about the target tonal component may include location information, quantity information, and amplitude information of the target tonal component. In another example, the information about the target tonal component may include location information, quantity information, and energy information of the target tonal component.
В некоторых вариантах осуществления настоящей заявки второй параметр кодирования включает в себя параметр местоположения-количества целевой тональной компоненты и параметр амплитуды или параметр энергии целевой тональной компоненты. Параметр местоположения-количества указывает информацию о местоположении и информацию о количестве целевой тональной компоненты сигнала полосы высоких частот, параметр амплитуды указывает информацию об амплитуде целевой тональной компоненты сигнала полосы высоких частот, и параметр энергии указывает информацию об энергии целевой тональной компоненты сигнала полосы высоких частот.In some embodiments of the present application, the second encoding parameter includes a location-quantity parameter of the target tonal component and an amplitude parameter or an energy parameter of the target tonal component. The location-quantity parameter indicates location information and quantity information of the target tonal component of the high-frequency band signal, the amplitude parameter indicates amplitude information of the target tonal component of the high-frequency band signal, and the energy parameter indicates energy information of the target tonal component of the high-frequency band signal.
Например, второй параметр кодирования включает в себя параметр местоположения-количества тональной компоненты и параметр амплитуды или параметр энергии тональной компоненты. Параметр местоположения-количества представляет то, что местоположение тональной компоненты и количество тональных компонент представлены одним и тем же параметром. В другой реализации второй параметр кодирования включает в себя параметр местоположения тональной компоненты, параметр количества тональных компонент и параметр амплитуды или параметр энергии тональной компоненты. В этом случае местоположение тональной компоненты и количество тональных компонент могут быть представлены с использованием разных параметров.For example, the second encoding parameter includes a tonal component location-quantity parameter and a tonal component amplitude parameter or energy parameter. The location-quantity parameter represents that the tonal component location and the tonal component quantity are represented by the same parameter. In another implementation, the second encoding parameter includes a tonal component location parameter, a tonal component quantity parameter, and a tonal component amplitude parameter or energy parameter. In this case, the tonal component location and the tonal component quantity may be represented using different parameters.
В конкретной реализации полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область. Параметр местоположения-количества целевой тональной компоненты текущей частотной области и параметр амплитуды или параметр энергии целевой тональной компоненты текущей частотной области определяются на основе сигнала полосы высоких частот текущей частотной области по меньшей мере в одной частотной области и флага резервирования спектра каждого частотного бина в текущей частотной области.In a specific implementation, the high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and at least one frequency region includes the current frequency region. The location-quantity parameter of the target tonal component of the current frequency region and the amplitude parameter or the energy parameter of the target tonal component of the current frequency region are determined based on the high-frequency band signal of the current frequency region in at least one frequency region and a spectrum reservation flag of each frequency bin in the current frequency region.
Например, фильтрация пиков выполняется над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области. Информация о тональном компоненте-кандидате включает в себя информацию о количестве, информацию о местоположении и информацию об амплитуде или информацию об энергии тональной компоненты-кандидата. Например, информация о количестве тональной компоненты-кандидата может быть информацией о количестве пиков после фильтрации пиков, информация о местоположении тональной компоненты-кандидата может быть информацией о местоположении пика после фильтрации пиков, информация об амплитуде тональной компоненты-кандидата может быть информацией об амплитуде пика после фильтрации пиков, и информация об энергии тональной компоненты-кандидата может быть информацией об энергии пика после фильтрации пиков. Параметр местоположения-количества и параметр амплитуды или параметр энергии целевой тональной компоненты текущей частотной области могут быть получены на основе информации о тональном компоненте-кандидате.For example, peak filtering is performed on peak information in the current frequency domain based on a spectrum reservation flag of each frequency bin in the current frequency domain to obtain candidate tone component information in the current frequency domain. The candidate tone component information includes quantity information, location information, and amplitude information or energy information of the candidate tone component. For example, quantity information of the candidate tone component may be peak quantity information after peak filtering, location information of the candidate tone component may be peak location information after peak filtering, amplitude information of the candidate tone component may be peak amplitude information after peak filtering, and energy information of the candidate tone component may be peak energy information after peak filtering. The quantity-location parameter and the amplitude parameter or the energy parameter of the target tone component of the current frequency domain may be obtained based on the candidate tone component information.
В частности, информация о тональном компоненте-кандидате включает в себя информацию о количестве, информацию о местоположении и информацию об амплитуде или информацию об энергии тональной компоненты-кандидата. Например, информация о количестве, информация о местоположении и информация об амплитуде или информация об энергии тональной компоненты-кандидата используются в качестве информации о количестве, информации о местоположении и информации об амплитуде или информации об энергии целевой тональной компоненты в текущей частотной области. Параметр местоположения-количества и параметр амплитуды или параметр энергии целевой тональной компоненты текущей частотной области получают на основе информации о количестве, информации о местоположении, информации об амплитуде или информации об энергии целевой тональной компоненты текущей частотной области.In particular, the information about the candidate tonal component includes quantity information, location information, and amplitude information or energy information of the candidate tonal component. For example, the quantity information, location information, and amplitude information or energy information of the candidate tonal component are used as quantity information, location information, and amplitude information or energy information of the target tonal component in the current frequency domain. The quantity-location parameter and the amplitude parameter or the energy parameter of the target tonal component of the current frequency domain are obtained based on the quantity information, location information, amplitude information or energy information of the target tonal component of the current frequency domain.
В качестве другого примера, другая обработка может выполняться на основе информации о количестве, информации о местоположении и информации об амплитуде или информации об энергии тональной компоненты-кандидата для получения информации об обработанном количестве, информации о местоположении и информации об амплитуде или информации об энергии тональной компоненты-кандидата. Обработанная информация о количестве, информация о местоположении и информация об амплитуде или информация об энергии тональной компоненты-кандидата используются в качестве информации о количестве, информации о местоположении и информации об амплитуде или информации об энергии целевой тональной компоненты в текущей частотной области. Параметр местоположения-количества и параметр амплитуды или параметр энергии целевой тональной компоненты текущей частотной области получают на основе информации о количестве, информации о местоположении, информации об амплитуде или информации об энергии целевой тональной компоненты текущей частотной области. Другой обработкой может быть одна или несколько обработок, таких как комбинированная обработка, фильтрация по количеству и коррекция межкадровой непрерывности. То, следует ли выполнять другую обработку, тип, включенный в другую обработку, и способ обработки не ограничены в этом варианте осуществления настоящей заявки.As another example, other processing may be performed based on the quantity information, the location information and the amplitude information or the energy information of the candidate tonal component to obtain information about the processed quantity, the location information and the amplitude information or the energy information of the candidate tonal component. The processed quantity information, the location information and the amplitude information or the energy information of the candidate tonal component are used as the quantity information, the location information and the amplitude information or the energy information of the target tonal component in the current frequency domain. The quantity-location parameter and the amplitude parameter or the energy parameter of the target tonal component of the current frequency domain are obtained based on the quantity information, the location information, the amplitude information or the energy information of the target tonal component of the current frequency domain. The other processing may be one or more processing such as combined processing, quantity filtering and interframe continuity correction. Whether another processing is to be performed, the type included in the other processing, and the processing method are not limited in this embodiment of the present application.
405: Выполнить мультиплексирование битового потока для первого параметра кодирования и второго параметра кодирования, чтобы получить кодированный битовый поток.405: Multiplex the bitstream for the first encoding parameter and the second encoding parameter to obtain an encoded bitstream.
В предыдущем варианте осуществления устройство кодирования аудио получает первый параметр кодирования на этапе 402, получает второй параметр кодирования на этапе 404 и, наконец, выполняет мультиплексирование битового потока для первого параметра кодирования и второго параметра кодирования для получения кодированного битового потока. Например, кодированный битовый поток может быть битовым потоком полезной нагрузки. Битовый поток полезной нагрузки может нести конкретную информацию о каждом кадре аудиосигнала, например, может нести информацию о тональном компоненте каждого кадра.In the previous embodiment, the audio encoding device receives a first encoding parameter in step 402, receives a second encoding parameter in step 404, and finally multiplexes the bit stream for the first encoding parameter and the second encoding parameter to obtain an encoded bit stream. For example, the encoded bit stream may be a payload bit stream. The payload bit stream may carry specific information about each frame of the audio signal, for example, it may carry information about the tonal component of each frame.
В некоторых вариантах осуществления настоящей заявки кодированный битовый поток может дополнительно включать в себя битовый поток конфигурации, и битовый поток конфигурации может нести информацию о конфигурации, совместно используемую всеми кадрами в аудиосигнале. Битовый поток полезной нагрузки и битовый поток конфигурации могут быть независимыми друг от друга или могут быть включены в один и тот же битовый поток, то есть битовый поток полезной нагрузки и битовый поток конфигурации могут быть разными частями одного и того же битового потока.In some embodiments of the present application, the encoded bitstream may further include a configuration bitstream, and the configuration bitstream may carry configuration information shared by all frames in the audio signal. The payload bitstream and the configuration bitstream may be independent of each other or may be included in the same bitstream, that is, the payload bitstream and the configuration bitstream may be different parts of the same bitstream.
Например, мультиплексирование битового потока выполняется для первого параметра кодирования и второго параметра кодирования, чтобы получить кодированный битовый поток. В соответствии с устройством кодирования аудио в настоящей заявке определяется информация флага резервирования спектра кодирования с расширением полосы пропускания, и в процессе получения второго параметра кодирования избегают повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания, на основе информации о флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот. Это позволяет повысить эффективность кодирования тональных компонент.For example, multiplexing of a bit stream is performed for a first coding parameter and a second coding parameter to obtain a coded bit stream. According to the audio coding device in the present application, spectrum reservation flag information of bandwidth extension coding is determined, and in the process of obtaining the second coding parameter, re-coding of a tone component already reserved in bandwidth extension coding is avoided based on the spectrum reservation flag information of each frequency bin of a high-band signal. This can improve the coding efficiency of tone components.
Устройство кодирования аудио отправляет кодированный битовый поток в устройство декодирования аудио, и устройство декодирования аудио выполняет демультиплексирование кодированного битового потока для получения параметра кодирования, а также точного получения текущего кадра аудиосигнала.The audio encoding device sends an encoded bitstream to the audio decoding device, and the audio decoding device demultiplexes the encoded bitstream to obtain an encoding parameter and accurately obtain the current frame of the audio signal.
Из примерного описания настоящей заявки с использованием вышеизложенного варианта осуществления можно узнать, что получается текущий кадр аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот; первое кодирование выполняется над сигналом полосы высоких частот и сигналом полосы низких частот для получения первого параметра кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания; определяется флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину, первый спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и второй спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину после кодирования с расширением полосы пропускания; второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра, где второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, и информация о целевой тональной компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии целевой тональной компоненты; и мультиплексирование битового потока выполняется для первого параметра кодирования и второго параметра кодирования для получения кодированного битового потока. В этом варианте осуществления настоящей заявки процесс первого кодирования включает в себя кодирование с расширением полосы пропускания. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может быть определен на основе спектров сигнала полосы высоких частот перед и после кодирования с расширением полосы пропускания и частотного диапазона кодирования с расширением полосы пропускания. То, зарезервировано ли значение спектра одного или более частотных бинов сигнала полосы высоких частот перед кодированием с расширением полосы пропускания после кодирования с расширением полосы пропускания, указывается с использованием флага резервирования спектра. Второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, и флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.From the exemplary description of the present application using the above embodiment, it can be learned that a current frame of an audio signal is obtained, where the current frame includes a high-frequency band signal and a low-frequency band signal; a first encoding is performed on the high-frequency band signal and the low-frequency band signal to obtain a first encoding parameter of the current frame, where the first encoding includes bandwidth extension encoding; a spectrum reservation flag of each frequency bin of the high-frequency band signal is determined, where the spectrum reservation flag indicates whether a first spectrum corresponding to the frequency bin is reserved in a second spectrum corresponding to the frequency bin, the first spectrum is a spectrum of the high-frequency band signal corresponding to the frequency bin before the bandwidth extension encoding, and the second spectrum is a spectrum of the high-frequency band signal corresponding to the frequency bin after the bandwidth extension encoding; a second encoding is performed on the highband signal based on a spectrum reservation flag of each frequency bin of the highband signal to obtain a second encoding parameter of the current frame, where the second encoding parameter indicates information about a target tonal component of the highband signal, and the information about the target tonal component includes position information, quantity information, and amplitude information or energy information of the target tonal component; and bitstream multiplexing is performed for the first encoding parameter and the second encoding parameter to obtain an encoded bitstream. In this embodiment of the present application, the first encoding process includes bandwidth extension encoding. The spectrum reservation flag of each frequency bin of the highband signal can be determined based on the spectra of the highband signal before and after the bandwidth extension encoding and the frequency range of the bandwidth extension encoding. Whether a spectrum value of one or more frequency bins of the highband signal is reserved before the bandwidth extension encoding after the bandwidth extension encoding is indicated using the spectrum reservation flag. The second encoding is performed on the highband signal based on the spectrum reservation flag of each frequency bin of the highband signal, and the spectrum reservation flag of each frequency bin of the highband signal can be used to prevent the tone component already reserved in the bandwidth extension encoding from being re-encoded. This can improve the encoding efficiency of the tone components.
Далее обратимся к некоторым другим вариантам осуществления, представленным в настоящей заявке. Как показано на фиг.5, полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и выполнение второго кодирования сигнала полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра на этапе 404 включает в себя следующие этапы.Now, referring to some other embodiments presented in the present application, as shown in Fig. 5, the high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and performing the second encoding of the high-frequency band signal based on the spectrum reservation flag of each frequency bin of the high-frequency band signal to obtain the second encoding parameter of the current frame in step 404 includes the following steps.
4041: Выполнить поиск пиков на основе сигнала полосы высоких частот текущей частотной области для получения информации о пиках в текущей частотной области, где информация о пиках в текущей частотной области включает в себя информацию о количестве пиков, информацию о местоположении пика и информацию об амплитуде пика или информацию об энергии пика в текущей частотной области.4041: Perform a peak search based on the high-pass band signal of the current frequency domain to obtain peak information in the current frequency domain, where the peak information in the current frequency domain includes peak number information, peak location information, and peak amplitude information or peak energy information in the current frequency domain.
Устройство кодирования аудио может выполнять поиск пиков на основе сигнала полосы высоких частот текущей частотной области. Например, поиск выполняется в текущей частотной области на предмет наличия пиков. Информация о количестве пиков, информация о местоположении пика и информация об амплитуде или информация об энергии пика в текущей частотной области могут быть получены путем поиска пика.The audio encoding device may search for peaks based on the high-frequency band signal of the current frequency domain. For example, the search is performed in the current frequency domain for peaks. Information about the number of peaks, information about the location of the peak, and information about the amplitude or information about the energy of the peak in the current frequency domain may be obtained by searching for the peak.
В частности, спектральная плотность мощности сигнала полосы высоких частот текущей частотной области может быть получен на основе сигнала полосы высоких частот текущей частотной области. Пик спектральной плотности мощности ищется на основе спектральной плотности мощности сигнала полосы высоких частот текущей частотной области (текущей области для краткости). Количество пиков используется в качестве информации о количестве пиков в текущей области, порядковый номер частотного бина, соответствующий пику, используется в качестве информации о местоположении пика в текущей области, и амплитуда или энергия пика используется в качестве информации об амплитуде или информация об энергии пика в текущей области. В качестве альтернативы, отношение спектральных плотностей мощности текущего частотного бина в текущей частотной области может быть получено на основе сигнала полосы высоких частот текущей частотной области, где отношение спектральных плотностей мощности текущего частотного бина представляет собой отношение значения спектральной плотности мощности текущего частотного бина к среднему значению спектральных плотностей мощности текущей частотной области. Поиск пиков выполняется в текущей частотной области на основе отношения спектральных плотностей мощности текущего частотного бина для получения информации о количестве пиков, информации о местоположении пика, информации об амплитуде пика или информации об энергии пика в текущей частотной области. Информация об энергии или информация об амплитуде включает в себя отношение спектральных плотностей мощности. Например, отношение спектральных плотностей мощности пиков представляет собой отношение значения спектральной плотности мощности частотного бина, соответствующего местоположению пика, к среднему значению спектральной плотности мощности в текущей частотной области. Конечно, в этом варианте осуществления настоящей заявки поиск пиков также может выполняться другим способом для получения информации о количестве пиков, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей области. Этот случай не ограничивается этим вариантом осуществления настоящей заявки.In particular, the power spectral density of the high-pass band signal of the current frequency domain can be obtained based on the high-pass band signal of the current frequency domain. The peak of the power spectral density is searched based on the power spectral density of the high-pass band signal of the current frequency domain (current domain for short). The number of peaks is used as information on the number of peaks in the current domain, the serial number of the frequency bin corresponding to the peak is used as information on the location of the peak in the current domain, and the amplitude or energy of the peak is used as information on the amplitude or information on the energy of the peak in the current domain. Alternatively, the ratio of the power spectral densities of the current frequency bin in the current frequency domain can be obtained based on the high-pass band signal of the current frequency domain, where the ratio of the power spectral densities of the current frequency bin is the ratio of the value of the power spectral density of the current frequency bin to the average value of the power spectral densities of the current frequency domain. A peak search is performed in the current frequency domain based on the ratio of the power spectral densities of the current frequency bin to obtain information on the number of peaks, information on the location of the peak, information on the amplitude of the peak or information on the energy of the peak in the current frequency domain. The energy information or the amplitude information includes a ratio of the power spectral densities. For example, the ratio of the power spectral densities of the peaks is a ratio of the power spectral density value of the frequency bin corresponding to the location of the peak to the average value of the power spectral density in the current frequency domain. Of course, in this embodiment of the present application, a peak search can also be performed in another way to obtain information on the number of peaks, information on the location of the peak and information on the amplitude or information on the energy of the peak in the current domain. This case is not limited to this embodiment of the present application.
В варианте осуществления настоящей заявки устройство кодирования аудио может сохранять информацию о местоположении пика и информацию об энергии пика в текущей частотной области в массивах peak_idx и peak_val, соответственно, и сохранять информацию о количестве пиков в текущей частотной области в peak_cnt.In an embodiment of the present application, the audio encoding device may store information about the location of a peak and information about the energy of a peak in a current frequency domain in arrays peak_idx and peak_val, respectively, and store information about the number of peaks in the current frequency domain in peak_cnt.
Сигнал полосы высоких частот, в отношении которого выполняется поиск пиков, может быть сигналом в частотной области или может быть сигналом во временной области.The high-frequency band signal on which peaks are searched may be a frequency domain signal or may be a time domain signal.
В частности, в реализации поиск пиков может конкретно выполняться на основе по меньшей мере одного из: спектральной плотности мощности, энергетического спектра или амплитудного спектра текущей частотной области.In particular, in an implementation, the peak search may be specifically performed based on at least one of: a power spectral density, an energy spectrum, or an amplitude spectrum of the current frequency domain.
4042: Выполнение фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.4042: Perform peak filtering on the peak information in the current frequency domain based on the spectrum reservation flag of each frequency bin in the current frequency domain to obtain the candidate tonal component information in the current frequency domain.
Устройство кодирования аудио может получать, на основе информации о флаге резервирования спектра каждого частотного бина в текущей частотной области и информации о количестве пиков, информацию о местоположении пика и информацию об амплитуде или информацию об энергии пика в текущей частотной области, информацию о количестве отфильтрованных пиков, информацию о местоположении пика и информацию об амплитуде или информацию об энергии пика в текущей частотной области. Информация о количестве отфильтрованных пиков, информация о местоположении пика и информация об амплитуде или информация об энергии пика является информацией о тональном компоненте-кандидате в текущей частотной области.The audio encoding device can obtain, based on the spectrum reservation flag information of each frequency bin in the current frequency domain and the information on the number of peaks, the information on the peak location and the amplitude information or the information on the energy of the peak in the current frequency domain, the information on the number of filtered peaks, the information on the peak location and the amplitude information or the information on the energy of the peak in the current frequency domain. The information on the number of filtered peaks, the information on the peak location and the amplitude information or the information on the energy of the peak is the information on the candidate tonal component in the current frequency domain.
Например, информация об амплитуде или информация об энергии пика может включать в себя отношение значений энергии пика или отношение значений спектральной плотности мощности пика. Устройство кодирования аудио может также получать другую информацию, представляющую энергию или амплитуду пика при поиске пика, например, значение спектральной плотности мощности частотного бина, соответствующего местоположению пика. Отношение спектральных плотностей мощности пика представляет собой отношение значения спектральной плотности мощности пика к среднему значению спектральных плотностей мощности текущей частотной области, то есть отношение значения спектральной плотности мощности частотного бина, соответствующего местоположению пика, к среднему значению спектральных плотностей мощности текущей частотной области. Аналогичным образом, отношение спектральных плотностей мощности тональной компоненты-кандидата представляет собой отношение значения спектральной плотности мощности тональной компоненты-кандидата к среднему значению спектральных плотностей мощности в текущей частотной области, то есть отношение значения спектральной плотности мощности частотного бина, соответствующего положению тональной компоненты-кандидата, к среднему значению спектральных плотностей мощности текущей частотной области.For example, the amplitude information or the energy information of the peak may include a ratio of the peak energy values or a ratio of the peak power spectral density values. The audio encoding device may also obtain other information representing the energy or amplitude of the peak when searching for the peak, such as a power spectral density value of the frequency bin corresponding to the peak location. The ratio of the peak power spectral densities is the ratio of the peak power spectral density value to the average value of the current frequency domain power spectral densities, that is, the ratio of the frequency bin power spectral density value corresponding to the peak location to the average value of the current frequency domain power spectral densities. Similarly, the ratio of the candidate tonal component power spectral densities is the ratio of the candidate tonal component power spectral density value to the average value of the current frequency domain power spectral densities, that is, the ratio of the frequency bin power spectral density value corresponding to the position of the candidate tonal component to the average value of the current frequency domain power spectral densities.
Следует отметить, что в этом варианте осуществления настоящей заявки фильтрация пиков может выполняться непосредственно на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения тональной компоненты-кандидата в текущей частотной области. В качестве альтернативы, флаг резервирования спектра каждой подполосы текущей частотной области может быть определен на основе флага резервирования спектра каждого частотного бина в текущей частотной области, и затем выполняется фильтрация пиков на основе флага резервирования спектра каждой подполосы текущей частотной области. Подробности смотри в примерах последующих вариантов осуществления.It should be noted that in this embodiment of the present application, peak filtering may be performed directly based on the spectrum reservation flag of each frequency bin in the current frequency domain to obtain a candidate tone component in the current frequency domain. Alternatively, the spectrum reservation flag of each sub-band of the current frequency domain may be determined based on the spectrum reservation flag of each frequency bin in the current frequency domain, and then peak filtering is performed based on the spectrum reservation flag of each sub-band of the current frequency domain. For details, see examples of the following embodiments.
4043: Получить информацию о целевой тональной компоненте текущей частотной области на основе информации о тональном компоненте-кандидате текущей частотной области.4043: Obtain the target tonal component information of the current frequency domain based on the candidate tonal component information of the current frequency domain.
После получения информации о тональном компоненте-кандидате в текущей частотной области устройство кодирования аудио может выполнять обработку на основе информации о тональном компоненте-кандидате в текущей частотной области для получения информации о целевой тональной компоненте текущей частотной области. Целевая тональная компонента может быть тональной компонентой, полученной после объединения тональных компонент-кандидатов, целевая тональная компонента может быть тональной компонентой, полученной после фильтрации по количеству возможных тональных компонент, и целевая тональная компонента может быть тональной компонентой, полученной после выполнения обработки межкадровой непрерывности над тональными компонентами-кандидатами. Реализация получения целевой тональной компоненты здесь не ограничивается.After obtaining information about the candidate tone component in the current frequency domain, the audio encoding device may perform processing based on the information about the candidate tone component in the current frequency domain to obtain information about the target tone component of the current frequency domain. The target tone component may be a tone component obtained after combining the candidate tone components, the target tone component may be a tone component obtained after filtering by the number of possible tone components, and the target tone component may be a tone component obtained after performing inter-frame continuity processing on the candidate tone components. The implementation of obtaining the target tone component is not limited here.
4044: Получить второй параметр кодирования текущей частотной области на основе информации о целевой тональной компоненте текущей частотной области.4044: Get the second encoding parameter of the current frequency domain based on the target tonal component information of the current frequency domain.
В этом варианте осуществления настоящей заявки устройство кодирования аудио может получить второй параметр кодирования текущей частотной области на основе информации о целевой тональной компоненте текущей частотной области, где второй параметр кодирования включает в себя параметр местоположения-количества и параметр амплитуды или параметр энергии целевой тональной компоненты. Параметр местоположения-количества указывает информацию о местоположении и информацию о количестве целевой тональной компоненты сигнала полосы высоких частот, параметр амплитуды указывает информацию об амплитуде целевой тональной компоненты сигнала полосы высоких частот, и параметр энергии указывает информацию об энергии целевой тональной компоненты сигнала полосы высоких частот.In this embodiment of the present application, the audio encoding device can obtain a second encoding parameter of the current frequency domain based on information about the target tonal component of the current frequency domain, where the second encoding parameter includes a location-quantity parameter and an amplitude parameter or an energy parameter of the target tonal component. The location-quantity parameter indicates location information and quantity information of the target tonal component of the high-frequency band signal, the amplitude parameter indicates amplitude information of the target tonal component of the high-frequency band signal, and the energy parameter indicates energy information of the target tonal component of the high-frequency band signal.
Из вышеприведенных описаний этапов с 4041 по 4044 можно понять, что в этом варианте осуществления настоящей заявки фильтрация пиков выполняется над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области. Флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.It can be understood from the above descriptions of steps 4041 to 4044 that in this embodiment of the present application, peak filtering is performed on peak information in the current frequency domain based on a spectrum reservation flag of each frequency bin in the current frequency domain to obtain information about a candidate tone component in the current frequency domain. The spectrum reservation flag of each frequency bin of the highband signal can be used to prevent re-encoding of a tone component already reserved in bandwidth extension encoding. This can improve the encoding efficiency of tone components.
Далее обратимся к некоторым другим вариантам осуществления, представленным в настоящей заявке. Полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и одна частотная область включает в себя по меньшей мере одну подполосу. Как показано на фиг.6, выполнение фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области на предыдущем этапе 4042 включает в себя следующие этапы.Now, referring to some other embodiments presented in the present application, the high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and one frequency region includes at least one sub-band. As shown in Fig. 6, performing peak filtering on peak information in the current frequency region based on the spectrum reservation flag of each frequency bin in the current frequency region to obtain information on a candidate tonal component in the current frequency region in the previous step 4042 includes the following steps.
601: Получить флаг резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области.601: Get the spectrum reservation flag of each sub-band of the current frequency domain based on the spectrum reservation flag of each frequency bin in the current frequency domain.
Полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и одна частотная область включает в себя по меньшей мере одну подполосу. Устройство кодирования аудио может определить значение флага резервирования спектра каждого частотного бина на основе флага резервирования спектра для каждого частотного бина в текущей частотной области. Частотный бин в текущей частотной области может принадлежать определенной подполосе. Таким образом, значение флага резервирования спектра подполосы может быть определено на основе значения флага резервирования спектра частотного бина в подполосе. Вышеупомянутым способом устройство кодирования аудио может получить флаг резервирования спектра каждой подполосы текущей частотной области.The high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and one frequency region includes at least one sub-band. The audio encoding device can determine the spectrum reservation flag value of each frequency bin based on the spectrum reservation flag for each frequency bin in the current frequency region. The frequency bin in the current frequency region may belong to a specific sub-band. Thus, the spectrum reservation flag value of the sub-band can be determined based on the spectrum reservation flag value of the frequency bin in the sub-band. In the above-mentioned manner, the audio encoding device can obtain the spectrum reservation flag of each sub-band of the current frequency region.
Кроме того, в некоторых вариантах осуществления настоящей заявки получение флага резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области на предыдущем этапе 601 включает в себя:Furthermore, in some embodiments of the present application, obtaining a spectrum reservation flag of each sub-band of the current frequency region based on the spectrum reservation flag of each frequency bin in the current frequency region in the previous step 601 includes:
если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения, определение того, что значение флага резервирования спектра текущей подполосы является первым флагом значение, где, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра для частотного бина равно второму заданному значению; илиif the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to a second predetermined value is greater than a predetermined threshold value, determining that the spectrum reservation flag value of the current sub-band is the first flag value, where if the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding satisfy the predetermined condition, the spectrum reservation flag value for the frequency bin is equal to the second predetermined value; or
если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению, определение того, что значение флага резервирования спектра текущей подполосы равно второму значению флага.if the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to the second specified value is less than or equal to the specified threshold value, determining that the spectrum reservation flag value of the current sub-band is equal to the second flag value.
Первое значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения. Если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра для частотного бина равно второму заданному значению, и частотный бин является частотным бином в текущей подполосе. Второе значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению.The first value of the flag indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value is greater than the specified threshold value. If the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding satisfy the specified condition, the value of the spectrum reservation flag for the frequency bin is equal to the second specified value, and the frequency bin is a frequency bin in the current sub-band. The second value of the flag indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value is less than or equal to the specified threshold value.
Флаг резервирования спектра текущей подполосы может иметь множество значений. Например, флаг резервирования спектра текущей подполосы является первым значением флага, или флаг резервирования спектра текущей подполосы является вторым значением флага, которое может быть специально определено на основе количества частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению. Конкретные значения первого значения флага и второго значения флага не ограничены в этом варианте осуществления настоящей заявки.The spectrum reservation flag of the current sub-band may have multiple values. For example, the spectrum reservation flag of the current sub-band is the first flag value, or the spectrum reservation flag of the current sub-band is the second flag value, which may be specifically determined based on the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to the second specified value. The specific values of the first flag value and the second flag value are not limited in this embodiment of the present application.
В некоторых вариантах осуществления настоящей заявки заданное условие включает в себя: Значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания.In some embodiments of the present application, the specified condition includes: A spectrum value corresponding to a frequency bin before bandwidth extension coding is equal to a spectrum value corresponding to a frequency bin after bandwidth extension coding.
В частности, заданное условие может состоять в том, что значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания. Заданным условием может быть то, что значение спектра не изменяется перед и после кодирования с расширением полосы пропускания, то есть значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания. В качестве другого примера, заданное условие может также состоять в том, что абсолютное значение разности между значением спектра, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим частотному бину после кодирования с расширением полосы пропускания, меньше или равно заданному пороговому значению. Заданное условие основано на том, что может существовать некоторая разность между значениями спектра перед и после кодирования с расширением полосы пропускания, но информация о спектре зарезервирована, то есть разность между значением спектра, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и значением спектра, соответствующим частотному бину после кодирования с расширением полосы пропускания меньше заданного порогового значения. В этом варианте осуществления настоящей заявки флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот определяется путем определения заданного условия. Основываясь на флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот можно избежать повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In particular, the specified condition may be that the spectrum value corresponding to the frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after the bandwidth extension coding. The specified condition may be that the spectrum value does not change before and after the bandwidth extension coding, that is, the spectrum value corresponding to the frequency bin before the bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after the bandwidth extension coding. As another example, the specified condition may also be that the absolute value of the difference between the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding is less than or equal to a specified threshold value. The predetermined condition is based on the fact that there may be some difference between the spectrum values before and after the bandwidth extension coding, but the spectrum information is reserved, that is, the difference between the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding is less than a predetermined threshold. In this embodiment of the present application, the spectrum reservation flag of each frequency bin of the highband signal is determined by determining the predetermined condition. Based on the spectrum reservation flag of each frequency bin of the highband signal, it is possible to avoid re-coding the tonal component already reserved in the bandwidth extension coding. This makes it possible to improve the coding efficiency of the tonal components.
Например, значение флага резервирования спектра, соответствующего частотному бину, который не принадлежит частотному диапазону кодирования с расширением полосы пропускания, устанавливается равным первому заданному значению. Для частотного бина, который принадлежит частотному диапазону кодирования с расширением полосы пропускания, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания, значение флага резервирования спектра частотного бина устанавливается на второе заданное значение. Если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, не равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания, значение флага резервирования спектра частотного бина устанавливается равным третьему заданному значению.For example, the value of the spectrum reservation flag corresponding to a frequency bin that does not belong to the frequency range of bandwidth extension coding is set to the first specified value. For a frequency bin that belongs to the frequency range of bandwidth extension coding, if the spectrum value corresponding to the frequency bin before bandwidth extension coding is equal to the spectrum value corresponding to the frequency bin after bandwidth extension coding, the value of the spectrum reservation flag of the frequency bin is set to the second specified value. If the spectrum value corresponding to the frequency bin before bandwidth extension coding is not equal to the spectrum value corresponding to the frequency bin after bandwidth extension coding, the value of the spectrum reservation flag of the frequency bin is set to the third specified value.
Например, в способе получения флага резервирования спектра каждой подполосы текущей частотной области, в частности, флаг резервирования спектра текущей подполосы может быть определен на основе флагов резервирования спектра всех частотных бинов в текущей подполосе. Например, если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения, флаг резервирования спектра текущей подполосы равен 1. В противном случае флаг резервирования спектра текущей подполосы равен 0.For example, in the method for obtaining the spectrum reservation flag of each sub-band of the current frequency region, in particular, the spectrum reservation flag of the current sub-band can be determined based on the spectrum reservation flags of all frequency bins in the current sub-band. For example, if the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to the second specified value is greater than a specified threshold value, the spectrum reservation flag of the current sub-band is 1. Otherwise, the spectrum reservation flag of the current sub-band is 0.
В конкретном варианте осуществления информация флага резервирования спектра кодирования с расширением полосы пропускания обозначается как igfActivityMask, и флаг резервирования спектра каждой подполосы текущей частотной области (фрагмента) обозначается как subband_enc_flag[num_subband], где num_subband равно количеству подполос текущей частотной области (тайла). Способ получения subband_enc_flag включает в себя следующие этапы.In a specific embodiment, the spectrum reservation flag information of the bandwidth extension coding is designated as igfActivityMask, and the spectrum reservation flag of each subband of the current frequency region (tile) is designated as subband_enc_flag[num_subband], where num_subband is equal to the number of subbands of the current frequency region (tile). The method for obtaining subband_enc_flag includes the following steps.
Этап 1: Определить количество подполос.Step 1: Determine the number of sub-bands.
Для p-го тайла вычисляется количество num_subband подполос, включенных в тайл:For the p-th tile, the number num_subband of subbands included in the tile is calculated:
num_subband=tile_width[p]/tone_res[p].num_subband=tile_width[p]/tone_res[p].
tone_res [p] представляет собой разрешение в частотной области (то есть ширину подполосы) подполосы в p-й частотной области, и tile_width представляет собой ширину p-го тайла (количество частотных бинов, включенных в p-й диапазон частот). Процесс расчета выглядит следующим образом:tone_res[p] represents the frequency domain resolution (i.e., subband width) of the subband in the p-th frequency domain, and tile_width represents the width of the p-th tile (the number of frequency bins included in the p-th frequency band). The calculation process is as follows:
tile_width=tile[p+1]-tile[p].tile_width=tile[p+1]-tile[p].
tile[p] и tile[p+1] представляют собой порядковыми номерами интервалов начальной частоты p-го фрагмента и (p+1)-го фрагмента, соответственно.tile[p] and tile[p+1] are the ordinal numbers of the initial frequency intervals of the p-th fragment and the (p+1)-th fragment, respectively.
Этап 2: Получить флаг резервирования спектра для каждой подполосы.Step 2: Obtain spectrum reservation flag for each sub-band.
Предполагается, что то, зарезервирован ли спектр в каждой подполосе, помечен как subband_enc_flag[num_subband], и псевдокод для получения этого параметра выглядит следующим образом:It is assumed that whether the spectrum in each subband is reserved is labeled as subband_enc_flag[num_subband], and the pseudocode to get this parameter is as follows:
for i = 0 to num_subband–1:for i = 0 to num_subband–1:
cntEnc = 0cntEnc = 0
startIdx = tile[p] + tone_res[p]*istartIdx = tile[p] + tone_res[p]*i
stopIdx = tile[p] + tone_res[p]*(i+1)stopIdx = tile[p] + tone_res[p]*(i+1)
for j = startIdx to stopIdx–1:for j = startIdx to stopIdx–1:
cntEnc += igfActivityMask[j]cntEnc += igfActivityMask[j]
endend
if cntEnc > 0:if cntEnc > 0:
subband_enc_flag[i] = 1subband_enc_flag[i] = 1
endend
endend
cntEnc представляет собой счетчик резервирования спектра и используется для подсчета частотных бинов в i-й подполосе в p-йчастотной области, и чье значение флага igfActivityMask резервирования спектра равно второму заданному значению, startIdx представляет собой начальный порядковый номер частотного бина i-й подполосы, и stopIdx представляет собой начальный порядковый номер частотного бина (i+1)-й подполосы.cntEnc is the spectrum reservation counter and is used to count the frequency bins in the i-th subband in the p-thfrequency domain, and whose value of the spectrum reservation flag igfActivityMask is equal to the second specified value, startIdx represents the starting ordinal number of the frequency bin of the i-th sub-band, and stopIdx represents the starting ordinal number of the frequency bin of the (i+1)-th sub-band.
Псевдокод для получения параметра subband_enc_flag может также представлен следующим образом:The pseudocode for getting the subband_enc_flag parameter can also be represented as follows:
for i = 0 to num_subband–1:for i = 0 to num_subband–1:
cntEnc = 0cntEnc = 0
startIdx = tile[p] + tone_res[p]*istartIdx = tile[p] + tone_res[p]*i
stopIdx = tile[p] + tone_res[p]*(i+1)stopIdx = tile[p] + tone_res[p]*(i+1)
for j = startIdx to stopIdx–1:for j = startIdx to stopIdx–1:
if igfActivityMask[j]== IGF_Activityif igfActivityMask[j]== IGF_Activity
cntEnc ++;cntEnc++;
endend
endend
if cntEnc > Th1:if cntEnc > Th1:
subband_enc_flag[i] = 1subband_enc_flag[i] = 1
endend
endend
Значение IGF_Activity равно второму заданному значению, и в этом варианте осуществления значение IGF_Activity установлено равным 1. Параметр Th1 является заданным порогом, и в этом варианте осуществления он установлен на 0.The value of IGF_Activity is equal to the second specified value, and in this embodiment, the value of IGF_Activity is set to 1. The parameter Th1 is a specified threshold, and in this embodiment, it is set to 0.
602: Выполнить фильтрацию пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.602: Perform peak filtering on the peak information in the current frequency domain based on the spectrum reservation flag of each sub-band of the current frequency domain to obtain the candidate tonal component information in the current frequency domain.
В этом варианте осуществления настоящей заявки фильтрация пиков на предыдущем этапе 4042 также может выполняться на основе подполосы. Таким образом, устройство кодирования аудио может выполнять фильтрацию пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области.In this embodiment of the present application, the peak filtering in the previous step 4042 can also be performed on a sub-band basis. Thus, the audio encoding device can perform peak filtering on peak information in the current frequency domain based on the spectrum reservation flag of each sub-band of the current frequency domain.
Например, на основе информации о флаге резервирования спектра каждого частотного бина в текущей частотной области и информации о количестве пиков, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей частотной области, получают информацию об экранированном количестве пика, информацию о местоположении пика и информацию об амплитуде или информацию об энергии пика в текущей частотной области. Например, флаг резервирования спектра каждой подполосы текущей частотной области получается на основе флага резервирования спектра каждого частотного бина в текущей частотной области. Основываясь на флаге резервирования спектра каждого частотного бина в текущей частотной области и информации о количестве пиков, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей частотной области, получают информацию о количестве отфильтрованных пиков, информацию о местоположении пика и информацию об амплитуде или информацию об энергии пика в текущей частотной области.For example, based on the spectrum reservation flag information of each frequency bin in the current frequency domain and the peak quantity information, peak location information and amplitude information, or peak energy information in the current frequency domain, the information on the screened peak quantity, peak location information and amplitude information, or peak energy information in the current frequency domain is obtained. For example, the spectrum reservation flag of each sub-band of the current frequency domain is obtained based on the spectrum reservation flag of each frequency bin in the current frequency domain. Based on the spectrum reservation flag of each frequency bin in the current frequency domain and the peak quantity information, peak location information and amplitude information, or peak energy information in the current frequency domain, the information on the filtered peak quantity, peak location information and amplitude information, or peak energy information in the current frequency domain is obtained.
Кроме того, в некоторых вариантах осуществления настоящей заявки выполнение скрининга пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте-кандидате текущей частотной области на предыдущем этапе 602 включает в себя следующие этапы.Furthermore, in some embodiments of the present application, performing peak screening on peak information in the current frequency region based on the spectrum reservation flag of each subband of the current frequency region to obtain candidate tonal component information of the current frequency region in the previous step 602 includes the following steps.
A1: Получить, на основе информации о местоположении пика в текущей частотной области, порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области.A1: Obtain, based on the peak location information in the current frequency domain, the ordinal number of the sub-band corresponding to the peak location in the current frequency domain.
A2: Выполнить фильтрацию пиков над информацией о пиках в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы в текущей частотной области. для получения информации о тональном компоненте-кандидате в текущей частотной области.A2: Perform peak filtering on the peak information in the current frequency domain based on the sub-band sequence number corresponding to the peak location in the current frequency domain and the spectrum reservation flag of each sub-band in the current frequency domain to obtain the candidate tonal component information in the current frequency domain.
Фильтрация пиков выполняется над информацией о пиках в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы в текущей частотной области для получения информации об экранированном количестве пика, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей частотной области в качестве информации о тональном компоненте-кандидате в текущей частотной области.Peak filtering is performed on peak information in the current frequency domain based on a sub-band serial number corresponding to a peak location in the current frequency domain and a spectrum reservation flag of each sub-band in the current frequency domain to obtain peak screening amount information, peak location information, and amplitude information or peak energy information in the current frequency domain as candidate tone component information in the current frequency domain.
Кроме того, в некоторых вариантах осуществления настоящей заявки, если значение флага резервирования спектра текущей подполосы равно второму значению флага, пик в текущей подполосе является тональной компонентой-кандидатом. Второе значение флага указывает то, что количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению. Если значение флага резервирования спектра текущей подполосы равно второму значению флага, это указывает то, что спектр текущей подполосы не резервируется при кодировании с расширением полосы пропускания. Таким образом, тональный компонент-кандидат может быть определен тогда, когда значение флага резервирования спектра текущей подполосы равно второму значению флага.In addition, in some embodiments of the present application, if the value of the spectrum reservation flag of the current sub-band is equal to the second flag value, the peak in the current sub-band is a candidate tonal component. The second flag value indicates that the number of frequency bins that are in the current sub-band and whose values of the spectrum reservation flags are equal to the second specified value is less than or equal to a specified threshold value. If the value of the spectrum reservation flag of the current sub-band is equal to the second flag value, this indicates that the spectrum of the current sub-band is not reserved in the coding with bandwidth extension. Thus, the candidate tonal component can be determined when the value of the spectrum reservation flag of the current sub-band is equal to the second flag value.
В частности, если флаг резервирования спектра, соответствующий порядковому номеру первой подполосы, соответствующему местоположению пика в текущей частотной области, имеет второе значение флага, можно определить, что информация о тональном компоненте-кандидате текущего частотная область не включает в себя: информацию о местоположении и информацию об амплитуде или информацию об энергии пика, соответствующего порядковому номеру первой подполосы. В качестве альтернативы, если флаг резервирования спектра, соответствующий второму порядковому номеру подполосы, соответствующему местоположению пика в текущей частотной области, имеет второе значение флага, можно определить то, что информация о местоположении тональной компоненты-кандидата в текущей частотной области включает в себя информацию о местоположении пика, соответствующего второму порядковому номеру подполосы, информацию об амплитуде или информацию об энергии тональной компоненты-кандидата текущей частотной области, включает в себя информацию об амплитуде или информацию об энергии пика, соответствующего второму порядковому номеру подполосы, и информация о количестве тональной компоненты-кандидата в текущей частотной области представляет собой общее количество пиков во всех подполосах, которые относятся к текущей частотной области и чьи значения флага резервирования спектра равны второму значению флага.In particular, if the spectrum reservation flag corresponding to the ordinal number of the first sub-band corresponding to the location of the peak in the current frequency domain has the second flag value, it can be determined that the information about the candidate tonal component of the current frequency domain does not include: location information and amplitude information or energy information of the peak corresponding to the ordinal number of the first sub-band. Alternatively, if the spectrum reservation flag corresponding to the second sub-band serial number corresponding to the peak location in the current frequency domain has a second flag value, it can be determined that the information about the location of the candidate tonal component in the current frequency domain includes information about the location of the peak corresponding to the second sub-band serial number, amplitude information or energy information of the candidate tonal component of the current frequency domain, includes amplitude information or energy information of the peak corresponding to the second sub-band serial number, and the information about the number of the candidate tonal component in the current frequency domain is the total number of peaks in all sub-bands that belong to the current frequency domain and whose spectrum reservation flag values are equal to the second flag value.
Например, получение информации о количестве отфильтрованных пиков, информации о местоположении пика и информации об амплитуде или информации об энергии пика в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области и флага резервирования спектра каждой подполосы текущей частотной области может представлять собой, в частности, следующее: если флаг резервирования спектра подполосы, соответствующий порядковому номеру подполосы, соответствующему местоположению пика в текущей частотной области, равен 1, информация о местоположении пика и соответствующая информация об амплитуде или энергии пика удаляются из результата поиска пика.For example, obtaining information about the number of filtered peaks, information about the peak location and information about the amplitude or energy information of the peak in the current frequency domain based on the sub-band serial number corresponding to the peak location in the current frequency domain and the spectrum reservation flag of each sub-band of the current frequency domain may be, in particular, as follows: if the sub-band spectrum reservation flag corresponding to the sub-band serial number corresponding to the peak location in the current frequency domain is 1, the peak location information and the corresponding peak amplitude or energy information are removed from the peak search result.
В противном случае информация о местоположении пика и соответствующая информация об амплитуде или энергии пика резервируются. Резервная информация о местоположении и информация об амплитуде или энергии пика составляют информацию о местоположении отфильтрованного пика и информацию об амплитуде пика или информацию об энергии пика. Информация о количестве отфильтрованных пиков представляет собой количество пиков в текущей частотной области за вычетом количества удаленных пиков.Otherwise, the peak location information and the corresponding peak amplitude or energy information are reserved. The reserved location information and the peak amplitude or energy information constitute the filtered peak location information and the peak amplitude information or the peak energy information. The filtered peak number information is the number of peaks in the current frequency domain minus the number of peaks removed.
В конкретном варианте осуществления, в текущей частотной области, для пиков спектральной плотности мощности Peak_cnt, полученных в ходе поиска пиков, последовательно определяется порядковый номер subband_idx подполосы, в котором расположена каждая информация Peak_idx о местоположении пика. Если в подполосе существует резервный спектр (то есть subband_enc_flag[subband_idx]==1), пик удаляется. Количество пиков, удаленных из текущей частотной области, обозначается как peak_cnt_remove, и количество пиков, обработанных на этом этапе, обновляется peak_cnt=peak_cnt–peak_cnt_remove.In a specific embodiment, in the current frequency domain, for the peaks of the power spectral density Peak_cnt obtained during the peak search, the subband_idx sequence number of the subband in which each peak location information Peak_idx is located is sequentially determined. If a spare spectrum exists in the subband (i.e., subband_enc_flag[subband_idx]==1), the peak is removed. The number of peaks removed from the current frequency domain is denoted as peak_cnt_remove, and the number of peaks processed in this step is updated peak_cnt=peak_cnt–peak_cnt_remove.
В этом варианте осуществления настоящей заявки флаг резервирования спектра каждой подполосы текущей частотной области может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.In this embodiment of the present application, a spectrum reservation flag of each sub-band of the current frequency region can be used to prevent re-coding of a tonal component already reserved in bandwidth extension coding. This can improve the coding efficiency of tonal components.
Способ кодирования аудио, выполняемый устройством кодирования аудио, описан в предыдущем варианте осуществления. Ниже приведено описание способа декодирования аудио, выполняемого устройством декодирования аудио, предусмотренным в варианте осуществления настоящей заявки. Как показано на фиг.7, способ в основном включает в себя следующие этапы.The audio encoding method performed by the audio encoding device is described in the previous embodiment. The audio decoding method performed by the audio decoding device provided in the embodiment of the present application is described below. As shown in Fig. 7, the method mainly includes the following steps.
701: Получить кодированный битовый поток.701: Get encoded bitstream.
Кодированный битовый поток отправляется устройством кодирования аудио в устройство декодирования аудио.The encoded bitstream is sent by the audio encoding device to the audio decoding device.
702: Выполнить битовый поток демультиплексирование кодированного битового потока для получения первого параметра кодирования текущего кадра аудиосигнала и второго параметра кодирования текущего кадра.702: Perform bitstream demultiplexing of the encoded bitstream to obtain the first coding parameter of the current frame of the audio signal and the second coding parameter of the current frame.
В отношении первого параметра кодирования и второго параметра кодирования следует обратиться к вышеупомянутому способу кодирования аудио. Подробности здесь повторно не описываются.For the first encoding parameter and the second encoding parameter, please refer to the above-mentioned audio encoding method. The details are not described again here.
703: Получить первый сигнал полосы высоких частот текущего кадра и первый сигнал полосы низких частот текущего кадра на основе первого параметра кодирования.703: Obtain the first high-pass band signal of the current frame and the first low-pass band signal of the current frame based on the first coding parameter.
Первый сигнал полосы высоких частот может включать в себя по меньшей мере один из: декодированного сигнала полосы высоких частот, полученного посредством прямого декодирования на основе первого параметра кодирования, и сигнала с расширенной полосой высоких частот, полученного путем расширения полосы частот на основе первого сигнала полосы низких частот.The first high-frequency band signal may include at least one of: a decoded high-frequency band signal obtained by direct decoding based on the first coding parameter, and an extended high-frequency band signal obtained by band extension based on the first low-frequency band signal.
704: Получить второй сигнал полосы высоких частот текущего кадра на основе второго параметра кодирования, где второй сигнал полосы высоких частот включает в себя восстановленный тональный сигнал.704: Obtain a second high-band signal of the current frame based on the second coding parameter, where the second high-band signal includes the reconstructed tone signal.
Второй параметр кодирования может включать в себя информацию о тональном компоненте сигнала полосы высоких частот. Например, второй параметр кодирования текущего кадра включает в себя параметр местоположения-количества тональной компоненты и параметр амплитуды или параметр энергии тональной компоненты. В другом примере второй параметр кодирования текущего кадра включает в себя параметр местоположения и параметр количества тональных компонент и параметр амплитуды или параметр энергии тональной компоненты. В отношении второго параметра кодирования текущего кадра следует обратиться к способу кодирования. Подробности здесь повторно не описываются.The second encoding parameter may include information about the tonal component of the high-frequency band signal. For example, the second encoding parameter of the current frame includes a location-quantity parameter of the tonal component and an amplitude parameter or an energy parameter of the tonal component. In another example, the second encoding parameter of the current frame includes a location parameter and a quantity parameter of the tonal components and an amplitude parameter or an energy parameter of the tonal component. With regard to the second encoding parameter of the current frame, reference should be made to the encoding method. The details are not described here again.
Аналогичным процедуре обработки на стороне кодера, в процедуре обработки на стороне декодера процесс получения восстановленного сигнала полосы высоких частот текущего кадра на основе второго параметра кодирования также выполняется на основе разделения на частотные области и/или разделения на подполосы полосы высоких частот. Полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и одна из таких частотных областей включает в себя по меньшей мере одну подполосу. Количество частотных областей второго параметра кодирования, которое необходимо определить, может быть задано заранее или может быть получено из битового потока. Здесь для дальнейшего описания используется пример, в котором восстановленный сигнал полосы высоких частот текущего кадра получается на основе параметра местоположения-количества тональной компоненты и параметра амплитуды тональной компоненты в частотной области. Детали могут быть следующими:Similar to the processing procedure on the encoder side, in the processing procedure on the decoder side, the process of obtaining the reconstructed high-frequency band signal of the current frame based on the second coding parameter is also performed based on division into frequency regions and/or division into sub-bands of the high-frequency band. The high-frequency band corresponding to the high-frequency band signal includes at least one frequency region, and one of such frequency regions includes at least one sub-band. The number of frequency regions of the second coding parameter to be determined may be specified in advance or may be obtained from the bit stream. Here, for further description, an example is used in which the reconstructed high-frequency band signal of the current frame is obtained based on the location-quantity parameter of the tonal component and the amplitude parameter of the tonal component in the frequency domain. The details may be as follows:
определить местоположение тональной компоненты текущей частотной области на основе параметра местоположения-количества тональной компоненты текущей частотной области;determine the location of the tonal component of the current frequency domain based on the location-quantity parameter of the tonal component of the current frequency domain;
определить, на основе параметра амплитуды или параметра энергии тональной компоненты текущей частотной области, амплитуду или энергию, соответствующую местоположению тональной компоненты;determine, based on the amplitude parameter or the energy parameter of the tonal component of the current frequency domain, the amplitude or energy corresponding to the location of the tonal component;
получить восстановленный тональный сигнал на основе местоположения тональной компоненты в текущей частотной области и амплитуды или энергии, соответствующей местоположению тональной компоненты; иobtain a reconstructed tone signal based on the location of the tone component in the current frequency domain and the amplitude or energy corresponding to the location of the tone component; and
получить восстановленный сигнал полосы высоких частот на основе восстановленного тонального сигнала.obtain a reconstructed high-band signal based on the reconstructed tone signal.
705: Получить декодированный сигнал текущего кадра на основе первого сигнала полосы низких частот, первого сигнала полосы высоких частот и второго сигнала полосы высоких частот текущего кадра.705: Obtain a decoded signal of the current frame based on the first low-band signal, the first high-band signal, and the second high-band signal of the current frame.
В этом варианте осуществления настоящей заявки определяется информация о флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот. В процессе получения второго параметра кодирования информация о количестве пиков, информация о местоположении пика и информация об амплитуде или информация об энергии пика сигнала полосы высоких частот фильтруются на основе информации о флаге резервирования спектра каждого частотного бина сигнала полосы высоких частот, во избежание повторного кодирования тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент. На стороне соответствующего декодера сигнал полосы высоких частот, зарезервированный в процессе кодирования с расширением полосы пропускания, не декодируется повторно, поэтому эффективность декодирования также, соответственно, повышается.In this embodiment of the present application, spectrum reservation flag information of each frequency bin of the highband signal is determined. In the process of obtaining the second encoding parameter, peak quantity information, peak position information, and amplitude information or peak energy information of the highband signal are filtered based on the spectrum reservation flag information of each frequency bin of the highband signal, in order to avoid re-encoding the tonal component already reserved in the bandwidth extension encoding. This can improve the encoding efficiency of the tonal components. On the side of the corresponding decoder, the highband signal reserved in the bandwidth extension encoding process is not re-decoded, so that the decoding efficiency is also correspondingly improved.
Следует отметить, что для краткого описания вышеизложенные варианты осуществления способа представлены в виде последовательности действий. Однако специалисту в данной области техники должно быть понятно, что настоящая заявка не ограничивается описанным порядком действий, так как согласно настоящей заявке некоторые этапы могут выполняться в другом порядке или одновременно. Кроме того, специалисту в данной области техники должно быть понятно, что все варианты осуществления, описанные в этом спецификации, относятся к примерным вариантам осуществления, и настоящая заявка не обязательно требует применения описанных действий и модулей.It should be noted that for the sake of brevity, the above embodiments of the method are presented in the form of a sequence of actions. However, a person skilled in the art should understand that the present application is not limited to the described order of actions, since according to the present application, some steps can be performed in a different order or simultaneously. In addition, a person skilled in the art should understand that all embodiments described in this specification relate to exemplary embodiments, and the present application does not necessarily require the use of the described actions and modules.
Чтобы лучше реализовать решения вариантов осуществления настоящей заявки, ниже дополнительно предоставлено соответствующее устройство для реализации решений.In order to better implement the solutions of the embodiments of the present application, a corresponding device for implementing the solutions is additionally provided below.
Следует обратиться к фиг.8. Устройство 800 кодирования аудио, предусмотренное в варианте осуществления настоящей заявки, может включать в себя модуль 801 получения, первый модуль 802 кодирования, модуль 803 определения флага, второй модуль 804 кодирования и модуль 805 мультиплексирования битового потока.Referring to Fig. 8, the audio encoding device 800 provided in the embodiment of the present application may include an acquisition module 801, a first encoding module 802, a flag determination module 803, a second encoding module 804, and a bitstream multiplexing module 805.
Модуль получения выполнен с возможностью получения текущего кадра аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот.The receiving module is configured to receive a current frame of the audio signal, where the current frame includes a high-frequency band signal and a low-frequency band signal.
Первый модуль кодирования выполнен с возможностью выполнения первого кодирования сигнала полосы высоких частот и сигнала полосы низких частот для получения первого параметра кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания.The first coding module is configured to perform a first coding of the high-frequency band signal and the low-frequency band signal to obtain a first coding parameter of the current frame, where the first coding includes coding with bandwidth extension.
Модуль определения флага выполнен с возможностью определения флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину. Первый спектр включает в себя спектр, соответствующий частотному бину перед кодированием с расширением полосы пропускания, и второй спектр включает в себя спектр, соответствующий частотному бину после кодирования с расширением полосы пропускания.The flag determining module is configured to determine a spectrum reservation flag of each frequency bin of the high-frequency band signal, where the spectrum reservation flag indicates whether the first spectrum corresponding to the frequency bin is reserved in the second spectrum corresponding to the frequency bin. The first spectrum includes a spectrum corresponding to the frequency bin before the coding with bandwidth extension, and the second spectrum includes a spectrum corresponding to the frequency bin after the coding with bandwidth extension.
Второй модуль кодирования выполнен с возможностью выполнения второго кодирования над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, чтобы получить второй параметр кодирования текущего кадра. Второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, и информация о целевой тональной компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии целевой тональной компоненты.The second encoding module is configured to perform the second encoding on the high-frequency band signal based on the spectrum reservation flag of each frequency bin of the high-frequency band signal to obtain the second encoding parameter of the current frame. The second encoding parameter indicates information about the target tone component of the high-frequency band signal, and the information about the target tone component includes location information, quantity information, and amplitude information or energy information of the target tone component.
Модуль мультиплексирования битового потока выполнен с возможностью выполнения мультиплексирования битового потока нал первым параметром кодирования и вторым параметром кодирования для получения кодированного битового потока.The bit stream multiplexing module is configured to multiplex the bit stream with the first coding parameter and the second coding parameter to obtain an encoded bit stream.
В некоторых вариантах осуществления настоящей заявки модуль определения флага специально выполнен с возможностью определения флага резервирования спектра каждого частотного бина сигнала полосы высоких частот на основе первого спектра, второго спектра и диапазона частот кодирования с расширением полосы пропускания.In some embodiments of the present application, the flag determining module is specifically configured to determine a spectrum reservation flag of each frequency bin of the highband signal based on the first spectrum, the second spectrum and the bandwidth extension coding frequency range.
В некоторых вариантах осуществления настоящей заявки полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область.In some embodiments of the present application, a high frequency band corresponding to a high frequency band signal includes at least one frequency region, and the at least one frequency region includes a current frequency region.
Второй модуль кодирования специально выполнен с возможностью:The second coding module is specially designed with the ability to:
выполнения поиска пика на основе сигнала полосы высоких частот текущей частотной области для получения информации о пиках в текущей частотной области, где информация о пике в текущей частотной области включает в себя информацию о количестве пиков, информацию о местоположении пика и информацию об амплитуде пика или информацию об энергии пика в текущей частотной области;performing a peak search based on a high-pass band signal of a current frequency domain to obtain peak information in the current frequency domain, where the peak information in the current frequency domain includes peak number information, peak location information, and peak amplitude information or peak energy information in the current frequency domain;
выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области;performing peak filtering on peak information in the current frequency domain based on the spectrum reservation flag of each frequency bin in the current frequency domain to obtain candidate tonal component information in the current frequency domain;
получения информации о целевой тональной компоненте текущей частотной области на основе информации о тональном компоненте-кандидате текущей частотной области; иobtaining information about a target tonal component of the current frequency domain based on information about a candidate tonal component of the current frequency domain; and
получения второго параметра кодирования текущей частотной области на основе информации о целевой тональной компоненте текущей частотной области.obtaining the second encoding parameter of the current frequency domain based on information about the target tonal component of the current frequency domain.
В некоторых вариантах осуществления настоящей заявки второй параметр кодирования включает в себя параметр местоположения-количества целевой тональной компоненты и параметр амплитуды или параметр энергии целевой тональной компоненты. Параметр местоположения-количества указывает информацию о местоположении и информацию о количестве целевой тональной компоненты сигнала полосы высоких частот, параметр амплитуды указывает информацию об амплитуде целевой тональной компоненты сигнала полосы высоких частот, и параметр энергии указывает информацию об энергии целевой тональной компоненты сигнала полосы высоких частот.In some embodiments of the present application, the second coding parameter includes a location-quantity parameter of the target tonal component and an amplitude parameter or an energy parameter of the target tonal component. The location-quantity parameter indicates location information and quantity information of the target tonal component of the high-frequency band signal, the amplitude parameter indicates amplitude information of the target tonal component of the high-frequency band signal, and the energy parameter indicates energy information of the target tonal component of the high-frequency band signal.
В некоторых вариантах осуществления настоящей заявки полоса высоких частот, соответствующая сигналу полосы высоких частот, включает в себя по меньшей мере одну частотную область, и по меньшей мере одна частотная область включает в себя текущую частотную область.In some embodiments of the present application, a high frequency band corresponding to a high frequency band signal includes at least one frequency region, and the at least one frequency region includes a current frequency region.
Когда первый частотный бин в текущей частотной области не принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра первого частотного бина равно первому заданному значению флага.When the first frequency bin in the current frequency domain does not belong to the bandwidth extension coding frequency range, the value of the spectrum reservation flag of the first frequency bin is equal to the first specified flag value.
В качестве альтернативы, когда второй частотный бин в текущей частотной области принадлежит частотному диапазону кодирования с расширением полосы пропускания, значение флага резервирования спектра второго частотного бина равно второму заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию; или значение флага резервирования спектра второго частотного бина равно третьему заданному значению, если значение спектра, соответствующее второму частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее второму частотному бину после кодирования с расширением полосы пропускания, не удовлетворяют заданному условию.Alternatively, when the second frequency bin in the current frequency domain belongs to the frequency range of bandwidth extension coding, the value of the spectrum reservation flag of the second frequency bin is equal to a second predetermined value if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding satisfy a predetermined condition; or the value of the spectrum reservation flag of the second frequency bin is equal to a third predetermined value if the spectrum value corresponding to the second frequency bin before the bandwidth extension coding and the spectrum value corresponding to the second frequency bin after the bandwidth extension coding do not satisfy a predetermined condition.
В некоторых вариантах осуществления настоящей заявки текущая частотная область включает в себя по меньшей мере одну подполосу, и второй модуль кодирования специально выполнен с возможностью:In some embodiments of the present application, the current frequency region includes at least one sub-band, and the second coding module is specifically configured to:
получения флага резервирования спектра каждой подполосы текущей частотной области на основе флага резервирования спектра каждого частотного бина в текущей частотной области; иobtaining the spectrum reservation flag of each sub-band of the current frequency domain based on the spectrum reservation flag of each frequency bin in the current frequency domain; and
выполнения фильтрации пиков над информацией о пиках в текущей частотной области на основе флага резервирования спектра каждой подполосы текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.performing peak filtering on peak information in the current frequency domain based on a spectrum reservation flag of each sub-band of the current frequency domain to obtain candidate tonal component information in the current frequency domain.
В некоторых вариантах осуществления настоящей заявки по меньшей мере одна подполоса включает в себя текущую подполосу, и второй модуль кодирования специально выполнен с возможностью:In some embodiments of the present application, at least one sub-band includes the current sub-band, and the second coding module is specifically configured to:
если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, больше заданного порогового значения, определение того, что значение флага резервирования спектра текущей подполосы является первым флагом значение, где, если значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, и значение спектра, соответствующее частотному бину после кодирования с расширением полосы пропускания, удовлетворяют заданному условию, значение флага резервирования спектра для частотного бина равно второму заданному значению; илиif the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to a second predetermined value is greater than a predetermined threshold value, determining that the spectrum reservation flag value of the current sub-band is the first flag value, where if the spectrum value corresponding to the frequency bin before the bandwidth extension coding and the spectrum value corresponding to the frequency bin after the bandwidth extension coding satisfy the predetermined condition, the spectrum reservation flag value for the frequency bin is equal to the second predetermined value; or
если количество частотных бинов, которые находятся в текущей подполосе, и чьи значения флагов резервирования спектра равны второму заданному значению, меньше или равно заданному пороговому значению, определение того, что значение флага резервирования спектра текущей подполосы равно второму значению флага.if the number of frequency bins that are in the current sub-band and whose spectrum reservation flag values are equal to the second specified value is less than or equal to the specified threshold value, determining that the spectrum reservation flag value of the current sub-band is equal to the second flag value.
В некоторых вариантах осуществления настоящей заявки второй модуль кодирования специально выполнен с возможностью:In some embodiments of the present application, the second coding module is specifically configured to:
получения, на основе информации о местоположении пика в текущей частотной области, порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области; иobtaining, based on the information about the location of the peak in the current frequency domain, a sub-band ordinal number corresponding to the location of the peak in the current frequency domain; and
выполнения фильтрации пиков над информацией о пике в текущей частотной области на основе порядкового номера подполосы, соответствующего местоположению пика в текущей частотной области, и флага резервирования спектра каждой подполосы в текущей частотной области для получения информации о тональном компоненте-кандидате в текущей частотной области.performing peak filtering on peak information in the current frequency domain based on a sub-band sequence number corresponding to the peak location in the current frequency domain and a spectrum reservation flag of each sub-band in the current frequency domain to obtain candidate tonal component information in the current frequency domain.
В некоторых вариантах осуществления настоящей заявки, если значение флага резервирования спектра текущей подполосы равно второму значению флага, пик в текущей подполосе является тональной компонентой-кандидатом.In some embodiments of the present application, if the value of the spectrum reservation flag of the current sub-band is equal to the second value of the flag, the peak in the current sub-band is a candidate tonal component.
В некоторых вариантах осуществления настоящей заявки заданное условие включает в себя: значение спектра, соответствующее частотному бину перед кодированием с расширением полосы пропускания, равно значению спектра, соответствующему частотному бину после кодирования с расширением полосы пропускания.In some embodiments of the present application, the specified condition includes: a spectrum value corresponding to a frequency bin before bandwidth extension coding is equal to a spectrum value corresponding to a frequency bin after bandwidth extension coding.
Из примера описания с использованием вышеизложенного варианта осуществления можно узнать, что получается текущий кадр аудиосигнала, где текущий кадр включает в себя сигнал полосы высоких частот и сигнал полосы низких частот; первое кодирование выполняется над сигналом полосы высоких частот и сигналом полосы низких частот для получения первого параметра кодирования текущего кадра, где первое кодирование включает в себя кодирование с расширением полосы пропускания; определяется флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот, где флаг резервирования спектра указывает то, зарезервирован ли первый спектр, соответствующий частотному бину, во втором спектре, соответствующем частотному бину, первый спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину перед кодированием с расширением полосы пропускания, и второй спектр является спектром сигнала полосы высоких частот, соответствующим частотному бину после кодирования с расширением полосы пропускания; второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот для получения второго параметра кодирования текущего кадра, где второй параметр кодирования указывает информацию о целевой тональной компоненте сигнала полосы высоких частот, и информация о целевой тональной компоненте включает в себя информацию о местоположении, информацию о количестве и информацию об амплитуде или информацию об энергии целевой тональной компоненты; и мультиплексирование битового потока выполняется над первым параметром кодирования и вторым параметром кодирования для получения кодированного битового потока. В этом варианте осуществления настоящей заявки процесс первого кодирования включает в себя кодирование с расширением полосы пропускания. Каждый частотный бин сигнала полосы высоких частот соответствует флагу резервирования спектра. То, зарезервирован ли спектр частотного бина сигнала полосы высоких частот перед кодированием с расширением полосы пропускания после кодирования с расширением полосы пропускания, указывается с помощью флага резервирования спектра. Второе кодирование выполняется над сигналом полосы высоких частот на основе флага резервирования спектра каждого частотного бина сигнала полосы высоких частот, и флаг резервирования спектра каждого частотного бина сигнала полосы высоких частот может использоваться для того, чтобы предотвратить повторное кодирование тональной компоненты, уже зарезервированной при кодировании с расширением полосы пропускания. Это позволяет повысить эффективность кодирования тональных компонент.From the description example using the above embodiment, it can be learned that a current frame of an audio signal is obtained, where the current frame includes a high-frequency band signal and a low-frequency band signal; a first encoding is performed on the high-frequency band signal and the low-frequency band signal to obtain a first encoding parameter of the current frame, where the first encoding includes bandwidth extension encoding; a spectrum reservation flag of each frequency bin of the high-frequency band signal is determined, where the spectrum reservation flag indicates whether a first spectrum corresponding to the frequency bin is reserved in a second spectrum corresponding to the frequency bin, the first spectrum is a spectrum of the high-frequency band signal corresponding to the frequency bin before the bandwidth extension encoding, and the second spectrum is a spectrum of the high-frequency band signal corresponding to the frequency bin after the bandwidth extension encoding; a second encoding is performed on the highband signal based on a spectrum reservation flag of each frequency bin of the highband signal to obtain a second encoding parameter of the current frame, where the second encoding parameter indicates information about a target tone component of the highband signal, and the information about the target tone component includes position information, quantity information, and amplitude information or energy information of the target tone component; and bitstream multiplexing is performed on the first encoding parameter and the second encoding parameter to obtain an encoded bitstream. In this embodiment of the present application, the first encoding process includes bandwidth extension encoding. Each frequency bin of the highband signal corresponds to a spectrum reservation flag. Whether the spectrum of the frequency bin of the highband signal is reserved before the bandwidth extension encoding after the bandwidth extension encoding is indicated by the spectrum reservation flag. The second encoding is performed on the highband signal based on the spectrum reservation flag of each frequency bin of the highband signal, and the spectrum reservation flag of each frequency bin of the highband signal can be used to prevent the tone component already reserved in the bandwidth extension encoding from being re-encoded. This can improve the encoding efficiency of the tone components.
Следует отметить, что содержание, такое как обмен информацией между модулями/блоками устройства и их процессы исполнения, основано на той же идее, что и варианты осуществления способа настоящей заявки, и обеспечивает те же технические эффекты, что и варианты осуществления способа настоящей заявки. В отношении конкретного содержания следует обратиться к приведенному выше описанию вариантов осуществления способа настоящей заявки. Подробности здесь повторно не описываются.It should be noted that the contents such as the exchange of information between modules/blocks of the device and their execution processes are based on the same idea as the embodiments of the method of the present application and provide the same technical effects as the embodiments of the method of the present application. For the specific contents, refer to the above description of the embodiments of the method of the present application. The details are not described again here.
На основе той же изобретательской концепции, что и в предыдущем способе, вариант осуществления настоящей заявки предусматривает кодер аудиосигнала. Кодер аудиосигнала выполнен с возможностью кодирования аудиосигнала и включает в себя, например, кодер, описанный в предыдущем одном или более вариантах осуществления. Устройство кодирования аудио выполнено с возможностью выполнения кодирования для выработки соответствующего битового потока.Based on the same inventive concept as the previous method, an embodiment of the present application provides an audio signal encoder. The audio signal encoder is configured to encode an audio signal and includes, for example, the encoder described in the previous one or more embodiments. The audio encoding device is configured to perform encoding to generate a corresponding bit stream.
На основе той же изобретательской концепции, что и в предыдущем способе, вариант осуществления настоящей заявки предусматривает устройство для кодирования аудиосигнала, например, устройство кодирования аудио. Как показано на фиг.9, устройство 900 кодирования аудио включает в себя: процессор 901, память 902 и интерфейс связи 903 (в устройстве 900 кодирования аудио может быть один или несколько процессоров 901, и на фиг.9 показан пример с одним процессором). В некоторых вариантах осуществления настоящей заявки процессор 901, память 902 и интерфейс 903 связи могут быть подключены через шину или другим способом. На фиг.9 показан пример подключения через шину.Based on the same inventive concept as the previous method, an embodiment of the present application provides a device for encoding an audio signal, for example, an audio encoding device. As shown in Fig. 9, an audio encoding device 900 includes: a processor 901, a memory 902 and a communication interface 903 (the audio encoding device 900 may have one or more processors 901, and Fig. 9 shows an example with one processor). In some embodiments of the present application, the processor 901, the memory 902 and the communication interface 903 may be connected via a bus or in another way. Fig. 9 shows an example of connection via a bus.
Память 902 может включать в себя постоянную память и оперативную память и предоставляет инструкции и данные для процессора 901. Часть памяти 902 может дополнительно включать в себя энергонезависимую оперативную память (non-volatile random access memory, NVRAM). Память 902 хранит операционную систему и рабочие инструкции, исполняемый модуль или структуру данных, или их подмножество или их расширенный набор. Операционные инструкции могут включать в себя различные операционные инструкции для реализации различных операций. Операционная система может включать в себя различные системные программы для реализации различных основных служб и обработки аппаратных задач.Memory 902 may include a read-only memory and a random access memory and provides instructions and data for the processor 901. A portion of memory 902 may further include a non-volatile random access memory (NVRAM). Memory 902 stores an operating system and operating instructions, an executable module or a data structure, or a subset or an extended set thereof. Operating instructions may include various operating instructions for implementing various operations. The operating system may include various system programs for implementing various basic services and processing hardware tasks.
Процессор 901 управляет работой устройства кодирования аудио, и процессор 901 также может упоминаться как центральный процессор (central processing unit, CPU). В конкретном приложении компоненты устройства кодирования аудио соединены вместе с помощью шинной системы. В дополнение к шине данных система шин может дополнительно включать в себя шину питания, шину управления, шину сигналов состояния и т.п. Однако для ясности описания различные типы шин на чертежах обозначены как шинная система.The processor 901 controls the operation of the audio encoding device, and the processor 901 may also be referred to as a central processing unit (CPU). In a particular application, the components of the audio encoding device are connected together by a bus system. In addition to the data bus, the bus system may further include a power bus, a control bus, a status signal bus, etc. However, for clarity of description, the various types of buses in the drawings are designated as a bus system.
Способ, раскрытый в предыдущих вариантах осуществления настоящей заявки, может быть применен к процессору 901 или может быть реализован процессором 901. Процессор 901 может быть кристаллом с интегральными схемами и иметь возможность обработки сигналов. В процессе реализации этапы описанных выше способов могут быть реализованы с использованием аппаратной интегральной логической схемы в процессоре 901 или с использованием инструкций в виде программного обеспечения. Процессор 901 может быть процессором общего назначения, процессором цифровых сигналов (digital signal processor, DSP), специализированной интегральной схемой (application specific integrated circuit, ASIC), программируемой пользователем вентильной матрицей (field-programmable gate array, FPGA) или другим программируемым логическим устройством, логическим устройством с дискретным затвором или транзистором или дискретным аппаратным компонентом. Он позволяет реализовать или выполнять способы, этапы и логические блок-схемы, которые раскрыты в вариантах осуществления настоящей заявки. Процессор общего назначения может быть микропроцессором, любым традиционным процессором и т.п. Этапы способов, раскрытых в вариантах осуществления настоящей заявки, могут исполняться и выполняться непосредственно с помощью аппаратного процессора декодирования или могут исполняться и выполняться с использованием комбинации аппаратных и программных модулей в процессоре декодирования. Программный модуль может быть расположен на традиционном носителе данных, известном в уровне техники, таком как оперативная память, флэш-память, постоянная память, программируемая постоянная память, электрически стираемая программируемая память или регистр. Носитель информации находится в памяти 902, и процессор 901 считывает информацию из памяти 902 и выполняет этапы вышеизложенных способов в сочетании с аппаратными средствами процессора 901.The method disclosed in the previous embodiments of the present application may be applied to the processor 901 or may be implemented by the processor 901. The processor 901 may be a chip with integrated circuits and have the ability to process signals. During the implementation, the steps of the methods described above may be implemented using a hardware integrated logic circuit in the processor 901 or using instructions in the form of software. The processor 901 may be a general-purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA) or other programmable logic device, a logic device with a discrete gate or transistor, or a discrete hardware component. It allows implementing or performing the methods, steps and logical flow charts that are disclosed in the embodiments of the present application. The general-purpose processor may be a microprocessor, any conventional processor, etc. The steps of the methods disclosed in the embodiments of the present application may be executed and performed directly by a hardware decoding processor or may be executed and performed using a combination of hardware and software modules in the decoding processor. The software module may be located on a conventional storage medium known in the art, such as random access memory, flash memory, read-only memory, programmable read-only memory, electrically erasable programmable memory or a register. The storage medium is located in memory 902, and processor 901 reads information from memory 902 and performs the steps of the above methods in combination with hardware of processor 901.
Интерфейс связи 903 может быть выполнен с возможностью приема или отправки цифровой или буквенно-цифровой информации, например, может быть интерфейсом ввода/вывода, контактным выводом или схемой. Например, вышеупомянутый кодированный битовый поток отправляется через интерфейс 903 связи.The communication interface 903 may be configured to receive or send digital or alphanumeric information, for example, it may be an input/output interface, a contact pin, or a circuit. For example, the above-mentioned coded bit stream is sent through the communication interface 903.
Основываясь на той же изобретательской концепции, что и в предыдущем способе, вариант осуществления настоящей заявки предусматривает устройство кодирования аудио, включающее в себя энергонезависимую память и процессор, которые соединены друг с другом. Процессор вызывает программный код, хранящийся в памяти, для выполнения части или всех этапов способа кодирования аудиосигнала в вышеупомянутом одном или более вариантах осуществления.Based on the same inventive concept as the previous method, an embodiment of the present application provides an audio encoding device that includes a non-volatile memory and a processor that are connected to each other. The processor calls the program code stored in the memory to perform part or all of the steps of the audio signal encoding method in the above-mentioned one or more embodiments.
Основываясь на той же изобретательской концепции, что и в предыдущем способе, вариант осуществления настоящей заявки предусматривает машиночитаемый носитель данных. Машиночитаемый носитель данных хранит программный код, и программный код включает в себя инструкции для выполнения части или всех этапов способа кодирования аудиосигнала в вышеупомянутом одном или более вариантах осуществления.Based on the same inventive concept as the previous method, an embodiment of the present application provides a machine-readable storage medium. The machine-readable storage medium stores a program code, and the program code includes instructions for performing part or all of the steps of the method for encoding an audio signal in the above-mentioned one or more embodiments.
Основываясь на той же изобретательской концепции, что и в предыдущем способе, вариант осуществления настоящей заявки предусматривает компьютерный программный продукт. Когда компьютерный программный продукт запускается на компьютере, компьютер получает возможность выполнять часть или все этапы способа кодирования аудиосигнала в вышеупомянутом одном или более вариантах осуществления.Based on the same inventive concept as the previous method, an embodiment of the present application provides a computer program product. When the computer program product is run on a computer, the computer is enabled to perform part or all of the steps of the audio signal encoding method in the above-mentioned one or more embodiments.
Процессор, упомянутый в предыдущих вариантах осуществления, может представлять собой кристалл с интегральными схемами и иметь возможность обработки сигналов. В процессе реализации этапы в вышеупомянутых вариантах осуществления способа могут быть реализованы с использованием аппаратной интегральной логической схемы в процессоре или с использованием инструкций в виде программного обеспечения. Процессор может быть процессором общего назначения, процессором цифровых сигналов (digital signal processor, DSP), специализированной интегральной схемой (application-specific integrated circuit, ASIC), программируемой пользователем вентильной матрицей (field programmable gate array, FPGA) или другим программируемым логическим устройством, логическим устройством с дискретным затвором или транзистором или дискретным аппаратным компонентом. Процессор общего назначения может быть микропроцессором, любым традиционным процессором и т.п. Этапы способов, раскрытых в вариантах осуществления настоящей заявки, могут исполняться и выполняться непосредственно с помощью аппаратного процессора кодирования или могут исполняться и выполняться с использованием комбинации аппаратных и программных модулей в процессоре кодирования. Программный модуль может быть расположен на известном носителе данных, например, в оперативной памяти, флэш-памяти, постоянной памяти, программируемой постоянной памяти, электрически стираемой программируемой памяти или регистре. Носитель данных находится в памяти, и процессор считывает информацию из памяти и выполняет этапы вышеизложенных способов в сочетании с аппаратными средствами процессора.The processor mentioned in the previous embodiments may be a chip with integrated circuits and have the ability to process signals. In the implementation process, the steps in the above-mentioned embodiments of the method may be implemented using a hardware integrated logic circuit in the processor or using instructions in the form of software. The processor may be a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic device, a logic device with a discrete gate or transistor, or a discrete hardware component. The general-purpose processor may be a microprocessor, any conventional processor, etc. The steps of the methods disclosed in the embodiments of the present application may be executed and performed directly by a hardware encoding processor or may be executed and performed using a combination of hardware and software modules in the encoding processor. The software module may be located on a known data carrier, such as RAM, flash memory, read-only memory, programmable read-only memory, electrically erasable programmable memory, or a register. The data carrier is in the memory, and the processor reads information from the memory and performs the steps of the above methods in combination with the hardware of the processor.
Память в вышеизложенных вариантах осуществления может быть энергозависимой памятью или энергонезависимой памятью или может включать в себя как энергозависимую память, так и энергонезависимую память. Энергонезависимая память может быть постоянной памятью (read-only memory, ROM), программируемой постоянной памятью (programmable ROM, PROM), стираемой программируемой постоянной памятью (erasable PROM, EPROM), электрически стираемой программируемой постоянной памятью (electrically EPROM, EEPROM) или флэш-памятью. Энергонезависимой памятью может быть оперативная память (random access memory, RAM), используемая в качестве внешнего кэша. В качестве примера, но не ограничивающего описания, доступны многие формы RAM, например, статическая оперативная память (static RAM, SRAM), динамическая оперативная память (dynamic RAM, DRAM), синхронная динамическая оперативная память (synchronous DRAM, SDRAM), синхронная динамическая оперативная память с удвоенной скоростью передачи данных (double data rate SDRAM, DDR SDRAM), расширенная синхронная динамическая оперативная память (enhanced SDRAM, ESDRAM), динамическая оперативная память с синхронной связью (synchlink DRAM, SLDRAM) и оперативная память с шиной прямого резидентного доступа (direct rambus RAM, DR RAM). Следует отметить, что память систем и способов, описанных в этой спецификации, включает в себя, но не ограничивается ими, любую память другого надлежащего типа.The memory in the above embodiments may be a volatile memory or a non-volatile memory, or may include both volatile memory and non-volatile memory. The non-volatile memory may be a read-only memory (ROM), a programmable ROM (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a flash memory. The non-volatile memory may be a random access memory (RAM) used as an external cache. By way of example, but not limitation, many forms of RAM are available, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), enhanced SDRAM (ESDRAM), synchlink DRAM (SLDRAM), and direct rambus RAM (DR RAM). It should be noted that the memory of the systems and methods described in this specification includes, but is not limited to, any other suitable type of memory.
Специалисту в данной области техники может быть известно, что в сочетании с блоками и этапами алгоритма в примерах, описанных в вариантах осуществления, раскрытых в данном описании, настоящая заявка может быть реализована с помощью электронных аппаратных средств или комбинации компьютерного программного обеспечения и электронных аппаратных средств. То, выполняются ли функции с помощью аппаратных средств или программного обеспечения, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за рамки настоящей заявки.A person skilled in the art may know that in combination with the blocks and steps of the algorithm in the examples described in the embodiments disclosed in this description, the present application can be implemented using electronic hardware or a combination of computer software and electronic hardware. Whether the functions are performed using hardware or software depends on the specific applications and design limitations of the technical solutions. A person skilled in the art may use different ways of implementing the described functions for each specific application, but it should not be considered that the implementation goes beyond the scope of the present application.
Специалист в данной области техники может ясно понимать, что в целях удобного и краткого описания подробные рабочие процессы вышеупомянутой системы, устройства и блока относятся к соответствующим процессам в вышеупомянутых вариантах осуществления способа. В данном документе подробности не описываются повторно.A person skilled in the art can clearly understand that, for the purpose of convenient and concise description, the detailed working processes of the above-mentioned system, device and unit refer to the corresponding processes in the above-mentioned embodiments of the method. In this document, the details are not described again.
В нескольких вариантах осуществления, представленных в настоящей заявке, следует понимать, что раскрытые система, устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является просто примером. Например, разделение на блоки является просто логическим разделением функций и в фактической реализации может быть другим разделением. Например, множество блоков или компонентов могут быть объединены или интегрированы в другую систему, или некоторые функции могут быть проигнорированы или не реализованы. В дополнение к этому, отображаемые или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы через некоторые интерфейсы. Косвенные связи или коммуникационные соединения между устройствами или блоками могут быть реализованы в электрической, механической или другой форме.In several embodiments presented in this application, it should be understood that the disclosed system, device and method can be implemented in other ways. For example, the described embodiment of the device is simply an example. For example, the division into blocks is simply a logical division of functions and in the actual implementation can be a different division. For example, a plurality of blocks or components can be combined or integrated into another system, or some functions can be ignored or not implemented. In addition, the shown or discussed mutual connections or direct connections or communication connections can be implemented through some interfaces. Indirect connections or communication connections between devices or blocks can be implemented in electrical, mechanical or other form.
Блоки, описанные как отдельные части, могут быть или не быть физически отдельными, и части, показанные в виде блоков, могут быть или не быть физическими блоками, могут быть расположены в одном месте или могут быть распределены по множеству сетевых блоков. Часть или все блоки могут быть выбраны в соответствии с фактическими требованиями для достижения целей решений вариантов осуществления.Blocks described as separate parts may or may not be physically separate, and parts shown as blocks may or may not be physical blocks, may be located in one place or may be distributed over a plurality of network blocks. Some or all of the blocks may be selected according to actual requirements to achieve the objectives of the solutions of the embodiments.
В дополнение к этому, функциональные блоки в вариантах осуществления настоящей заявки могут быть интегрированы в один процессорный блок, или каждый из блоков может физически существовать сам по себе, или два или более блоков могут быть интегрированы в один блок.In addition, the functional blocks in the embodiments of the present application may be integrated into a single processing block, or each of the blocks may physically exist on its own, or two or more blocks may be integrated into a single block.
Когда функции реализованы в виде функционального модуля программного обеспечения и продаются или используются как независимый продукт, функции могут быть сохранены на машиночитаемом носителе данных. Исходя из такого понимания, технические решения в настоящей заявке, в основном или частично дополняющие традиционную технологию, или часть технических решений могут быть реализованы в виде программного продукта. Компьютерный программный продукт хранится на носителе данных и включает в себя несколько инструкций для предписания компьютерному устройству (персональному компьютеру, серверу, сетевому устройству и т.п.) выполнять все или часть этапов способов в вариантах осуществления настоящая заявка. Вышеупомянутый носитель данных включает в себя любой носитель, на котором может храниться программный код, такой как флэш-накопитель USB, съемный жесткий диск, постоянное запоминающее устройство (read only memory, ROM), оперативное запоминающее устройство (random access memory, RAM), магнитный диск или оптический диск.When the functions are implemented as a functional module of software and sold or used as an independent product, the functions can be stored on a machine-readable data carrier. Based on this understanding, the technical solutions in the present application, which mainly or partially complement the traditional technology, or a part of the technical solutions can be implemented as a software product. The computer program product is stored on a data carrier and includes several instructions for instructing a computer device (a personal computer, a server, a network device, etc.) to perform all or part of the steps of the methods in the embodiments of the present application. The above-mentioned data carrier includes any medium on which a program code can be stored, such as a USB flash drive, a removable hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk.
Приведенные выше описания являются просто конкретными реализациями настоящей заявки, но не предназначены для ограничения объема защиты настоящей заявки. Любое изменение или замена, легко обнаруженные специалистом в данной области техники в рамках технического объема, раскрытого в настоящей заявке, должны подпадать под объем защиты данной заявки. Таким образом, объем защиты настоящей заявки должен соответствовать объему защиты формулы изобретения.The above descriptions are merely specific implementations of the present application, but are not intended to limit the protection scope of the present application. Any change or replacement easily found by a person skilled in the art within the technical scope disclosed in the present application shall fall within the protection scope of the present application. Thus, the protection scope of the present application shall correspond to the protection scope of the claims.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010480925.6 | 2020-05-30 |
| Publication Number | Publication Date |
|---|---|
| RU2828171C1true RU2828171C1 (en) | 2024-10-07 |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140343932A1 (en)* | 2012-01-20 | 2014-11-20 | Panasonic Intellectual Property Corporation Of America | Speech decoding device and speech decoding method |
| US20160042742A1 (en)* | 2013-04-05 | 2016-02-11 | Dolby International Ab | Audio Encoder and Decoder for Interleaved Waveform Coding |
| RU2640743C1 (en)* | 2012-11-15 | 2018-01-11 | Нтт Докомо, Инк. | Audio encoding device, audio encoding method, audio encoding programme, audio decoding device, audio decoding method and audio decoding programme |
| RU2665913C2 (en)* | 2014-07-28 | 2018-09-04 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Device and method of generating expanded signal using independent noise filling |
| US20190035413A1 (en)* | 2017-07-28 | 2019-01-31 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140343932A1 (en)* | 2012-01-20 | 2014-11-20 | Panasonic Intellectual Property Corporation Of America | Speech decoding device and speech decoding method |
| RU2640743C1 (en)* | 2012-11-15 | 2018-01-11 | Нтт Докомо, Инк. | Audio encoding device, audio encoding method, audio encoding programme, audio decoding device, audio decoding method and audio decoding programme |
| US20160042742A1 (en)* | 2013-04-05 | 2016-02-11 | Dolby International Ab | Audio Encoder and Decoder for Interleaved Waveform Coding |
| RU2665913C2 (en)* | 2014-07-28 | 2018-09-04 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Device and method of generating expanded signal using independent noise filling |
| US20190035413A1 (en)* | 2017-07-28 | 2019-01-31 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
| Publication | Publication Date | Title |
|---|---|---|
| US12062379B2 (en) | Audio coding of tonal components with a spectrum reservation flag | |
| US12100408B2 (en) | Audio coding with tonal component screening in bandwidth extension | |
| US9818422B2 (en) | Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks | |
| US20230048893A1 (en) | Audio Signal Encoding Method, Decoding Method, Encoding Device, and Decoding Device | |
| JP7550881B2 (en) | Method and apparatus for allocating bits to an audio signal | |
| WO2023051367A1 (en) | Decoding method and apparatus, and device, storage medium and computer program product | |
| CN115881140B (en) | Coding and decoding method, device, equipment, storage medium and computer program product | |
| WO2004086817A2 (en) | Coding of main and side signal representing a multichannel signal | |
| US20230154473A1 (en) | Audio coding method and related apparatus, and computer-readable storage medium | |
| US12198706B2 (en) | Audio signal coding method and apparatus | |
| CN113113032B (en) | Audio encoding and decoding method and audio encoding and decoding device | |
| RU2828171C1 (en) | Audio encoding method and device | |
| RU2833163C1 (en) | Audio encoding method and device | |
| KR102869278B1 (en) | Audio signal coding method and device | |
| CN115472171B (en) | Coding and decoding method, device, equipment, storage medium and computer program |