Puheanalyysi (myös äänianalyysi; , ) on puheteknologiassa puhe- ja lauluäänen sekä muitten äänitaajuisten (20–20 000 Hz) äänten kuten vaikkapa musiikkisoittimien äänten, keuhkoäänten, lasten itkujen, puheessa havaittavien emootioiden, hyvän radioäänen, puheäänen kuormittuneisuuden analysoimista, eri kielten ja murteitten äänteiden vertailun tutkimusta digitaalisen signaalinkäsittelyn keinoin.
Puheanalyysin tekniikka Yleensä digitaaliseen signaalinkäsittelyyn perustuvat puheanalyysit sisältävät: erilaisia ihmisäänen yksittäisspektrianalyysejä (FFT-spektri (), kepstri (), LPC-spektri (), auditorinen spektri (), auditorinen äänekkyysspektri ()) -, -, -asteikoilla. erilaisia ihmisäänen FFT-keskiarvospektrianalyysejä eli LTAS-analyysejä () -, -, -asteikoilla. erilaisia ihmisäänen FFT-, LPC-, auditorisia spektrogrammeja () -, -, -asteikoilla. erilaisia ihmisäänen FFT-, kepstri-, LPC-, auditorisia spektrisarjoja () -, -, -asteikoilla. erilaisia puheen perustaajuuden (äänenkorkeuden) F0-analyysejä () käyrinä aika mukana ja ilman aikaa -, -, -, -, -asteikoilla. erilaisia puheen amplitudin A0-analyysejä () käyrinä aika mukana ja ilman aikaa -asteikolla. erilaisia puheen äänenvoimakkuustason SPL-analyysejä () käyrinä ja erilaisia mittauksia -asteikolla. erilaisia puheen jitter- ja shimmer-analyysejä () käyrinä ilman aikaa -asteikolla ja -asteikolla. erilaisia puheen äänekkyysanalyysejä () käyrinä ja spektreinä -asteikolla (). puheen äänikenttäanalyysejä () kaksi- ja kolmiulotteisina esityksinä -asteikoilla. puheen fonetogrammianalyysejä () kaksiulotteisina esityksinä -asteikoilla. puheen erilaisten mitattavien suureitten jakauma-analyysejä () ja jakaumien perussuureita kuten keskiarvo, keskihajonta, vaihteluväli. puheen formanttimittauksia () ja formanttikarttoja () -, -, -, -, -asteikoilla.
Yleensä puheanalyysiohjelmissa on: valmiita tuloskuvapohjia monenlaisille suureille ja monenlaisilla asteikoilla. tuloskuvat muodostavat uusia analyysejä, jotka toimivat aika- ja taajuussynkronoidusti muitten analyysien kanssa. analyysikuvissa on ajassa liikkuva kursori ja taajuuksissa liikkuva kursori. puheen yksi- tai monikanavainen sisäänotto analysoitavaksi. puheen yksi- tai monikanavainen kuuntelu. puheen yksi- tai monikanavainen editointi ja suodatus. puheen signaalikuva ja verhokäyräkuva ja erilaisten segmenttirajojen asettaminen niihin ja muihin analyysikuviin. puheen osien kuten äänteiden, tavujen, lauseitten ja virkkeitten aikakestojen analyysejä puhesignaalista, sen verhokäyrästä ja erilaisista aikaa sisältävistä analyysikuvista. puheen rytmin analyysejä aikaa sisältävistä analyysikuvista. aika-akselin sisältävissä analyysikuvissa on siirrettävä aikakursori ja taajuusakselin sisältävissä analyysikuvissa lisäksi myös siirrettävä taajuuskursori. analyysikuvat on aikasynkronoitu toisiinsa niin, että siirrettäessä missä tahansa analyysikuvassa aikakursoria se siirtyy myös muissa analyysikuvissa. analyysikuvat on myös taajuussynkronoitu toisiinsa niin, että siirrettäessä missä tahansa analyysikuvassa taajuuskursoria se siirtyy myös muissa analyysikuvissa riippumatta erilaisista .taajuusakseliesityksistä. kullakin analyysillä on oma kuvansa, joka on vapaasti siirreltävissä ja kooltaan zoomattavissa. analyysikuvat päivittävät automaattisesti itsensä käyttäjän tekemän muutoksen jälkeen.
Digitaalisen signaalinkäsittelyn menetelmien algoritmit perustuvat kompleksilukujen ja kompleksilukumuunnosten käyttöön.
Puheanalyysin taajuussuureitten muunnoskaavoja Hertsit Barkkeina: , f on taajuuden arvo hertseinä. Barkit hertseinä: , x on taajuuden arvo Barkkeina. Hertsit ERB:einä: , f on taajuuden arvo hertseinä. ERB:it hertseinä: , x on taajuuden arvo ERB:einä. Hertsit meleinä: , f on taajuuden arvo hertseinä. Melit hertseinä: , x on taajuuden arvo meleinä. Hertsit puolisävelinä: , f on taajuuden arvo hertseinä, vastaa 440 hertsin puolisävelarvoa. Esim. 880 hertsin st-arvo on ja 220 hertsin st-arvo on . Eli taajuuden hertseinä kaksinkertaistuessa puolisävelet lisääntyvät määrällä 12 ja taajuuden hertseinä puolittuessa puolisävelet vähenevät määrällä 12. Puolisävel-asteikko on tasavälinen asteikko. Puolisävelet hertseinä: , st on taajuuden arvo puolisävelinä, vastaa 440 hertsin puolisävelarvoa.
Puheanalyysin laskentakaavoja Jos on mikrofonin jännitesignaali, niin (nT) = k(nT), jossa on paine, k on vakiokerroin, T on näytevälin pituus. Amplitudiverhokäyrä: , x(n) on signaalinäytteen arvo hetkellä n. : , max(n) on ilmaistavan signaalin maksimiarvo hetkellä n. Tavallinen : , x(n) on signaalinäyte hetkellä n. Äänekkyys N soneina: , on äänekkyystaso foneina.
Puheanalyysin teoriakaavoja ja teoriakuvauksia Digitaalisen signaalinkäsittelyn kompleksinen perusteoria perustuu osaltaan z-muunnoksen ja sen käänteismuunnoksen olemassaoloon ja käyttöön. . . x(n) on signaalinäyte, z on kompleksinen muuttuja.
Digitaalisen signaalinkäsittelyn kompleksinen perusteoria perustuu myös osaltaan diskreetin Fourier-muunnoksen DFT:n ja sen käänteismuunnoksen IDFT:n olemassaoloon ja käyttöön. , , muulloin . , , muulloin . , N on signaalin x(n) näytteiden määrä.
DFT tehollisessa muodossa: , x(n) on signaalinäyte hetkellä n, w(n) on painotusikkuna, k on spektrikanavan/spektripisteen kohta. Spektrissä kanavien määrä N/2 on aina puolet signaalipisteiden määrästä N. Jos painotusikkunan leveys on signaalipisteitten määrää N pienempi asetetaan painotusikkunan molempiin päihin nollia niin paljon, että signaalin pituus ja painotusikkunan leveys saadaan käytännössä samaksi. Kaava lasketaan nopeaa Fourier-laskentahajotelmaa FFT käyttäen.
Hamming-painotusikkuna .
Blackman-Harris-painotusikkuna .
DFT dB-muodossa: .
LTAS tuotetaan laskemalla keskiarvo tehollisessa muodossa olevista DFT:eistä ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon .
Usean LTAS-spektrin keskiarvo lasketaan tehollisessa muodossa olevien LTAS-spektrien keskiarvona ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.
Puheanalyysiin käyttökelpoinen kepstri syntyy laskemalla dB-muodossa olevasta DFT:stä uusi DFT .
Äänen äänekkyystaso foneina on yhtä suuri kuin yhtä äänekkäältä tuntuva 1kHz:n ääneksen äänenpainetaso desibeleinä. Äänekkyys on kuuntelijan subjektiivinen vaikutelma äänen voimakkuudesta. Sen yksikkö on soni. Soni-asteikko on laadittu niin, että soni-määrän kaksinkertaistuminen vastaa myös äänekkyyden kaksinkertaistumista.
FFT-spektri Ihmisäänen FFT-spektri dB-asteikolla tuotetaan yllä olevia DFT:n kaavoja käyttäen. FFT-spektri käytännössä lasketaan nopeaa Fourier-muunnoshajotelmaa FFT:tä käyttäen. Vaihtoehtoja nopeaksi Fourier-muunnoshajotelmaksi on monta.
Kepstri Puheanalyysissä kepstri saadaan aikaan seuraavasti. Otetaan ensin Fourier-muunnos äänisignaalista. Näin saadaan uusi signaali seuraavaa Fourier-muunnosta varten. Seuraava Fourier-muunnos laskee uudesta signaalista uuden Fourier-käyrän. Fourier-käyrän voimakkain huippu kuvaa alkuperäisen äänisignaalin perustaajuutta ja huipun avulla voidaan määrittää äänen perustaajuus. Kepstrihuipun avulla perustaajuuden määritys on tarkempi kuin ensimmäisen Fourier-muunnoksen ensimmäisestä harmoonisesta mitattu perustaajuus.
Puheanalyysiin käyttökelpoinen kepstri tuotetaan dB-muodossa olevasta DFT:stä laskemalla siitä uusi DFT.
Minkä tahansa ajassa muuttuvan signaalin perustaajuus on määrättävissä kepstrin avulla.
LPC-spektri LPC-spektrin tuottamiseen on käytettävissä monta erilaista LPC-laskentamenetelmää. Kun LPC halutaan tulostaa myös FFT-spektrin taustakuvana on PARCOR-menetelmä käytännössä kaikkein toimivampia ja mahdollisimman kaunista kuvaesitystä tuottavaa. LPC-spektri esitetään dB-asteikolla. LPC-spektristä formantit F1, F2, F3 ja F4 voidaan tunnistaa suodattamalla LPC-spektriä sopivalla kaistanpäästösuodatuksella, jolloin vain formanttien kohdalle muodostuu kumpuja.
LTAS-spektri Ihmisäänen LTAS-spektri tuotetaan laskemalla keskiarvo tehollisessa muodossa olevista DFT:stä ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.
LTAS-spektrien keskiarvospektri Usean ihmisäänen LTAS-spektrien keskiarvospektri lasketaan tehollisessa muodossa olevien LTAS-spektrien keskiarvona ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.
FFT-, kepstri-, LPC-spektrisarjat FFT-, kepstri-, LPC-spektrisarjat tuotetaan laskemalla muutaman kymmenen millisekunnin välein liukuvasti spektrejä ja sisällyttämällä analyysikuvaan myös aika-akseli.
FFT-spektrogrammi FFT-spektrogrammi tuotetaan laskemalla muutaman millisekunnin välein liukuvasti FFT-spektrejä dB-asteikolla ja muuttamalla kunkin spektrin kanavien voimakkuudet harmaansävyiksi analyysikuvaan.
LPC-spektrogrammi LPC-spektrogrammi tuotetaan laskemalla muutaman millisekunnin välein liukuvasti LPC-spektrejä dB-asteikolla ja ilmaisemalla sen jälkeen kaistanpäästösuodatuksella spektreistä neljä ensimmäistä formanttitaajuutta ja tulostaen ilmaistut formantit harmaansävyinä analyysikuvaan.
Perustaajuusanalyysi (äänenkorkeusanalyysi) Puheen perustaajuusanalyysin algoritmi perustuu joko aikatasossa tapahtuvaan tai taajuustasossa tapahtuvaan ilmaisuun. Jotkut aikatasossa tapahtuvista ilmaisuista poikkeavat taajuustasossa tapahtuvista ilmaisuista ensisijaisesti siinä, että aikatasossa on mahdollista ilmaista ja numeroida yksitellen jokainen puheen perusjakso. Taajuustasoilmaisussa puheen perustaajuus havaitaan tiettynä ajanhetkenä liukuvan aikaikkunan sisällä. Jokaisen perusjakson yksitellen ilmaisevaa algoritmia tarvitaan myös tarkan F0-jakauman luontiin ja siitä tehtävien tarkkojen tilastosuureitten luontiin. Jos F0-jakauman laskennassa on mukana muutakin kuin pelkästään kaikkien todelliset perusjaksojen taajuudet on tilastosuure epätarkka. Aikatason ilmaisuista voidaan mainita kaistanpäästöesisuodatukseen & suoraan säännöillä signaalista tapahtuvaan ilmaisuun perustuvat menetelmät ja autokorrelaatioon perustuvat menetelmät. Taajuustasossa tapahtuvista ilmaisuista voidaan mainita kaksinkertaiseen DFT:hen eli kepstriin perustuvat menetelmät. Kepstriin perustuvat F0-analyysit toimivat vaikka signaalin perustaajuuskomponentti puuttuisikin. Aikataso- ja taajuustasoilmaisuissa voidaan esisuodatuksena käyttää kaistanpäästösuodatusta sekä käänteissuodatusta, jotka pyrkivät yksinkertaistamaan analysoitavaa puhesignaalia.
Jitter ja shimmer Jitter ja shimmer kuvaavat puheen perusjaksojen taajuuden ja amplitudin muutoksia perusjaksosta toiseen. Algoritmi perustuu aikatasossa tapahtuvaan perustaajuusilmaisuun, joka ilmaisee ja numeroi yksitellen jokaisen puheen perusjakson, sen perustaajuuden ja maksimiamplitudin. Jitter lasketaan -asteikolla ja shimmer -asteikolla.
Äänikenttä Äänikenttä tuotetaan aikatasossa tapahtuvalla perustaajuusanalyysillä (äänenkorkeusanalyysillä), joka ilmaisee ja numeroi yksitellen jokaisen puheen perusjakson, sen perustaajuuden (äänenkorkeuden) ja maksimiamplitudin. Äänikenttäkuvassa -asteikko on pystysuunnassa ja -asteikko tai -asteikko vaakasuunnassa. Kuvaan tulostetaan myös molempien suureitten jakaumat.
Formanttikartta Formanttikartta on kaksiulotteinen kuva puheen vokaalien formanttitaajuuksien mittaustuloksista taajuusasteikolla, joissa taajuussuureena on yleensä Hz, Bark tai ERB. Taajuusasteikot tekevät kuvassa tarvittaessa taajuusmuunnoksia. Historiallisesti formanttikarttoja tehtiin aluksi Hz-asteikolla. Auditorisen ajattelun mukaan tullessa asteikoksi tuli myös Bark-asteikko. Vähän myöhemmin ERB-asteikko. Bark-asteikkoa käytettäessä formanttikarttaan tulee lisäpiirteenä pisteitten merkitseminen 1 Bark:in kokoisina ympyröinä, jolloin ajatuksena on, että kun vokaalien ympyrät eivät mene kartassa päällekkäin niin ne ovat toisistaan hyvin erottuvia. Jos taas menevät päällekkäin saattaa siitä seurata, että vokaalit eivät erotu hyvin toisistaan. Näin vokaalien erotettavuutta toisistaan voidaan eksaktisti ja havainnollisesti mitata formanttikarttakuvan avulla.
Auditorisen ja auditiivisen ero