Vertailu

Teneks vs MeetGeek

Useimmat vertailusivut ovat ominaisuustaulukko jota kukaan ei voi tarkistaa. Tämä on kaksi tallennetta, molemmat työkalut ja kummankin tulos — myös ne kohdat jotka eivät imartele meitä.

Ensin miten testasimme, sitten mitä löysimme

Kaksi oikeaa tallennetta: 48-minuuttinen vironkielinen kartoituspuhelu ja 27-minuuttinen englanninkielinen asiakaspuhelu, jonka keskellä oli kolmen minuutin vironkielinen sivukeskustelu. Kumpikin käsiteltiin kahdesti, kummallakin työkalulla. Osallistujat ja heidän liiketoimintatietonsa on anonymisoitu läpikotaisin.

Kohta, joka kannattaa kyseenalaistaa

Kummastakaan puhelusta ei ole riippumatonta ihmisen tekemää litterointia, joten käytimme vertailukohtana omaa tulostamme. Kilpailijan pisteyttäminen omaa tulosta vasten ei ole neutraali vertailu, emmekä aio esittää muuta. Juuri siksi nostamme esiin alla olevat kolme havaintoa: yksikään niistä ei riipu siitä kumpaa litterointia pidät oikeana.

Kolme havaintoa jotka pätevät ilman mitään vertailulitterointia

Kuusi puhujamerkintää kolmelle ihmiselle

Englanninkielisessä puhelussa huoneessa oli kolme ihmistä. MeetGeekin vientitiedosto sisältää kuusi eri puhujaidentiteettiä, mukaan lukien yhden jonka alla on puhetta jota kukaan ei sanonut, ja jättää noin joka yhdeksännen puheenvuoron merkinnän ”tuntematon puhuja” alle. Tämä on laskettavissa oleva ominaisuus heidän omassa tiedostossaan — meidän litterointiamme ei tarvita sen tarkistamiseen. Teneks palautti kolme puhujaa, nimellä.

Vironkielisessä puhelussa asetelma osin kääntyy: MeetGeek tuottaa täsmälleen kolme merkintää ja me kolme plus kuusi lyhyttä kohdistamatonta myötäilyä. Emme aio lainata vain sitä puolta joka sopii meille.

106 sanan toistosilmukka

Noin joka kahdeskymmeneskuudes sana MeetGeekin vironkielisessä litteroinnissa sijaitsee jumiutuneessa toistojaksossa — 106 tokenin mittainen yhden sanan muuri ja 84 tokenin mittainen toisen. Se osuu puhelun loppuminuutteihin, siihen osaan jonka esihenkilö oikeasti lukee. Meidän pahin jaksomme samalla äänellä on viisi toistoa sanasta jonka puhuja todella sanoi viidesti.

Tämä on klassinen pienen kielen puheentunnistuksen romahdus, ja se on vika mitä tahansa vertailukohtaa vasten, myös ilman sellaista.

Kolme minuuttia viroa palautui keksittynä englantina

Kun asiakas odotti näytönjakoa, kaksi osallistujaa puhui keskenään viroa noin kolme minuuttia. MeetGeek ei havainnut kielenvaihtoa. Se tuotti sujuvia englanninkielisiä lauseita joita ei koskaan sanottu ja liitti ne puhujaan jota ei ollut huoneessa — yhdestä vironkielisestä sanasta tuli ”What's up? What's up? What's up?”

Sepitteen tunnistamiseen ei tarvita vertailulitterointia. Juuri tämän havainnon haluaisimme tietoturva- tai riskitoiminnon näkevän.

Miksi näin käy, ja miksi mallipäivitys ei korjaa sitä

Kaikki kolme seuraavat samasta arkkitehtuurista: englanti edellä rakennettu putki, yksi ilmoitettu kokouskieli eikä lainkaan puhujien tunnistusta. Viro jää jakauman ulkopuolelle, ja kielenvaihto kesken puhelun on kokonaan ongelmanmäärittelyn ulkopuolella. Siksi ero vahvaan englanti edellä toimivaan työkaluun on englanninkielisessä puhelussa vain aste-ero ja vironkielisessä kategorinen — ja siksi se ei ole sellainen ero joka umpeutuu jonkun seuraavassa julkaisussa.

Milloin MeetGeek on järkevä valinta

Jos palaverisi kulkevat englanniksi, yhdellä kielellä, selkeällä äänellä ja vakaalla osallistujajoukolla, ja haluat siistin luettavan yhteenvedon ennemmin kuin todistusaineistoa, ero meidän ja MeetGeekin välillä kapenee huomattavasti. MeetGeek karsii täytesanoja tarkoituksella ja sen teksti on sujuvampaa luettavaa kuin meidän — meidän litterointimme ovat sanatarkkoja, mikä on parempi todisteille ja valmennukselle ja huonompi silmäilyyn. Englanninkielisessä puhelussa sen toistokäyttäytyminen oli itse asiassa hieman parempi kuin meidän.

Meidän puolestamme puhuu tietty tilanne: monikieliset huoneet, vaikeat ääniolosuhteet ja asiakirja jonka perusteella jokin myöhempi järjestelmä toimii.

Mitä emme väitä

Emme ainakaan sitä, että litterointi olisi virheetön. Seuraamme omia vikojamme — toistoa kohdissa joissa käsittelypalaset kohtaavat, satunnaista kohdistusvirhettä, lyhyitä myötäilyjä jotka jätämme kohdistamatta — ja korjaamme ne julkisissa julkaisutiedoissa. Englanninkielisen puhelun näkyvimmän yritysnimen kohdalla molemmat työkalut olivat yhtä väärässä. Jos teet tämän vertailun itse, löydät nuo asiat, ja haluamme mieluummin, että kuulet ne ensin meiltä.

Aja se omalla puhelullasi

Hyödyllinen testi ei ole meidän. Ota tallenne joka rikkoisi geneerisen työkalun — hybridikokous, huono linja, kaksi kieltä huoneessa — ja aja se molempien läpi. Autamme järjestämään sen.

Seitsemän syytä, miksi tiimit valitsevat Teneksin