Jak przeprowadziliśmy test
Dwa rzeczywiste nagrania: 48-minutowa rozmowa o potrzebach klienta po estońsku oraz 27-minutowa rozmowa z klientem po angielsku, z trzyminutową rozmową poboczną po estońsku. Każde nagranie przetworzono raz w każdym narzędziu. Dane uczestników i szczegóły handlowe zostały zanonimizowane.
Ograniczenia porównania
Nie mieliśmy niezależnej transkrypcji referencyjnej. Do wyrównania tekstów użyliśmy własnego wyniku, więc nie jest to bezstronny test dokładności. Przykłady opisują dwa testowane nagrania, a nie ogólną dokładność dostawców.
Co zaobserwowaliśmy
01Sześć oznaczeń mówców dla trzech osób
Podczas angielskiej rozmowy w pomieszczeniu były trzy osoby. Eksport MeetGeek zawierał sześć tożsamości mówców, w tym jedną z tekstem, którego nikt nie wypowiedział. Około co dziewiąta wypowiedź miała oznaczenie „Unknown speaker”. Można to policzyć w pliku MeetGeek bez korzystania z naszej transkrypcji. Teneks zwrócił trzech mówców z imionami.
Dla estońskiego nagrania MeetGeek zwrócił trzy oznaczenia. Teneks zwrócił trzy oznaczenia i pozostawił sześć krótkich odpowiedzi bez przypisania.
Pętla 106 powtórzonych słów
Około co dwudzieste szóste słowo estońskiej transkrypcji MeetGeek należało do serii powtórzeń: 106 tokenów jednego słowa oraz 84 tokeny innego. Wystąpiły w końcowych minutach rozmowy. Najdłuższa seria Teneks na tym samym nagraniu miała pięć powtórzeń słowa, które mówca rzeczywiście powiedział pięć razy.
Powtórzenie występuje w eksporcie tego nagrania. Nie ustaliliśmy jego przyczyny.
Trzy minuty estońskiego zamienione w wymyślony angielski
Podczas oczekiwania na udostępnienie ekranu dwie osoby rozmawiały przez około trzy minuty po estońsku. MeetGeek nie wykrył zmiany języka w tym fragmencie. Wygenerował płynne angielskie zdania, których nie wypowiedziano, i przypisał je osobie nieobecnej w pomieszczeniu. Jedno estońskie słowo zmieniło się w „What’s up? What’s up? What’s up?”
Oceniając ten wynik, porównaj wskazane nagranie z eksportem.
Czego ten test nie dowodzi
Dwa nagrania nie pozwalają ustalić przyczyny błędu transkrypcji ani przewidzieć działania przyszłego modelu. Warunki dźwiękowe, konfiguracja i wersje produktów mogą wpływać na wynik. Powtórz test na nagraniach reprezentatywnych dla zespołu.
Kiedy rozważyć MeetGeek
Jeśli potrzebujesz przede wszystkim płynnego podsumowania wyraźnego, jednojęzycznego spotkania po angielsku, różnica może być mniejsza. W naszym porównaniu MeetGeek usuwał zawahania, dzięki czemu tekst czytało się płynniej. Bardziej dosłowny wynik Teneks pomaga sprawdzać szczegóły, ale trudniej go szybko przejrzeć. W angielskiej rozmowie MeetGeek poradził sobie z powtórzeniami nieco lepiej niż Teneks.
Warto przetestować Teneks na wielojęzycznych spotkaniach i trudniejszym dźwięku, gdy dalsze działania opierają się na szczegółach rozmowy.
Czego nie twierdzimy
Teneks również popełniał błędy, w tym powtórzenia i błędne przypisania mówców. Oba narzędzia błędnie zapisały ważną nazwę firmy w angielskiej rozmowie. Uwzględnij te ograniczenia wraz z opisanymi różnicami.