Porównanie

Teneks vs MeetGeek

Większość stron porównawczych to tabela funkcji, której nikt nie może sprawdzić. Ta strona to dwa nagrania, oba narzędzia i wynik każdego z nich — łącznie z fragmentami, które nam nie schlebiają.

Jak testowaliśmy, zanim powiemy, co znaleźliśmy

Dwa prawdziwe nagrania: 48-minutowa rozmowa rozpoznawcza po estońsku i 27-minutowa rozmowa z klientem po angielsku, z trzyminutową estońską rozmową poboczną w środku. Każde przetworzono dwukrotnie, każdym z narzędzi. Uczestnicy i ich dane handlowe są w całości zanonimizowane.

Punkt, który warto zakwestionować

Dla żadnej z tych rozmów nie istnieje niezależna transkrypcja wykonana przez człowieka, więc jako punkt odniesienia wykorzystaliśmy własny wynik. Ocenianie konkurenta względem własnego rezultatu nie jest neutralnym testem i nie zamierzamy udawać, że jest. Właśnie dlatego na pierwszy plan wysuwamy trzy poniższe ustalenia: żadne z nich nie zależy od tego, którą transkrypcję uznasz za poprawną.

Trzy ustalenia, które bronią się bez żadnej transkrypcji referencyjnej

Sześć etykiet mówców dla trzech osób

W rozmowie po angielsku w pokoju były trzy osoby. Plik eksportu MeetGeeka zawiera sześć odrębnych tożsamości mówców, w tym jedną, pod którą znajduje się wypowiedź, której nikt nie wygłosił, i pozostawia mniej więcej co dziewiątą wypowiedź jako „nieznany mówca”. To policzalna właściwość ich własnego pliku — nasza transkrypcja nie jest potrzebna, żeby to sprawdzić. Teneks zwrócił trzech mówców, z nazwiskami.

W rozmowie po estońsku układ częściowo się odwraca: MeetGeek daje dokładnie trzy etykiety, a my trzy plus sześć krótkich nieprzypisanych potwierdzeń. Nie zamierzamy cytować tylko tej połowy, która nam pasuje.

Pętla powtórzeń licząca 106 słów

Mniej więcej co dwudzieste szóste słowo estońskiej transkrypcji MeetGeeka znajduje się w zdegenerowanym ciągu powtórzeń — ścianie 106 tokenów jednego słowa i 84 tokenów innego. Wypada to w końcowych minutach rozmowy, w tej części, którą menedżer faktycznie czyta. Nasz najgorszy ciąg na tym samym nagraniu to pięć powtórzeń słowa, które mówca naprawdę powiedział pięć razy.

To klasyczne załamanie rozpoznawania mowy w małym języku i jest to wada niezależnie od punktu odniesienia — także wtedy, gdy nie ma żadnego.

Trzy minuty estońskiego wróciły jako zmyślony angielski

Kiedy klient czekał na udostępnienie ekranu, dwóch uczestników rozmawiało ze sobą po estońsku przez około trzy minuty. MeetGeek nie wykrył zmiany języka. Wyprodukował płynne angielskie zdania, których nigdy nie wypowiedziano, i przypisał je mówcy, którego nie było w pokoju — z jednego estońskiego słowa zrobiło się „What's up? What's up? What's up?”

Do rozpoznania konfabulacji nie potrzeba transkrypcji referencyjnej. To jest ustalenie, które chcielibyśmy pokazać działowi bezpieczeństwa lub ryzyka.

Dlaczego tak się dzieje i dlaczego aktualizacja modelu tego nie naprawi

Wszystkie trzy wynikają z tej samej architektury: potoku budowanego wokół angielskiego, z jednym zadeklarowanym językiem spotkania i bez rozstrzygania tożsamości. Estoński wypada poza rozkład, a zmiana języka w trakcie rozmowy leży całkowicie poza modelem problemu. Dlatego różnica wobec silnego narzędzia anglojęzycznego jest stopniowa w rozmowie po angielsku i kategoryczna w rozmowie po estońsku — i dlatego nie jest to różnica, którą domyka się w czyjejś kolejnej wersji.

Kiedy MeetGeek jest rozsądnym wyborem

Jeśli Twoje spotkania toczą się po angielsku, w jednym języku, przy czystym dźwięku i stałym gronie uczestników, a zależy Ci na czytelnym podsumowaniu, a nie na zapisie dowodowym, różnica między nami mocno się zawęża. MeetGeek celowo usuwa zająknięcia i powtórzenia, a jego zapis czyta się płynniej niż nasz — nasze transkrypcje są dosłowne, co jest lepsze dla dowodów i coachingu, a gorsze do przeglądania. W rozmowie po angielsku jego zachowanie przy powtórzeniach było nawet nieco lepsze niż nasze.

Za nami przemawia konkretna sytuacja: wielojęzyczne pokoje, trudny dźwięk i zapis, na podstawie którego ludzie i systemy będą dalej podejmować działania.

Czego nie twierdzimy

Nie twierdzimy, że nasza transkrypcja jest bezbłędna. Śledzimy własne usterki — powtórzenia w miejscach styku fragmentów przetwarzania, sporadyczne błędne przypisanie, krótkie potwierdzenia, których nie przypisujemy — i naprawiamy je w publicznych notatkach do wydań. Przy najbardziej widocznej nazwie firmy w rozmowie po angielsku oba narzędzia pomyliły się tak samo. Jeśli przeprowadzisz to porównanie samodzielnie, znajdziesz te rzeczy, a wolimy, żeby ta informacja padła najpierw tutaj.

Przeprowadź to na własnej rozmowie

Użyteczny test to nie nasz test. Weź nagranie, które zepsułoby uniwersalne narzędzie — spotkanie hybrydowe, słabe łącze, dwa języki w pokoju — i przepuść je przez oba. Pomożemy Ci to przygotować.

Siedem powodów, dla których zespoły wybierają Teneks