3 ms·
Japanese results looks pretty impressive! Took マッコウクジラ14頭が海岸に打ち上げられる オーストラリア(2022年9月21日) https://www.youtube.com/watch?v=bZkNIzeRBk4 https://www.youtube.com/w
by adeptima 4y ago
Japanese results looks pretty impressive!
Took
マッコウクジラ14頭が海岸に打ち上げられる オーストラリア(2022年9月21日)
https://www.youtube.com/watch?v=bZkNIzeRBk4 https://www.youtube.com/watch?v=bZkNIzeRBk4
Extracted audio with
youtube-dl -f bestaudio https://www.youtube.com/watch\?v\=bZkNIzeRBk4 https://www.youtube.com/watch\?v\=bZkNIzeRBk4
Converted into
[00:00.000 --> 00:13.000] オーストラリア南部の島で、真っ向くじら14棟が海岸に打ち上げられて死んでいるのが見つかり、専門家が調査のため原地入りしました。
[00:13.000 --> 00:25.000] 原地メディアによりますと、オーストラリア南部のキング棟で、19日、少なくとも14棟の真っ向くじらが海岸に打ち上げられて死んでいるのが見つかりました。
[00:25.000 --> 00:31.000] ほとんどが若いオーストを見られ、専門家が現場に重むき調査に当たっています。
[00:31.000 --> 00:41.000] くじらの死害は大きく運んだり埋めたりすることが難しいため、自然に分解されるのを待つ方針が検討されています。
[00:41.000 --> 00:52.000] また、死害を狙い、サメが海に集まる可能性があるとして、原地東局はサーファーなどに周囲に近づかないように呼びかけています。
[00:52.000 --> 01:02.000] 一方、21日にはタスマニア棟でおよそ230棟のくじらが浜辺に打ち上げられた状態で見つかりました。
[01:02.000 --> 01:07.000] およそ半数がまだ生きている模様で急助活動が進められています。
[01:07.000 --> 01:23.000] 見つかったのは、ゴンドーくじらの仲間と見られています。
- knaik94 4y agoDid you try translating them to english? I want to see if you get a similar error as me with a random phrase "Translated by Releska" showing up.
- lynguist 4y agoIt's called hallucination. As the model is trained on unsupervised data, such errors do seldom happen. The model picks up that such phrases occur in translations and inserts them even if they do not appear in the source. This is described in the paper.
- knaik94 4y agoI came across it during a silent/instrumental portion in the song I was testing. I asked only because I am curious how frequently the error might show up, I don't expect it to be very common. It's looking at phrase level instead of word level timestamps which is going to make it hard to tokenize music. I asked simply because the parent comment also tested on Japanese.
- gzer0 4y agoShocked at how good the results are, and how easy of an installation it is. Here are the exact steps to follow to get it running on Ubuntu 22.04 via WSL and yt-dlp: 1. pip install git+https://github.com/openai/whisper.git 2. yt-dlp -f 'ba' -x --audio-format mp3 https://www.youtube.com/watch/?v\=bZkNIzeRBk4 3. renamed the file to test.mp3 4. whisper test.mp3 --language Japanese --task translate --model large Note: the large model will download a ~3Gb file
- NaturalPhallacy 4y agoI did something similar (my ytdl is ytdlp too). You don't even have to grab just the audio, it'll take a webm: https://i.imgur.com/03UFGc8.gif https://i.imgur.com/03UFGc8.gif Amazing work.
- adeptima 4y agocause ffmpeg inside https://github.com/openai/whisper/blob/main/requirements.txt https://github.com/openai/whisper/blob/main/requirements.txt should process most formats
- adeptima 4y ago"--model large" option produces much better results at higher resources consuming costs