
(日本語は下の方にあります。)
I’ve developed a service that recognizes and automatically translates the spoken word as it is typed.
https://competent-snyder-8fc42a.netlify.app/
Why I made it?
I am now working with a foreign member. He can understand and speak the language I speak (Japanese) to some extent. But it’s not perfect. He is still in the process of studying.
I developed it so that when I have a meeting with such a member, he can better understand my words and even the words of other team members.
Target users
- People who want to understand a little more about the language of team members who speak other languages
What we can do with this service?
- Recognizes the input voice and converts it to text.
- Use virtual audio to text the audio of all members participating in Zoom, etc.
- Translate the text.
- Change the input spoken language and translation language.
Precautions for use
- Please use Google Chrome for your browser.
- This article uses BlackHole as the virtual audio, which is currently only available on the Mac.
https://github.com/ExistentialAudio/BlackHole
How to use it in online meetings
When the earphones are not used
Click here to open the site.
Start a web conferencing service such as Zoom and make sure that the Zoom’s microphone is a built-in microphone
and the Zoom’s speaker is a built-in speaker
.
When the meeting starts, voice recognition starts automatically.

When using the earphones
※ You will need two devices: one for converting audio to text (Mac) and one for participating in the conference (iPhone etc).
Install the virtual audio BlackHole with the brew
command.
$ brew cask install blackhole
If you want to download the file instead of using the brew
command, you can refer to the following wiki.
https://github.com/ExistentialAudio/BlackHole/wiki/Installation
Go to System Preferences > Sound on your Mac and change the input and output to BlackHole 16ch
.


Launch a web conferencing service such as Zoom and set your Zoom’s microphone and speakers to BlackHole 16ch
.

Open this site and join the online meeting on another device. I think you can get the voices of all the participants and text them.
References
- A web page that displays the result of speech recognition with Web Speech API overlaid on the web camera image.
https://github.com/1heisuzuki/speech-to-text-webcam-overlay - Deliver music from your Mac using the virtual audio device “BlackHole”
https://kakakakakku.hatenablog.com/entry/2020/05/18/070022
入力された音声を認識し、自動翻訳できるサービスを開発しました。
https://competent-snyder-8fc42a.netlify.app/
作った理由
私は今、外国籍メンバーと一緒に働いています。彼は私が話す言葉(日本語)をある程度理解でき、話すことができます。しかし完璧ではありません。現在も勉強中です。
そんなメンバーと一緒にミーティングをする時、より私の言葉、さらには他のチームメンバーの言葉を理解することができるようにと思い、開発しました。
対象利用者
- 他言語を話すチームメンバーの言葉をもう少し理解したい人
できること
- 入力された音声を認識し、テキスト化
- 仮想オーディオを利用するとZoomなどに参加しているメンバー全員の音声をテキスト化
- テキストを翻訳
- 入力される音声言語、翻訳言語を変更
注意
- ブラウザはGoogle Chromeをご利用ください。
- 本記事では仮想オーディオとしてBlackHoleを利用します。BlackHoleは現在Macでのみ利用可能です。
https://github.com/ExistentialAudio/BlackHole
オンラインミーティングでの使い方
イヤホンを使わない場合
こちらのサイトを開きます。
ZoomなどのWeb会議サービスを起動し、Zoomのマイクが 内臓マイク
に、Zoomのスピーカーが 内臓スピーカー
になっていることを確認。
会議が始まると音声認識が自動で始まります。

イヤホンを使う場合
※ 音声をテキスト化する端末(Mac)と会議に参加する端末(iPhone)の2台が必要です。
仮想オーディオのBlackHoleを brew
コマンドでインストールします。
$ brew cask install blackhole
brew
コマンドではなく、ファイルをダウンロードしたい場合は以下のwikiを参考にしてください。
https://github.com/ExistentialAudio/BlackHole/wiki/Installation
Macのシステム環境設定 > サウンドを開き、入力と出力を BlackHole 16ch
に変更してください。


ZoomなどのWeb会議サービスを起動し、Zoomのマイクとスピーカーを BlackHole 16ch
に設定します。

あとはこちらのサイトを開き、他の端末でオンラインミーティングに参加をします。参加者全員の声を取得し、テキスト化できると思います。
参考
- Web Speech API で音声認識した結果の字幕をWebカメラ映像に重ねて表示するWebページ
https://github.com/1heisuzuki/speech-to-text-webcam-overlay - 仮想オーディオデバイス「BlackHole」を使って Mac から音楽を配信する
https://kakakakakku.hatenablog.com/entry/2020/05/18/070022