• リーダーインタビュー

「言語を超える翻訳」は果たして可能か? 吹き出しから考える、やわらかいコミュニケーションの未来 Fukidashi☓中村ケンゴ(美術家)

100BANCHオープン時からの入居プロジェクト「Fukidashi」は、マンガの吹き出し型のデバイスを用いた翻訳ツールというユニークな発想で注目を集めるチームです。

日本が世界に誇る文化としてのマンガをマンガたらしめる吹き出しは、そのアイコンとしての優秀さだけでなく、インターフェイスとしても無限の可能性を秘めているのではないか——。
Fukidashiメンバーとそんな話をするべく100BANCHを訪れたのは、吹き出しをモチーフにした作品を数多く制作する美術家の中村ケンゴさん。翻訳という概念に昔から興味があったという中村さんとともに「Fukidashi」の目指すものと、吹き出しが可能にする未来のコミュニケーションの可能性について考えていきましょう。

中村ケンゴ(美術家) ※写真右

Eメールで使われる顔文字、ワンルームマンションの間取り図、マンガの吹き出しやキャラクターのシルエットなど、現代社会を表象するモチーフから、美術史上のさまざまなイメージまでをも用いたユニークな絵画を制作。日本画の技法で描かれるこれらの作品は、近代になって生まれた「日本画」をはじめとする「日本の美術」のドメスティックな概念を相対化する仕事でもある。また、絵画制作だけでなく、他ジャンルのクリエイターとのコラボレーションのほか、展覧会、シンポジウムなど様々なアートプロジェクトの企画運営にもあたる。国内外の展覧会、アートフェアに多数出品。多摩美術大学大学院修了。

http://www.nakamurakengo.com

 

「翻訳」をいかにカジュアルにするか

中村ケンゴ(以下、中村):そもそもの話を伺いますが、お二人はまだ学生ですよね。どんな分野の研究をしているんですか?

Fukidashi篠原(以下、篠原):私は情報工学です。

Fukidashi小坂(以下、小坂)僕はプロダクトデザインを学んでいます。

中村のプロジェクトをやろうとなったきっかけは何だったんですか?

小坂:最初はパナソニックさんから大学の方にお話をいただいて、産学協同プロジェクトをやることになったんです。その時点では「翻訳」というもののこれからのあり方を考えませんか? というくらいのお話だったんですけど。

中村:そこから「吹き出しを使おう」という話になったんですね。

小坂:実は、吹き出しの形のアイデアが出たのはずいぶん後ですね。僕たちは2つのチームに分かれてブレインストーミングをしていたんですが、そのうちに「翻訳」をいかにカジュアルにするかというが未来に繋がるんじゃないかということに議論が向くようになったんです。

中村:身近なコミュニケーションで使えるもの、ということですよね。

小坂:はい。そこで、例えば2人の間に翻訳機というか、デバイスを挟むとカジュアルになるんじゃないかという話になって。それこそ通訳ロボットみたいなものが発想のスタートなんですが、それもそれで大層な感じになってしまうので、それなら話者と話者の間にもうちょっとライトな何かを挟むのがいいと。そうなった時に、一番カジュアルな形って「マンガの吹き出しなんじゃないか?」という話になっていったんです。

中村:吹き出しなら今や世界中の人たちに通じるし、“ジャパニーズオリジナル”感も出るし。

小坂:そうですね。

中村:僕にも吹き出しを使った作品のシリーズがあるんですが、ちょっと面倒くさいことを言うと、美大で日本画を専攻していたんですね。

 日本画というと古くからある伝統的なものというイメージがあるかもしれません。でも、四角いパネルに紙を張って額装して美術館やギャラリーの白い壁に飾って見るというのは西洋のスタイルなんです。「日本画」というのは、明治に開国した際に入ってきた油絵に対してできた言葉、つまり近代の概念なんですね。そもそも「ART」という概念は西洋のもので、当時の日本人はその「ART」、詳しく言えば、ドイツ語の「KUNST」だったんですが、どう日本語に翻訳するか苦労したようです。その「ART」のルールに従って日本で作品を作っているなかで、自分のオリジナリティって何だろう? という疑問が生まれてきた。いわゆる「日本画」のイメージに沿って作品を作るのではなく、西洋と日本、過去と現代をつないで自身のリアリティを表現できないかと考えたんです。その中で、自分の日常にあった日本のポップカルチャーであるマンガの意匠、吹き出しを使った絵画のシリーズが生まれました。

 実存的な意味で言えば、例えば今日着ているTシャツにはたくさんの吹き出しが描かれていますが、これは「これだけたくさんの言いたいことや思いが自分にはあるぞ」ということと、この吹き出し、一つも台詞が書かれていませんよね。つまり「これだけたくさん喋っても、ひとつも意味が伝わらない、もしくはそもそも意味がない」という両面の意味があると思っています。

 

文字情報「以外」をどう表現するか

小坂:作品を拝見していても、実際のマンガでもそうなんですが、吹き出しって、いろいろな形があるじゃないですか。今あるこれはプロトタイプではあるんですが、そもそも「吹き出しをデバイスにしよう」となったときに、「そもそもこの形しかないってどうなんだろう」という矛盾に行き着くんですよね。デバイスだから、何か形がないといけない。でも、そうなると形が固定化されてしまって、結果的に単なる文字情報しか表現できないというジレンマがあって。

中村:たしかに。

小坂:吹き出しである以上は、しゃべっている内容に従って形が変わるというのが理想的なんですよね。細かい感情の表現というところで、吹き出しのさまざまな形のバリエーションが生まれてきたわけですし。

篠原:もしくは、会話の内容とか声のテンションに合わせて文字のフォントや色が変わるというのは現在の技術でも考えられるなと思うんですけど、デバイスとして一番問題なのはプロダクトの枠をどうするかということで。

中村:例えば透明な液晶ディスプレイみたいなものを間に置いてそこに吹き出しを表示して、会話のテンションを検知して吹き出しの形が変わるというふうにすれば、今でもできなくはないのかな。会話のテンションという意味では、機械翻訳も大事ですね。

篠原:そうですね。機械翻訳の精度をどれくらい高めていくか、という話で。

中村:現状、どういうシステムを使っているんですか?

篠原:今は音声認識と機械翻訳のWeb APIを使っています。その精度自体もそうなんですが、デバイスとしては「マイクでどれだけ音を正確に拾えるか」ということががキーになっています

現状は距離が近すぎると逆にうまく音を拾えないなど技術的な問題もあるので、そこはこれからの改善ポイントですね。

中村:そうか。理想を言うなら、音声認識ソフトまで独自で開発できるといい気はしますけど、そこはけっこうハードルが高くなりますよね。

 

「話しかけるハードル」を下げたい

篠原:そうですね。あと、私たちの考えとしては、そもそも「この外見によって、どれだけ会話が生まれるか」こそが最大のキモだなということもあるんです。

中村:なるほど。そもそも単なる翻訳ツールのデザインというだけでなく、この形が果たす機能ということですね。例えば外国から来た人が「お、吹き出し型のデバイスか!」と興味を惹かれて、そのへんにいる人を相手に使ってみたくなる、みたいな。

小坂:はい。このプロトタイプではスタンド型にしていますが、そもそも、これはカフェやパブリックスペースなど不特定多数の人が集まる場所にインフラとして設置したいという思いもあったので、初期計画から「会話が周囲に見える(聞こえる)」とか、「会話のきっかけになる」ということが非常に重要だと思っています。

篠原:身の周りを観察してると、特に日本人は自分から見知らぬ相手に話しかけるということがとても苦手なんですよね。だからこそ、こういうものが間にあることによって「それ何?」みたいなコミュニケーションが生まれればいいなと。

小坂:スマホの機械翻訳ということなら別に、お互いスマホを見せ合って……みたいなことでも同じなんですけど、そのやりとりに至るまでの心理的なハードルは絶対にあると思っていて。それをなるべく低くするための、ある種の舞台装置であるということはできます。

中村:「吹き出しである」というだけですごく有効なインターフェイスになりますよね。

 これは話者と話者の間に置かれるスタイルだけど、たとえば対面であれば話者同士の背後に配置することによって、より相手にマンガの吹き出しのように見せるということもできそう。

小坂:初期計画ではそういう感じを考えていましたけど、ひとまずはミニマムに話者間に置くというところから始めることにしました。

 このプロジェクトのゴールは『ドラえもん』の「ほんやくコンニャク」(*1)にあると思っているんです。これを介するだけで、誰もがいつでもどこでもストレスなく会話をすることができるという。そういう意味では必ずしも設置型が最終形態ではないと思いますし、モバイルな何かであったり、先ほど中村さんがおっしゃった透過ディスプレイみたいなものもいいのかもしれません。とにかく、まだまだ改善の余地だらけだなと。

*1 食べるだけでどんな言語も脳内で母語に変換されるコンニャク。リスニングだけでなく文字を読む際にも有効で、さらに動物、宇宙人、ロボットなどの言葉も解することができる。「アンキパン」と並んで受験生垂涎の一品。

 

ローカルなまま世界とつながる

中村:翻訳ツールが21世紀において最も重要なテクノロジーのひとつになるということは、僕もずっと思っているんです。

 僕たち日本語話者は、そこそこ高いレベルで他の言語を解さない限りは日本語の中に閉じ込められている。例えばBBCからアル・ジャジーラまでさまざまなメディアに触れることができれば、明らかに世界の捉え方が変わってくる。インターネットのおかげで世界の情報に触れられるようになったからこそ、日本人は英語を話す人たちと比べて、「理解できる情報」の種類や量の格差が大きくなっていると思うんですね。そんな時に、スムーズに正確な翻訳を可能にするデバイスがあればどんなにいいか。

篠原:全ての言語に対応するのはハードル高いですけど、理想像ではあります。

中村:ちなみに、日本語は標準語じゃないと訳せない?

篠原:いえ。ある程度は関西弁とか、京都弁にも対応できるなという感触ですね。

中村:そういうローカルな言語を捨てないままで世界の人と理解し合えるとしたら、とてもいいなと思います。

 SF映画なんかを見ると未来の人たちはどの人種の人たちも言葉が通じあっていますよね。子供の頃は「未来になったら世界統一政府ができて、誰もが統一言語を話すすばらしい時代になっているんだ」と思ってたんだけど、今思うと「あれ? その時には日本語はどうなっているんだろう」と。今はグローバルな時代と呼ばれて、あらゆる文化が画一化される方向の力が働いているけど、だからこそ、京都弁でも津軽弁でもデンマーク語でも、ローカルな文化を残したままで世界の誰とでも交流できるデバイスを作ったり、そういう価値観で研究が進んでいくことは、とても希望があることだと思います。

 先に話した「ART」を日本人作家としてどう対峙するかという問題も、広くとらえれば「翻訳」の問題とも言えると思います。これはたしか翻訳家の柴田元幸さんが言っていたんだけど、イギリス人が「日本人はいいよね、シェイクスピアが翻訳できて」と。つまり英語で書かれたシェイクスピアは一つだけど、日本人は無限にバリエーションを持てるという。

国立言語研究所は1966年から77年にかけて、日本全国の言語の細かい差分を調査。それを計300もの地図にして公開している(上図はその土地の方言が「こわい」を「恐ろしい」の意味で使うかどうか、という図)。「日本語」というものですら、決してひとつではないということがよくわかる。 https://www.ninjal.ac.jp/publication/catalogue/laj_map/

小坂:いまは性能やデザインなど翻訳機としてのあり方が最優先になっているので、ソフト面というか、例えばローカリティによって同じ字面でも意味がまったく全く違うといった要素をどこまで再現できるかというのは大きな課題になりますね。

中村:京都弁で「ぶぶ漬けどうぞ」(*2)って言ったらどう訳すのが適切なんだろう(笑)。

小坂:(笑)。そこまでのことじゃなくても、表示された翻訳と本心の間に文字では表現できない細かなズレやニュアンスの違いがあったりは絶対にするはずなので、「そもそも何を翻訳すべきなのか。言葉なのか、感情なのか」という、翻訳ツールの本質の部分まで考えながら研究開発を進めていく必要があると思います。

*2 京都において、訪問先などでぶぶ漬け(お茶漬け)を勧められるのは「早く帰ったらどうですか」という隠語だとされることで、上方落語などのネタにもなっている。直接的な物言いを避ける京都人の「いけず」エピソードとしてしばしば挙げられるが、現在はそんなこと言う人はほとんどいない、はず。

 

未来の翻訳に「言語」はいらない?

中村:さっき話してた「フォントで感情を表現」みたいなものもそうだけど、現代だと、もしかしたら文字によらない感情表現も成立するのかもしれませんね。昔、文学の世界で「言文一致運動」というのがあったんだけど、ご存知ですか?

篠原:いえ。

中村:もともと日本語は話し言葉と書き言葉が違ったんです。明治時代になって日本が近代化する時に、文学も「書き言葉も口語に合わせよう」と提唱して始まったのが、言文一致運動。これによって、現代の僕たちが読んでいるような文章のプロトタイプが生まれた。

 僕の作品にその「言文一致」をもじって、「心文一致」というタイトルのシリーズがあります。何かというと、これ、メールで使う顔文字ですね。英語ではEmoticonといいます。エモーションと、アイコン。

《心文一致》
2014年 130.3 x 97cm
パネルに和紙、岩絵具、顔料、アクリル、樹脂膠

篠原:すごい! おもしろいですね。

中村:吹き出しもそうだけど、感情を表す顔文字というのも日本でとくに発達した表現ですよね。携帯電話の絵文字も「emoji」で英語で通じるくらい世界に広まってます。

篠原:見てすぐにわかる、言葉を使わないですむコミュニケーションだから世界に広まったということですね。

中村:例えば、日本語だと何か頼む時に、「〜してください」と書くだけのメールだと、場合によってはちょっと冷たい感じがしますよね。ビジネス上なんかだととくに。なので「〜してくださると幸いです」とか、結構回りくどい表現になる(笑)。でも「〜してください(^ ^)」ってなるだけで、ずいぶん印象が変わる。言語コミュニケーションの未来って、もしかしたらそんなふうに、言語以外の要素も加えるとさらに面白くなるのかなと。だから、「Fukidashi」もそういったビジュアライズのあらゆる可能性を考えていけば、超精巧な翻訳ソフトを作るだけではなく、お二人が専門にしてるようなデザインの領域で解決できるってこともあるかもしれない。

篠原:そうですね。それとフォントや色を組み合わせることで、語彙はパーフェクトじゃなくても感情のバリエーションはむしろ増えるかも。

中村:まずはそういうものがこの100BANCHの、例えば1Fのカフェに設置されれば、渋谷に来た外国の人たちにとてもユニークな観光案内ができそう。おそらくその様子のビジュアルもとても魅力的なものになると思う。

小坂:そういう場所で生まれる偶然のコミュニケーションについて考えることが、デザインやインターフェイスを考える上でもこの「Fukidashi」を進化させてくれる部分は大きいと思います。例えば、2人じゃなくてそれぞれ言語が違う3人の間に置くとどうなるか……みたいなことは考えますね。Aさん、Bさん、Cさんそれぞれの間に1台ずつ必要なのか、3人で一斉にしゃべっても1台で処理できるようなものがいいのか。

中村:100BANCHにいろんな言語を話す人たちが集まって……想像するとまだまだ考えることは多そうですね。

小坂:「Fukidashi」は東京オリンピックの2020年までに実用化の目処をつけたいと思っているんですが、その頃には今よりさらに多くの人が日本に来ることになるはずなので、そういった状況にも対応できるようにしたいです。

篠原:残る課題としては、翻訳のスピードの問題もあって。今はまだなかなか人がしゃべるスピードに追いつけないので、そのあたりの処理能力も上げていかないといけないなと思っています。これからこの100BANCHに入居してる人たちにも試していただいてフィードバックをもらいつつ、翻訳機能はもちろん、日常のどんなシーンに応用できるかといったことも考えていきたいです。

 ジャストアイディアですが、例えば介護とか、福祉の現場聴覚障碍の方とコミュニケーションするのに使えるんじゃないか……とか、可能性レベルの話はあります。機械に話しかけるみたいな翻訳機ってまだまだ一般的には抵抗のある人もいるかもしれないんですが、そういう人や場所でも「吹き出しの形だ!おもしろい」といって使ってもらえる、少しコミュニケーションを柔らかくする媒介になればいいですね。

中村:まだまだ、拡張可能性がありそうですね。2020年には世界中の人たちに集まってもらって「Fukidashi」を介して会話するイベントでもやりますか!

小坂:開催できるように頑張ります(笑)!

 

photo/熊谷直子

 

  1. TOP
  2. MAGAZINE
  3. Fukidashi☓中村ケンゴ(美術家):「言語を超える翻訳」は果たして可能か? 吹き出しから考える、やわらかいコミュニケーションの未来

100BANCH
で挑戦したい人へ

次の100年をつくる、百のプロジェクトを募集します。

これからの100年をつくるU35の若きリーダーのプロジェクトとその社会実験を推進するアクセラレーションプログラムが、GARAGE Programです。月に一度の審査会で採択されたチームは、プロジェクトスペースやイベントスペースを無償で利用可能。各分野のトップランナーたちと共に新たな価値の創造に挑戦してみませんか?

GARAGE Program
GARAGE Program エントリー受付中

5月入居の募集期間

2/27 Tue - 3/25 Mon

100BANCHを応援したい人へ

100BANCHでは同時多発的に様々なプロジェクトがうごめき、未来を模索し、実験を行っています。そんな野心的な若者たちとつながり、応援することで、100年先の未来を一緒につくっていきましょう。

応援方法・関わり方