イベント好きエンジニア鈴木さんのブログ

イベント駆動ものづくりPodcastのAKIあきラジオをやってる人のブログです。

「Flow Machines」Sonyが開発した自動作曲技術の出来はいかに？【SXSW 2019】

8日から12日まで個人的に生まれて初めて行ったSXSW2019でのレポートです。 今回はSony Wow Studioです。 https://www.sony.co.jp/brand/event/sxsw/ f:id:suzu_hack:20190322180412j:plain

Sony Wow Studioここ数年出展しているそうで、今年も出展していました。 全体的な印象としては、ロボットとAIの展示+エンターテイメントという感じでした。 入ってすぐにあるのはAIBOとDas Fremdeというロボット。 特にDas Fremdeはメカメカしい外見にも関わらず前にいる人に追従するので意外と可愛らしいなと感じました。 f:id:suzu_hack:20190322180318j:plain さらに奥に入るとプロジェクションマップを活用したFlash DartsやFragment Shadowなどの体験型の展示がありました。 どれも面白い体験でしたが、今回は特にFlow Machinesに焦点を当てて紹介しようと思います。

Flow Machines

f:id:suzu_hack:20190322180344j:plain Flow Machinesは次のように紹介されています。 "「Flow Machines」はアーティストのクリエイティビティを拡張することを目指す研究開発及び社会実装プロジェクトです。"(https://www.flow-machines.com/)

Flow Machines 要するに技術が音楽制作を支援する方法を模索するプロジェクトのようですが、SXSWはそのうち中核に当たるメロディの自動作曲ツールFlow Machines Professionalのデモを行なっていました。

Flow Machines デモの内容

デモの大まかな流れは、 - Flow Machines Professional の説明をしつつメロディを生成 - 作曲したメロディを演奏してみる という感じでした。

Flow Machines Professional は、プラグイン形式になっていてCubaseなどの音楽制作ソフトに使うことができる、という説明をしていました。おそらく、パソコンで音楽している人にはおなじみのVSTプラグイン形式になっているのでしょう。 デモではCubaseを使用していました。

使い方は、コード進行を選んでComposeボタンを押すだけ！　という超シンプル操作です。 デモではⅣ→Ⅲ→Ⅵ→Ⅵというコード進行を選択して生成していました。 コード進行というのはいわゆる和音を並べる順番のことです。 ドから始める長調(Cメジャー)だったら、Ⅳ→Ⅲ→Ⅵ→Ⅵは、

ファラド→ミソシ→ソレファ→ソレファ

という和音の順番になります。

結果がこちら。

4つメロディとそれらに沿ったコードとベース(低音部)がMIDIノートとして生成されていますね。 このメロディをさらに小節ごとに好きなものを選んで最終的なメロディにしていました。

ちなみにMIDIノートというのはドレミをどれだけの長さ鳴らすか？　という音程情報などを記録したものです。 「MIDI」というとファミコンのようなピコピコ音をイメージする方もいるかもしれませんが、あれは音源の問題なので、ピアノとかアニソンとかでたまにあるギラギラしたシンセサイザーの音もMIDIで鳴らすこともできます。 なので今回はシンセサイザーの音になってますが、これをピアノの生楽器に差し替えることも可能です。

出来上がったのは実用的なメロディ

話が逸れてしまいましたが、皆さんはこのメロディを聴いてどんな感想も持ったでしょうか？ 私はこれを聴いて泣きを誘うJ-POPっぽいメロディだな、と感じました。 言い換えればそのまま楽曲にりようすることもできそうな実用性が高いメロディではないかと思います。

メロディを作るなどの自動作曲はMusic Makerなどすでにあるものも多いです。そういった従来のソフトははメロディーとして破綻していないもの、やラテンっぽいものという印象を持たせることはできますが、「J-POPっぽい」そして「そのまま使えそう」と思えるようなメロディーを生成できているは結構すごいことです。

おそらく技術的にはJ-POPの楽曲を大量の楽曲をディープラーニングのRNNで学習させてその結果を出力させてるのではないでしょうか？　あくまで想像ですが。

自動作曲AIは作曲の仕事をなくすのか？

今回紹介した体験展示の名前(?)は"Enjoy Co-wiriting with AI"(AIとのコーライティングを楽しもう)でした。

コーライティングとは複数人がメロディ、アレンジ、編曲(トラックメーキング)それぞれ得意な箇所を担当し1つの楽曲を作る手法のことを指します。 あまり聞きなれない言葉かもしれませんが最近のJ-POPの楽曲のいくつかはコーライティングで制作されているとも聞きます。 現在一般に販売されている曲におけるコーライティングは、人同士にはなりますがFlow Machines Professionalを使えばかなり現実的な領域でAIと人のコーライティングが可能であると思いました。

ここで注意したいのは、「AI『が』作曲する」のではなく「AI『と』作曲する」ことです。 Flow Machinesではコードの選択や最終的なメロディの決定は人が行う仕組みになっています。 そもそもFlow Machineというプロジェクト自体が掲げる通り、AIは作曲者の可能性を広げるために使われるためAIが作曲という仕事を奪うのではありません。 この話にこれ以上深入りするとだいぶ話題が変わってしまうので、ここまでにします。

ただ、数年後にはトップチャートの楽曲がほとんどAIとのコーライティングになっている、という状態もありえるかもしれません。

個人的にはFlow Machine Professionalが発売されないかがすごく気になりますけどね！！

SXSW 2019(サウスバイサイスウエスト 2019)にきた その5

だいぶ間を空けてしまいました…… 5日目の記事ですが帰国後に書いています。

私は6日目に帰国なのですが、飛行機が朝の7時とかだったので5日目が最終日となります。 5日目はカンファレンスには一切出ずに展示とか街の中をフラフラしてました。

振り返ってみると突出してかけることはそんなにないのですが、個人的にはゆっくりできたので満足度は高いです。 時間に縛られないって大事。

SXSW 2019(サウスバイサイスウエスト 2019)にきた
SXSW 2019(サウスバイサイスウエスト 2019)にきた その2
SXSW 2019(サウスバイサイスウエスト 2019)にきた その3
SXSW 2019(サウスバイサイスウエスト 2019)にきた その4
SXSW 2019(サウスバイサイスウエスト 2019)にきた その5

展示

SONY WOW Studio

すでに2日目に来ていますが、その時やっていなかった展示もあったので見に来ました。 SUPERCEPTIONというものとFLOW MACHINEのデモをしました。 SUPERCEPTIONとは、「コンピュータ技j通により人間の感覚入出力に介入することで光学的に近くや認知を拡張、変容、制御可能にする研究の枠組み」と紹介されてました。 ぱっと見チームラボ的な展示です。複数人が部屋の中に入りプロジェクタごしに写るシルエットが切り刻まれたり別の映像のマスクになっりと多種多様に変化するインタラクションでした。 実際体験してみると自分のシルエットが曖昧になって作品の一部に取り込まれた感覚が面白かったです。 FLOW MACHINEはAIによる自動作曲技術で、メロディをいくつか生成するデモをしていました。 コードを入力し、ボタンを押すだけでメロディが生成されるようでした。 プラグイン形式(おそらくVST)になっていてDAWに組み込んで利用できるよ、的なことを話していました。 個人的な感覚では非常にJ-POPっぽいメロディが生成されている感じがしました。

Digital Cinema

Cinemaとは言いますが、実際はVR作品の展示です。 結構並ぶし英語苦手意識あるしで結局中をぐるっと回るだけにとどまりました。

BOSE

ARメガネ BOSE FRAMESのデモと販売をやっていました。 販売価格は$199+税。 BOSE FRAMESにはSDKも用意されててなんか面白そうなんでつい買ってしまいました。 どっかで触ってみたい(触ってみたい)。

Trade Show

THE TIME MACHINE

1964年の渋谷の写真を利用して当時の渋谷をVR上に再現するというコンテンツでした。 忠犬ハチ公が実際に触れたり風を感じたり工夫していましたが、すごく人力で頑張ってる感じがしました。 この展示自体はNHKがやっていると聞きました。

Caico

視覚を利用しない香りと音のVRという斬新なコンテンツでした。 草のような香りをはじめとした複数の香り、祭囃子のような音をベースにした楽曲が流れていました。 音としては斜め前や上にもオブジェクトがあるように感じられて非常に面白いものでした。 香りのデバイスは資生堂が作っているものらしく、霧吹きタイプで他の香りデバイスと比べて香りが残らない、と聞きました。

おわりに

他にも色々見ましたが今回もかいつまんだ感じで書くにとどめておきます。 ここまでで、ざっとSXSWで見てきた内容は全部になります。

ここまで写真もなくざっくりだったので今後はこれら見てきたものをピックアップしてもっと丁寧に紹介と考察をしていきたいと思います。 もし、きになるものがあったらTwitterアカウント@5uzuk1_3なりコメントなりいただけると幸いです。

SXSW 2019(サウスバイサイスウエスト 2019)にきた その4

4日目です。

ここ数日の個人的な感覚で、カンファレンスより街中歩き回った方が楽しい、ということがわかったので街中を回るようにしとうと思ったけど、実際そんな回れなかったという感じな日でした。

SXSW 2019(サウスバイサイスウエスト 2019)にきた
SXSW 2019(サウスバイサイスウエスト 2019)にきた その2
SXSW 2019(サウスバイサイスウエスト 2019)にきた その3
SXSW 2019(サウスバイサイスウエスト 2019)にきた その4
SXSW 2019(サウスバイサイスウエスト 2019)にきた その5

カンファレンス

Augmented Reality: Amplifying Human Intelligence

https://schedule.sxsw.com/2019/events/PP92974

かなり列ができていて入るのが終盤になってしまいました。 なので、内容についてはなんとも言えないのですが、「Augmented Human」という本を書かれた方の講演だったようです。 https://www.amazon.co.jp/dp/B074WG3B3J/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

An Honest Hologram? The Ethics of MR Design

https://schedule.sxsw.com/2019/events/PP88418

MicrosoftがHololensにどういった期待をかけているかについて話していました。 現在、仕事全体を見るとデスクワークよりも机を使わない仕事の方が多いそうです。 全体の80%は机を使わない仕事だそうです。 なので、そういった人に向けてHorolensを利用できるようにしたようです。 例えば工場の作業現場で作業の方法をMRで示したり、手が離せない状況でもWebが閲覧できるようになったりするという構想をしていました。 このカンファレンスのポイントは、HololensはかつてのWindowsのように普及させる時期を2028年にする、と話していることだと思います。 MicrosoftはMR本気でやる気っぽいですね。

Making the Holodeck: Interaction in Room-Scale VR

https://schedule.sxsw.com/2019/events/PP88592

オースティンのゲーム会社で作ったVRゲームのノウハウが紹介されていました。 移動させる方法(Zonbe Telepotation)とかものにアフォーダンスを持たせる、という感じで解決したノウハウが紹介されてました。 個人的には具体的な話が聞けて結構良かったと思っています。

Blockchain is Shaping the Future of Content

https://schedule.sxsw.com/2019/events/PP87364

Blockchainがコンテンツにどんな影響を与えるか？　という内容だと予想したのですが、こちらもかなり列ができていてほとんど話を聞けませんでした。 どんどんパッケージからデジタルに移行しているよね、という話はしていました。

展示

Twitter House

Twitterの主催する「家」なんですが、ここでは主にライブをやっていました。 あと、ハンバーガーとビールが食べ放題飲み放題でした。思わずツイートしてしまいますね。

Trade Show

NTT

去年出したハプティックデバイス(Comptics)のコンテンツを展示していました。 ちょうど空きができたので体験しました。 細かいプチプチっとした感覚がしました。 コンテンツ的にも、ビールの中に入るとか、虫が出てくるとかでなんというか、ざらっとした触覚表現をしている感じでした。

終わりに

以上です。Trade Showは今回もピックアップしたものだけです。今日も文字だけで恐縮ですが、雰囲気や新しい情報だけでも伝わっていれば幸いです。ちゃんとしたレポートや考察は帰国してからで。明日こそはもっと展示を見ていこうと思います。 写真はたまにTwitterアカウント@5uzuk1_3で気が向いた時につぶやいていくのでよかったらフォローをお願いします。

SXSW 2019(サウスバイサイスウエスト 2019)にきた その3

SXSW 参加3日目にみて来たものです。 ただ、記事の公開は5日目の朝になってしまいました。。。 この記事はとりあえず見て来たものと簡単な内容をまとめたものになります。 詳しいレポートは、帰国した後で書いていこうと思っています。 今日は少し展示を多めにしました。

SXSW 2019(サウスバイサイスウエスト 2019)にきた
SXSW 2019(サウスバイサイスウエスト 2019)にきた その2
SXSW 2019(サウスバイサイスウエスト 2019)にきた その3
SXSW 2019(サウスバイサイスウエスト 2019)にきた その4
SXSW 2019(サウスバイサイスウエスト 2019)にきた その5

※この記事は個人が聞いて来た内容をこうじゃないかな？　という感じでまとめているので間違いがあるかもしれません。そのつもりで読んでいただけると幸いです。 ※写真は追って追加してく予定です。

カンファレンス

How to Build a Brighter AI Future

機械学習としてのAIについてのカンファレンスでした。 機械学習の仕組みを簡単に説明し、その上でAIの危険について7つほど話してました。

Designing For The Next Years Of Web

https://schedule.sxsw.com/2019/events/PP93227

未来のWebはどうなるか？　という話でした。 将来的には、個人のデータをサービスごとではなく全体に共有してサービスにできるようなる、という感じの話をしていたと思います(自信なし)。

A Magic Leap for (Virtual) Humanity: AI and Autism

https://schedule.sxsw.com/2019/events/PP87404

Magic Leapを使ってバーチャル人間(Virtual Human)を動かしてみた、という感じの内容です。 バーチャル人間の説明とMagic Leapの説明がありました。 バーチャル人間の研究自体は昔からやっててそのソフトをMagic Leapで動かしたら体験が向上した、みたいな話をしてました。

みられなかったカンファレンス

AI and the Future of Storytelling

並ぼうと思ったら列がめちゃくちゃ伸びて下の階まで行ってたのでこれは無理だと思って諦めました。

展示

Casa Mexico

https://schedule.sxsw.com/2019/events/OE39601 メキシコ館みたいな感じで、主に美術品が置いてありました。メキシコの料理が食べられたり、ドリンクをフリーで配ってたりしてました。

Samsung Experience Tour

https://schedule.sxsw.com/2019/events/OE39208 Galaxy 10sの紹介、っていう感じでした。 Galaxy 10sでiPhoneの充電ができるのはすごかった。

EU@SXSW 2019

https://schedule.sxsw.com/2019/events/OE38791 基本的にはカンファレンスで後食べ物がちょっとある、という感じでした。 パンと水をもらって退散しました。

Casa Brasil

https://schedule.sxsw.com/2019/events/OE39586 LinkedIn Studioと同じ建物にりました。 中に入ってみましたが、カンファレンス形式だけらしく早々に退散しました。

The LinkedIn Studio

https://schedule.sxsw.com/2019/events/OE39001 休憩ができるスペースと Hololensを使っておそらくグラフを表示するインタラクションとポートフォリオ「

Trade Show

10日から始まったTrade Show。よくある展示会みたいな感じのものです。 日本からの出展も数多くありました。

シチズン

IoT時計の発表をしてました。ただ、焦点を当てたいのは時計ではなくIoTプラットフォーム側、とのことでした。 今後は開発者やパートナーを増やして使えるサービスを増やしていくとのことでした。

電通

複数のプロダクトやプロトタイプがありました。 - 食べる人に合わせて栄養バランスを変えてられる3Dプリントの寿司 - 自分の顔をハンコになる - 男性が授乳を体験できる

バンダイナムコ

去年のCEATECで展示されていたロボットに加え、ロボットがゼビウスをする「THE AI GAMER」というものが展示されてました。 THE AI GAMERの方は結構インパクトが強かったです。

おわりに

以上、今日おざっとを書きました。Trade Showは数が多いので一部の紹介となってしましました。詳細なまとめは後日改めて書ければと思っています(思ってるだけ)。 写真はたまにTwitterアカウント@5uzuk1_3で気が向いた時につぶやいていくのでよかったらフォローをお願いします。

SXSW 2019(サウスバイサイスウエスト 2019)にきた その2

はじめに

オースティンに来て2日が経過しました。 夜のうちに書こうと思ってましたが朝になってしましました…… 2日目は前日から打って変わりSXSWのカンファレンスや展示を見て来ました。 2日目は朝雨が降っていたので傘を持って行きましたが、幸いそれ以降は雨が降らなかったので傘は使わずに移動することができました。

ここでは見て来たものをざっと書いていこうと思います。

SXSW 2019(サウスバイサイスウエスト 2019)にきた
SXSW 2019(サウスバイサイスウエスト 2019)にきた その2
SXSW 2019(サウスバイサイスウエスト 2019)にきた その3
SXSW 2019(サウスバイサイスウエスト 2019)にきた その4
SXSW 2019(サウスバイサイスウエスト 2019)にきた その5

※この記事は個人が聞いて来た内容をこうじゃないかな？　という感じでまとめているので間違いがあるかもしれません。そのつもりで読んでいただけると幸いです。

見て来たもの

カンファレンス

Two Choices for Humanity’s Digital Future

https://schedule.sxsw.com/2019/events/PP90966 人がスマホなどのデジタルデバイスやサービスを利用するに将来考えていくこと、という感じの内容でした。 我々はPhyigitalな世代で、外部のデバイスに能力を依存するようになった。これによって様々なデータが貯まるようになって来た。 このデータを組み合わせて将来もっと便利なサービスが生まれると思う。だがそんな将来にむけてにプライバシーのことなどについて考えていく必要があるようね。

という感じの内容でした。

Art, Race + Open Web VR: The Colord Girls Museum

https://schedule.sxsw.com/2019/events/PP84368

The Colored Girls Museumという博物館をVR化した、という内容でした。 多分この動画のことだと思います。 The Colored Girls Museum VR at Microsoft Hack For Good on Vimeo

VRはWebで作っているそうです。 アーティストでも作りやすいからWebにしたんだ、的な話をしていました。 このVRによって博物館が見られる世界中に拡張するし、VRだからプロトタイピングなどで試せるのもいいと言っていました。

個人的にさらに思ったのがこの博物館がColored(有色人種)をテーマにしたものであることから、アメリカってやはり人種的なことに関することを意識してるんだなとおも思いました。

Untold AI: Is Sci-Fi Telling Us the Right Stories?

https://schedule.sxsw.com/2019/events/PP89414

映画や小説のSFでの「語られないAI」をテーマにしたディスカッション形式のカンファレンスでした。 ぶっちゃけ、英語が早すぎて聞き取れなかったんでした……。 ただ、ハッシュタグ#untoldAIを提示してたのでその辺で雰囲気はわかるかもしれません。

幸い別の方に話の内容を伺えたのでそのは内容を書きます。 今のSFでは、女性のAIが多かったり、AIと人が戦うという内容ばかりが語られ本質的なAIの話はされてないよね、ということが言われていました。 さらに、AIの考え方については日本だけ特殊だよね、AIと一緒に暮らす考え方だから日本とか東洋の思想から学べることあるんじゃないか、というニュアンスの話をしていたとのことです。一方で、それよりも別にAIとの対立についてちゃんと考える必要があると反論されていたようです。

展示

Facebook Art House Screen Printing Workshop

https://schedule.sxsw.com/2019/events/OE38758 Facebookが主催する建物で、アートが取りあえげられてました。 中では絵画の展示と自分で作った絵柄をバンダナに印刷できる、みたいなことをやっていました。

LG Inspiration Gallery

https://schedule.sxsw.com/2019/events/OE38606 LGの製品展示がありました。 開発中のコミュニケーションロボットCloiを中心にいくつかの製品紹介がされてました。 展示にあった曲がる液晶を使って筒の中にディスプレイを収めるプロトタイプ(?)がありましたがこれは結構印象的でした。

Sony WoW Studio

https://schedule.sxsw.com/2019/events/OE39130 ソニーの展示です。 入り口にはAiboが置いてありさらに、中に入るとインタラクティブな展示とカンファレンスを行う場所が用意されてました。 インタラクティブな展示はこんな感じ

あと写真をとったらその写真が会場内に表示されるというものもありました。

The New Japan Islands

https://schedule.sxsw.com/2019/events/OE38254 経産省がやってる日本の展示です。 展示の考案が落合陽一さんとのことですが、私が来たことは本人も会場にいました。

ゲームとか酒を振舞ったりしていましたが、ざっくりいうとかなり奇抜な展示だなーという印象でした。

見に行けなかったもの

Beyond Reality: The Convergence of AI and Immersive Tech

https://schedule.sxsw.com/2019/events/PP92873 並んだけど、入れないかもしれない、と言われて断念。 後日ビデオで公開する的なことを言ってた気がするのでそれに期待。

SXSW Pitch: Augmented and Virtual Reality Technology

https://schedule.sxsw.com/2019/events/PP101511 こちらもかなりの列ができていて断念しました。 ピッチもだいたい後日動画でアップされるらしいので、そちらに期待。

おわりに

以上、ざっと見て来たことを書きました。 リアルタイム性を優先して細かい感想や写真などはありませんが後日改めて書ければと思っています(思ってるだけ)。 写真はたまにTwitterアカウント@5uzuk1_3で気が向いた時につぶやいていくのでよかったらフォローをお願いします。