【IT】ソニー、ディープラーニングの学習速度で“世界最高速” 学習時間を短縮へ

1田杉山脈 ★2018/11/13(火) 17:25:59.36ID:CAP_USER
ソニーは11月13日、ディープラーニングの学習速度で世界最高速(同社調べ)を達成したと発表した。ディープラーニングの認識精度向上のため、学習データのサイズやモデルのパラメータ数が増え、一度の学習に数週間~数カ月かかるケースも出ている中で、学習時間を短縮できる可能性を示したとしている。

 AI(人工知能)開発では、さまざまな試行錯誤をする必要があり、学習時間を短縮させることが重要になる。その手段として、複数のGPUを活用した分散学習が注目を集めていたが、GPU数が増えると「一度のデータ処理個数(バッチサイズ)が増えて学習が進まない」「GPU間のデータ送受信の処理遅延により学習速度が低下する」という課題があった。

 今回ソニーは、ディープラーニングのプログラムを生成する際のフレームワーク「コアライブラリ:Neural Network Libraries」と、産業技術総合研究所が構築・運用しているクラウド型計算システム「AI橋渡しクラウド」(ABCI)を活用した。

 学習の進行状況に応じて最適なバッチサイズや利用GPU数を調整する技術を用いることで、ABCIのような大規模なGPU環境でも学習が可能になったという。ABCIのシステム構成に適したデータ同期技術も開発し、GPU間の通信を高速化したとしている。

 これらの技術をNeural Network Librariesに実装し、ABCIの計算リソースを使って学習を行った。ソニーによれば、ディープラーニングの分散学習速度を計る際、一般的にベンチマークとして活用されている画像認識用データセット「ImageNet/ResNet-50」を用いたところ、約3.7分(最大2176基のGPU利用時)で学習が完了し、現状の世界最高速を達成したという(11月13日時点)。

 同社は「より短い試行錯誤時間でディープラーニングを用いた技術開発ができるようになることを示した」としている。研究成果はWeb上で公開している。
http://www.itmedia.co.jp/news/articles/1811/13/news108.html

3名刺は切らしておりまして2018/11/13(火) 17:40:53.62ID:t+v9VfEC
既存のGPUシステムの並列処理の規模を大きくしただけじゃない?
ハードウェアの規模を大きくしただけで、ディープラーニングの
新しいアルゴリズムを開発したわけではないんじゃない?ソニーの
発表っていつもどこか本質的でないよな。
4名刺は切らしておりまして2018/11/13(火) 17:45:51.48ID:MYBMxcQd
>>3
ただ大きくしても頭打ちがある
7名刺は切らしておりまして2018/11/13(火) 17:51:45.42ID:3D16tivk
>>3
GPUの並列数が増えたときの効率悪化を緩和する技術を開発という発表の対し、
GPU増やしただけじゃないの?という文盲レベルの指摘をする奴が本質を語る。
48名刺は切らしておりまして2018/11/13(火) 23:11:42.34ID:GH7DPvZc
>>3
読まずに推測でいいとこつくのは頭のいい人がやることで、
平均を大きく下回る人がやるとホラ、こんなに悲惨なことに。
5名刺は切らしておりまして2018/11/13(火) 17:47:24.60ID:OVSivR8w
基準不明の競争
8名刺は切らしておりまして2018/11/13(火) 17:55:53.47ID:BNUXUTcT
待機中のps4のGPUパワーを使う実験?
9名刺は切らしておりまして2018/11/13(火) 17:56:36.11ID:Q43J0qtq
すごいとは思うけどまあブランドイメージのための発表だな
11名刺は切らしておりまして2018/11/13(火) 18:06:31.75ID:AuA8znm5
なんでResNetが152じゃないんだろう
15名刺は切らしておりまして2018/11/13(火) 19:10:47.94ID:Zup2c5Jo
おまえらはソニーというだけで、脊髄反射で全否定だろ
16名刺は切らしておりまして2018/11/13(火) 19:15:32.61ID:l7o+ZZKH
自己申告ならなんとでも。コンテストを開催しないと。
19名刺は切らしておりまして2018/11/13(火) 19:25:05.73ID:8LZx+7Pl
>>16
産総研のページ見たらわかるけど、もともと産総研コンテストだよ
想定以上の成果が出たんで大々的に発表してる
17名刺は切らしておりまして2018/11/13(火) 19:18:00.39ID:KUC4Hw6a
日本では学習速度より喰わせるデーター不足の方が問題やな…
20名刺は切らしておりまして2018/11/13(火) 19:29:28.51ID:KeId/5QE
ああ、どうせ、オープンソースじゃないんでしょ
自慢話はどーでもよいですから
21名刺は切らしておりまして2018/11/13(火) 19:35:07.97ID:4+KzyDSH
Neural Network Librariesはオープンソースだから
実装されれば使えるんじゃねーの。
24名刺は切らしておりまして2018/11/13(火) 19:52:23.65ID:1QqUnXuR
>>21
オープンソースだから一般でも使えると思うけど、
GPUを2176基も揃えられんわw
22名刺は切らしておりまして2018/11/13(火) 19:46:49.09ID:ZM42N0L1
何が書いてあるのか
かなりの部分がわからん
駄目だ 俺はきっと生き残れないw
23名刺は切らしておりまして2018/11/13(火) 19:50:49.21ID:1QqUnXuR
>>22
もう、おっさんの時代は終わったよ (´・ω・`)
47名刺は切らしておりまして2018/11/13(火) 22:31:41.73ID:UGG1a1ev
>>22
心配するな
世の中の大多数のIT土方も同じようなものだ
仮に本当に理解してるやつがIT土方してるなら即転職しろ
今や引く手あまたの分野だ
28名刺は切らしておりまして2018/11/13(火) 20:28:25.82ID:/Pyc3jD3
学習速度が早くなればトライ&エラーもどんどん進んでディープラーニングの発展につながる。
素晴らしい成果だと思うよ。
日本企業には応用よりもこういう基礎的なところやハードウェアとかが向いてるかもね。
打倒 NVIDIA を目標に頑張ってみたら?
30名刺は切らしておりまして2018/11/13(火) 20:39:12.52ID:wUSXd7WY
ディープラーニングの仕組みの本が売ってるけど読む気しないわ
年かな
31名刺は切らしておりまして2018/11/13(火) 20:40:42.14ID:g1CLeedG
ソニーが?
冗談はよしこちゃん
33名刺は切らしておりまして2018/11/13(火) 21:04:05.82ID:JE4BTLBi
> 同社調べ
ただしソースはソニー
昔のまんまじゃん
35名刺は切らしておりまして2018/11/13(火) 21:23:44.19ID:WiYc+0L7
学習が目的化してるのか?
36名刺は切らしておりまして2018/11/13(火) 21:29:47.25ID:oR5BsnJW
日本企業ではソニーには期待できるな
38名刺は切らしておりまして2018/11/13(火) 21:37:03.66ID:wI21xvJF
どこかの
大学の研究室とかで共同研究だといって
やってんだろ?
39名刺は切らしておりまして2018/11/13(火) 21:38:53.11ID:otXI8k6x
楽天はデータ持ってるのでは?
二番手戦略だから、AIの価値が立証されるまで使わないのかな
NTTだってオンラインストアを持っているが

Amazonはすでに使ってるだろうし

41名刺は切らしておりまして2018/11/13(火) 21:52:56.18ID:muBdr3FW
意味はないとは言わないけどで?って感じだよなw
早くして何ができるかが問題だよ。バカらしい。
就活しててパソコンの入力早いんですって言ってもでって?言われるのと同じ
42名刺は切らしておりまして2018
/11/13(火) 22:03:09.65
ID:TremkdXT
もうすぐスカイネットの完成か
後20年もしたらロボットに支配されそうだな…
46名刺は切らしておりまして2018/11/13(火) 22:28:04.28ID:HWcrc251
累計8万人リストラしてスリム化したソニーは、
ベンチャー企業みたいに色んなことに手を伸ばすな
51名刺は切らしておりまして2018/11/13(火) 23:57:24.46ID:+QT9gVXo
ただのデータ自動入力を大げさな呼び方してるだけ

引用元:http://egg.5ch.net/test/read.cgi/bizplus/1542097559/