ビッグデータ










IBMによるWikipediaの可視化イメージ 大きさはテラバイトでビッグデータの典型的な例である。


ビッグデータ [1][2]（英: big data）とは、一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。


ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管[3]、検索、共有、転送、解析[4]、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある[5][6][7]。


用語自体はデータマイニングで一般的に使われてきたが、2010年代に入ってある種のトレンドを示すキーワードとして、新聞・雑誌などでも広く取り上げられるようになってきた[8]。




目次






  • 1 概要


    • 1.1 データ量の上限


    • 1.2 課題




  • 2 定義


  • 3 例


    • 3.1 巨大科学


    • 3.2 科学研究


    • 3.3 政府


    • 3.4 民間部門


    • 3.5 途上国の開発




  • 4 市場性


  • 5 解析・処理技術


    • 5.1 ソフトウエア


    • 5.2 ハードウェア




  • 6 研究活動


  • 7 批判


    • 7.1 ビッグデータパラダイムへの批判


    • 7.2 科学的観点からの批判




  • 8 出典


  • 9 参考文献


  • 10 関連項目





概要



データ量の上限


コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在[update]、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる[9]。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。


科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学[10]、コネクトミクス、複雑な物理シミュレーション[11]、生物調査および環境調査等がある[12]。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。


このように近年データが増加しているは、情報収集モバイル装置、空間センサー技術(リモートセンシング)、ソフトウェアログ、カメラ、マイクロフォン、無線ID読取機、ワイヤレス・センサー・ネットワークの普及も1つの原因である[13][14]。全世界の1人当たりの情報容量は1980年代以降40か月ごとに倍増し[15]、2012年現在[update]、1日あたり毎日250京（2.5×1018）バイトのデータが作成されたとされる[16]。



課題


ビッグデータは、大部分の関係データベース管理システムやデータ分析ソフトでは処理が困難である。そのため、「数十台、数百台、ときには数千台ものサーバ上で動く大規模並列化ソフトウェア」が必要になる[17]。


大企業にとっての課題には、組織全体にまたがるビッグデータの主導権を誰が握るかということもある[18]。何を「ビッグデータ」と考えるのかを明確にするのも企業毎の課題となる。これはデータを管理する組織の能力と分析アプリケーションの能力に依存するためである。数百ギガバイトのデータに直面して始めてデータ管理の選択肢について再検討を始めた組織もある。また数十、数百テラバイトのデータになって初めて真剣に検討が必要になった組織もある[19]。



定義


データの収集、取捨選択、管理及び処理に関して、一般的なソフトウェアの能力を超えたサイズのデータ集合と定義される[20]。2012年現在[update]、数十テラバイトから数ペタバイトの範囲である。NoSQLのような新たなビッグデータ技術の普及により、その数値上の定義は変わっていくと考えられる[21]。


2001年の研究報告書[22]で、METAグループ（現ガートナー ）のアナリスト、ダグ・レイニーはビッグデータの特性としてボリューム（volume、データ量）、速度（velocity、入出力データの速度）、バラエティ（variety、データ種とデータ源の範囲）があると定義した。ガートナーはこの「3V」モデルを使用していたが[23]、2012年、次のように定義を更新した：「ビッグデータは、高ボリューム、高速度、高バラエティのいずれか（あるいは全て）の情報資産であり、新しい形の処理を必要とし、意思決定の高度化、見識の発見、プロセスの最適化に寄与する」[24]。さらに新しいV、正確さ（veracity）の追加の提案もある[25]。



例


例としては、巨大科学、RFID、センサーネットワーク、ソーシャルネットワーク、ビッグソーシャルデータ分析[26] （ソーシャルデータ革命による）、インターネット文書、インターネット検索のインデックス作成、通話記録明細、天文学、大気科学、ゲノミクス、生物地球化学、生物学、他の複雑でしばしば学際的な科学研究、軍事偵察、新しい住宅購入者用の通勤時間予測、医療記録、写真アーカイブ、ビデオアーカイブ、大規模なeコマースがある[27]。



巨大科学


大型ハドロン衝突型加速器 (LHC) では約1億5000万のセンサーが毎秒40万のデータを発生させる。毎秒ほぼ6億回の衝突がある。99.999％のデータをフィルタリング・除去処理し、1秒あたり100の衝突が有用なデータとなる[28][29][30]。その後、センサデータの0.001％未満を処理する。すべての4つのLHC実験は1年に25ペタバイトを発生する。これは複製後約200ペタバイトになる。もし全てのセンサデータがLHCで記録されるなら、データの処理は著しく困難になるであろう。データは複製前で1年に1.5億ペタバイト、すなわち一日あたり約500 エクサバイトを超えてしまうであろう。この数字は一日あたり5垓（5×1020）バイトで、世界すべての情報源を合計した数値の約200倍である。



科学研究




  • スローン・デジタル・スカイサーベイ （SDSS）は2000年に天文データを収集し始めたが、最初の数週間で天文学の歴史の中で収集したすべてのデータよりも、多くのデータを蓄積した。SDSSは、1晩約200GBの割合で継続して、140テラバイト以上の情報を集めている。SDSSの後継である、大型シノプティック・サーベイ望遠鏡は、2016年に運用開始後、同じ量のデータを5日おきに取得すると期待されている[5]。


  • ヒトゲノム計画は当初その処理に10年かかったが、今では一週間も経たないうちに達成することができる。DNAシーケンサは、過去10年間でシーケンシングのコストを1万分の1に削減した。これはムーアの法則の100倍である[31]。

  • 計算機社会科学 — Tobias Preis et al. はGoogle Trendsデータを使用し、高いGDPを持つ国のインターネットユーザは、過去よりも将来の情報を検索することを示した。調査結果により、インターネット上の行動と現実世界の経済指標との間に関連性が存在することが示唆された[32][33][34]。著者らは、2010年に45の異なる国でインターネットユーザーによるGoogleのクエリのログを調べ、前年の検索のボリューム（2009年)と来年（2011年）の検索のボリュームを比較し、「将来期待指数」と呼んでいる[35]。著者らは、それぞれの国の1人当たりGDPと将来期待指数を比較し、将来についてより検索が多いGoogleユーザは高いGDPを持つ傾向があることを発見した。


  • NASA気候シミュレーションセンター（NCCS）[36]は32ペタバイトの気象観測、シミュレーションデータをDiscoverスーパーコンピューティングクラスタ上に格納している[37]。

  • Tobias Preisと共同研究者のHelen Susannah Moat、ユージン・スタンレーは、Google Trendsにより提供される検索ボリュームデータに基づく取引戦略を用いて、インターネット上の株価の動きを予測する方法を紹介した[38]。金融に関連した98の用語のGoogle検索ボリュームの分析は''Scientific Reports''（英語: Scientific Reports） に掲載され[39]、金融に関連した検索語は、金融市場の大きな損失より前に出ていることを示した[40][41][42][43][44][45][46][47]。



政府



  • 2012年、オバマ政権は政府が直面する重要問題への対処に利用できるかを探るため、ビッグ・データ・リサーチ・イニシアティブを発表した[48]。イニシアティブは、6つの部門にまたがって84の異なるプログラムから構成されていた[49]。

  • ビッグデータ分析は、 バラク・オバマの2012年の再選運動に大きな貢献を果たした[50]。

  • 米国連邦政府は、世界Top10のスーパーコンピュータのうち6台を所有している[51]。

  • ユタ・データ・センターは、現在、米国 国家安全保障局（NSA）によって建築中のデータセンターである。建設後は、インターネット上でPRISMによって収集されたヨタバイトの情報を扱うことができるようになる[52][53]。



民間部門




  • Googleは、Google マップにおいて、スマートフォンのGPSおよびジャイロセンサーにより測定された位置および移動速度[54]を、多数の端末から匿名情報として収集して分析し、マップ上に道路の混雑状況を表示する。さらに、Google マップナビにおいて、目的地までの経路の混雑状況に応じた通過速度を計算し、最適経路をユーザーにナビゲーションする[55]。


  • ウォルマートは1時間あたり百万以上のトランザクションを処理し、2.5ペタバイトのデータを保持する。これはアメリカ議会図書館に所蔵されているすべての書籍の167倍の情報量である[5]。


  • Facebookは、ユーザーの500億枚の写真を処理している[56]。

  • FICOファルコンクレジットカード詐欺検知システムは、世界全体で21億のアクティブなアカウントを保護している[57]。

  • ウィンダミア不動産は約1億の匿名のGPS信号を使用し、新しく家を買う人に1日の時間帯毎の通勤時間を提供している[58]。


  • ソフトバンクは、月間約10億件（2014年3月現在）の携帯電話のログ情報を処理して、電波の接続率の改善に役立てている[59]。


  • トヨタは、車載通信機（データ・コミュニケーション・モジュール：DCM）から車両データを送信し、トヨタスマートセンター内のトヨタビッグデータセンター（TBDC）に蓄積する。収集したデータを解析し、各種サービスへの展開に利用するとしている[60]。



途上国の開発


ここ数十年で情報通信技術開発 (ICT4D)の分野で研究が進み, ビッグ・データが途上国の開発にも有用であることが示唆された[61][62]。ビッグデータの出現は、医療、雇用、生産性、犯罪や公衆安全、自然災害や資源管理などの重要な開発分野の意思決定を改善する[63]。その一方でビッグデータのよく知られた問題、例えば、プライバシー、相互運用性、不完全アルゴリズムを全知全能にする問題は、技術インフラの不足、経済および人的資源の不足のような未解決課題を悪化させている。これは新たな情報格差、意思決定の格差に繋がる[63]。



市場性


ビッグデータの専門家の需要は増加しておりSoftware AG、オラクル、IBM、マイクロソフト、SAP、EMC、HPといった企業は、データ管理と分析だけを専門とするソフトウェア会社に150億ドル以上を費やしている。2010年には1000億ドル以上の業界価値があり、年間約10％で成長していた。これはソフトウェアビジネス全体の約2倍の速さである[5]。


全世界の携帯電話契約数は約46億であり、10から20億人がインターネットにアクセスしている[5]。通信ネットワークを介して交換される容量は、1986年に281ペタバイト、1993年に471ペタバイト、2000年には2.2エクサバイト、2007年には65エクサバイトであった[15]。インターネット上のトラフィック量は2013年までに667エクサバイトに達すると予測されている[5]。



解析・処理技術




DARPAのトポロジーデータ解析プログラム（クラインの壷）大規模なデータ集合の基本的な構造を探っている。



ソフトウエア


2004年、GoogleはMapReduceと呼ばれるビッグデータ処理技術の論文を発表した[64]。これはデータ処理を分割し、複数のコンピュータで並列に実行するものである。この分割と並列処理のステップをマップと呼ぶ。各コンピュータの処理結果は最終的に一つに集められ、解析者に配信される。これをリディースと呼ぶ。この技術は成功を収めた[要説明]ので、そのアルゴリズムを再現しようとした者もいた。実際にMapReduceはHadoopという名前で、Apacheのオープンソースプロジェクトに採択された。


2011年マッキンゼーレポートによると[65]、以下の技術が必要と示唆された。
A / Bテスト、
相関ルールの学習、
統計分類、
データ・クラスタリング、
クラウドソーシング、
データ融合と統合、
アンサンブル学習、
遺伝的アルゴリズム、
機械学習、
自然言語処理、
ニューラルネットワーク、
パターン認識 、
異常検出、
予測モデリング、
回帰分析、
感情分析、
信号処理、
教師あり学習と教師なし学習、
シミュレーション、
時系列解析、
可視化である。多次元ビッグデータはテンソルとして表現でき、これは多線部分空間学習のようなテンソル・ベース計算にて効率的に処理できる[66][67]。


さらに関連技術には、超並列処理（MPP）データベース、 検索ベースのアプリケーション、データマイニンググリッド、分散ファイルシステム、分散データベース、クラウドコンピューティングとインターネットがある[要出典]。一部のMPPリレーショナルデータベースは、ペタバイトを格納および管理する能力を持っている。加えて、暗黙的にRDBMSをロード、監視、バックアップする能力も必要となる[68][69]。



ハードウェア


ビッグデータ分析の専門家は、一般的に遅い共有ストレージを敵視し[70]、ソリッドステートドライブ（SSD）やダイレクトアタッチトストレージ（DAS）を好む。ストレージエリアネットワーク (SAN)やネットワークアタッチトストレージ (NAS)は遅く、複雑で、高価であると認識される。容易に入手可能で低コストなハードウエアをベースに成長するビッグデータ分析システムにこれらは適さない。



研究活動


2012年3月に、ホワイトハウスは6連邦政府省庁および政府機関で構成される「ビッグデータイニシアティブ」を発表した[71]。2億ドル以上の予算が付与された。


これにはカリフォルニア大学バークレー校[72][73] AMPLabへの、全米科学財団「計算機科学の探検」研究費、5年間 $1千万ドルが含まれる。AMPLabは加えてDARPAと10以上の産業界からの資金提供を受け、交通の混雑の予測[74]、がん対策のような広範囲の課題に挑戦する[75]。


このイニシアティブにはまた、エネルギー省のローレンス・バークレー国立研究所が率いるスケーラブル・データ管理・分析・可視化(SDAV)研究所[76]への5年間 $25百万ドルの資金提供も含まれる。SDAV研究所は、科学者が省のスーパーコンピュータ上のデータを管理、可視化するための新しいツールの開発を目指す。このために6国立研究所と7大学の専門知識を結集することを目指している。


米国マサチューセッツ州は、2012年5月にマサチューセッツ州ビッグデータイニシアティブを発表し、州政府や民間企業が資金を提供している[77]。マサチューセッツ工科大学 はThe Intel Science and Technology Center for Big Data をMITコンピュータ科学・人工知能研究所で主催した[78]。


欧州委員会はビッグデータ・プライベート・フォーラム[79]に資金提供する。これには企業、教育機関、その他のビッグデータ関係者が参加している。プロジェクトの目標は、研究と技術革新の面で戦略を定義することである。このプロジェクトの成果は、次のフレームワークプログラムであるHorizon 2020[80]で利用される[81]。


IBMは毎年開催される学生の国際プログラミングコンテスト、"Battle of the Brains"のスポンサーとなった[82]。2014ビッグデータ世界選手権は、テキサス州ダラスで初開催される予定である[83]。



批判



ビッグデータパラダイムへの批判


ハーバードビジネスレビューの記事によると、ビッグデータはどんなにわかりやすく分析されたとしても、大きな決断（ビッグディシジョン）によって補完されなければならないとされた[84]。同時に、ビッグデータの解析結果は「過去に知られたものか、良くても現在のもの」にしかならないと指摘された[63]。過去の経験が多数入力されれば、過去と同じ事象を予想する可能性がある。



科学的観点からの批判


ダナ・ボイドは標本調査に基づき代表的な母集団を選ぶという科学の基本的原則を無視し、異種のデータ源から成る大量のデータの処理にこだわることに懸念を示した[85]。このやり方は、偏った結果につながる可能性があるにも関わらず、多くの科学者はこのような統合は最も有望な科学の最先端と主張している[86]。



出典





  1. ^ White, Tom (10 May 2012). Hadoop: The Definitive Guide. O'Reilly Media. p. 3. ISBN 978-1-4493-3877-0. http://books.google.com/books?id=Wu_xeGdU4G8C&pg=PA3. 


  2. ^ “MIKE2.0, Big Data Definition”. 2013年9月19日閲覧。


  3. ^ Kusnetzky, Dan. “What is "Big Data?"”. ZDNet. 2013年9月19日閲覧。


  4. ^ Vance, Ashley (2010年4月22日). “Start-Up Goes After Big Data With Hadoop Helper”. New York Times Blog. 2013年9月19日閲覧。

  5. ^ abcdef
    “Data, data everywhere”. The Economist. (2010年2月25日). http://www.economist.com/node/15557443 2012年12月9日閲覧。 


  6. ^ “E-Discovery Special Report: The Rising Tide of Nonlinear Review”. Hudson Global（英語版）. 2012年7月3日時点のオリジナルよりアーカイブ。2012年7月1日閲覧。 by Cat Casey and Alejandra Perez


  7. ^ “What Technology-Assisted Electronic Discovery Teaches Us About The Role Of Humans In Technology — Re-Humanizing Technology-Assisted Review”. Forbes. 2012年7月1日閲覧。


  8. ^ Googleトレンドで「ビッグデータ」あるいは「big data」をキワードに検索すると、2011年あたりを境に急速関心をもたれていることが観測できる。


  9. ^ Francis, Matthew (2012年4月2日). “Future telescope array drives development of exabyte processing”. 2012年10月24日閲覧。


  10. ^ “Community cleverness required”. Nature 455 (7209): 1. (2008年9月4日). doi:10.1038/455001a. http://www.nature.com/nature/journal/v455/n7209/full/455001a.html. 


  11. ^ “Sandia sees data management challenges spiral”. HPC Projects (2009年8月4日). 2011年5月11日時点のオリジナルよりアーカイブ。2011年4月26日閲覧。


  12. ^ Reichman, O.J.; Jones, M.B.; Schildhauer, M.P. (2011年). “Challenges and Opportunities of Open Data in Ecology”. Science 331 (6018): 703–5. doi:10.1126/science.1197962. 


  13. ^ Hellerstein, Joe (2008年11月9日). “Parallel Programming in the Age of Big Data”. Gigaom Blog. 2012年10月7日時点のオリジナルよりアーカイブ。2010年4月21日閲覧。


  14. ^ Segaran, Toby; Hammerbacher, Jeff (2009). Beautiful Data: The Stories Behind Elegant Data Solutions. O'Reilly Media. p. 257. ISBN 978-0-596-15711-1. http://books.google.com/books?id=zxNglqU1FKgC. 

  15. ^ abHilbert & López 2011


  16. ^ “IBM What is big data? — Bringing big data to the enterprise”. 01.ibm.com. 2013年3月5日閲覧。


  17. ^ Jacobs, A. (2009年7月6日). “The Pathologies of Big Data”. ACMQueue. 2010年4月21日閲覧。


  18. ^ Oracle and FSN, "Mastering Big Data: CFO Strategies to Transform Insight into Opportunity", December 2012


  19. ^ Magoulas, Roger; Lorica, Ben (2009年2月). “Introduction to Big Data”. Release 2.0 (Sebastopol CA: O’Reilly Media) (11). http://radar.oreilly.com/r2/release2-0-11.html. 


  20. ^ “‘Big Data’: Big gaps of knowledge in the field of Internet.”. 2018年1月3日閲覧。


  21. ^ Hogan, M. (2013年1月3日). “Large Databases”. 2013年5月6日閲覧。


  22. ^ Douglas, Laney. “3D Data Management: Controlling Data Volume, Velocity and Variety”. Gartner. 2001年2月6日閲覧。


  23. ^ Beyer, Mark. “Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data”. Gartner. 2011年7月10日時点のオリジナルよりアーカイブ。2011年7月13日閲覧。


  24. ^ Douglas, Laney. “The Importance of 'Big Data': A Definition”. Gartner. 2012年6月21日閲覧。


  25. ^ “What is Big Data?”. ヴィラノーヴァ大学（英語版）. 2013年6月24日閲覧。


  26. ^
    Erik Cambria; Dheeraj Rajagopal, Daniel Olsher, and Dipankar Das (2013). “13”. Big social data analysis. Taylor & Francis. http://tmrfindia.org/bigdata.html. 


  27. ^ Hogan, M. (2013年3月3日). “What is Big Data”. 2013年6月20日閲覧。


  28. ^ “LHC Brochure, English version. A presentation of the largest and the most powerful particle accelerator in the world, the Large Hadron Collider (LHC), which started up in 2008. Its role, characteristics, technologies, etc. are explained for the general public.”. CERN-Brochure-2010-006-Eng. LHC Brochure, English version.. CERN. 2013年1月20日閲覧。


  29. ^ “LHC Guide, English version. A collection of facts and figures about the Large Hadron Collider (LHC) in the form of questions and answers.”. CERN-Brochure-2008-001-Eng. LHC Guide, English version.. CERN. 2013年1月20日閲覧。


  30. ^ Brumfiel, Geoff (2011年1月19日). “High-energy physics: Down the petabyte highway”. Nature 469: pp. 282–83. doi:10.1038/469282a. http://www.nature.com/news/2011/110119/full/469282a.html 


  31. ^ Delort P., OECD ICCP Technology Foresight Forum, 2012. http://www.oecd.org/sti/ieconomy/Session_3_Delort.pdf#page=6


  32. ^ Preis, Tobias; Moat,, Helen Susannah; Stanley, H. Eugene; Bishop, Steven R. (2012年). “Quantifying the Advantage of Looking Forward”. Scientific Reports 2: 350. doi:10.1038/srep00350. PMC 3320057. PMID 22482034. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3320057/. 


  33. ^ Marks, Paul (2012年4月5日). “Online searches for future linked to economic success”. New Scientist. 2012年4月9日閲覧。


  34. ^ Johnston, Casey (2012年4月6日). “Google Trends reveals clues about the mentality of richer nations”. Ars Technica. 2012年4月9日閲覧。


  35. ^ Tobias Preis (2012年5月24日). “Supplementary Information: The Future Orientation Index is available for download”. 2012年5月24日閲覧。


  36. ^ NASA気候シミュレーションセンター


  37. ^ Webster, Phil. “Supercomputing the Climate: NASA's Big Data Mission”. CSC World. Computer Sciences Corporation. 2013年1月18日閲覧。


  38. ^ フィリップ・ボール（英語: Philip Ball） (2013年4月26日). “Counting Google searches predicts market movements”. Nature. 2013年8月9日閲覧。


  39. ^ Tobias Preis, Helen Susannah Moat and H. Eugene Stanley (2013年). “Quantifying Trading Behavior in Financial Markets Using Google Trends”. Scientific Reports 3: 1684. doi:10.1038/srep01684. 


  40. ^ Nick Bilton (2013年4月26日). “Google Search Terms Can Predict Stock Market, Study Finds”. New York Times. 2013年8月9日閲覧。


  41. ^ Christopher Matthews (2013年4月26日). “Trouble With Your Investment Portfolio? Google It!”. TIME Magazine. 2013年8月9日閲覧。


  42. ^ Philip Ball (2013年4月26日). “Counting Google searches predicts market movements”. Nature. 2013年8月9日閲覧。


  43. ^ Bernhard Warner (2013年4月25日). “'Big Data' Researchers Turn to Google to Beat the Markets”. Bloomberg Businessweek. 2013年8月9日閲覧。


  44. ^ Hamish McRae (2013年4月28日). “Hamish McRae: Need a valuable handle on investor sentiment? Google it”. The Independent. 2013年8月9日閲覧。


  45. ^ Richard Waters (2013年4月25日). “Google search proves to be new word in stock market prediction”. Financial Times. 2013年8月9日閲覧。


  46. ^ David Leinweber (2013年4月26日). “Big Data Gets Bigger: Now Google Trends Can Predict The Market”. Forbes. 2013年8月9日閲覧。


  47. ^ Jason Palmer (2013年4月25日). “Google searches predict market moves”. BBC. 2013年8月9日閲覧。


  48. ^ Kalil, Tom. “Big Data is a Big Deal”. White House. 2012年9月26日閲覧。


  49. ^ Executive Office of the President (2012年3月). “Big Data Across the Federal Government”. White House. 2012年9月26日閲覧。


  50. ^ “How big data analysis helped President Obama defeat Romney in 2012 Elections”. Bosmol Social Media News (2013年2月8日). 2013年3月9日閲覧。


  51. ^ Hoover, J. Nicholas. “Government's 10 Most Powerful Supercomputers”. Information Week. UBM. 2012年9月26日閲覧。


  52. ^ Bamford, James. “The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say)”. Wired Magazine. 2013年3月18日閲覧。


  53. ^ “Groundbreaking Ceremony Held for $1.2 Billion Utah Data Center”. National Security Agency Central Security Service. 2013年3月18日閲覧。


  54. ^ 端末の移動モード（自動車・バス等、自転車、歩行など）も自動的に判定される


  55. ^ “Googleマップで採用された「渋滞状況」機能とその仕組みについて”. 2018年1月4日閲覧。


  56. ^ “Scaling Facebook to 500 Million Users and Beyond”. Facebook.com. 2013年7月21日閲覧。


  57. ^ “FICO® Falcon® Fraud Manager”. Fico.com. 2013年7月21日閲覧。


  58. ^ Wingfield, Nick (2013年3月12日). “Predicting Commutes More Accurately for Would-Be Home Buyers - NYTimes.com”. Bits.blogs.nytimes.com. 2013年7月21日閲覧。


  59. ^ 柴山和久 『ビッグデータを利益に変える方法』 幻冬舎、2014年。ISBN 978-4344952393。


  60. ^ “トヨタ、「つながる」技術に関する取り組みを加速”. 2016年3月6日閲覧。


  61. ^ UN GLobal Pulse (2012). Big Data for Development: Opportunities and Challenges (White p. by Letouzé, E.). New York: United Nations. Retrieved from http://www.unglobalpulse.org/projects/BigDataforDevelopment


  62. ^ WEF (World Economic Forum), & Vital Wave Consulting. (2012). Big Data, Big Impact: New Possibilities for International Development. World Economic Forum. Retrieved August 24, 2012, from http://www.weforum.org/reports/big-data-big-impact-new-possibilities-international-development

  63. ^ abc"Big Data for Development: From Information- to Knowledge Societies", Martin Hilbert (2013), SSRN Scholarly Paper No. ID 2205145). Rochester, NY: Social Science Research Network; http://papers.ssrn.com/abstract=2205145


  64. ^ “MapReduce: Simplified Data Processing on Large Clusters”. 2018年1月3日閲覧。


  65. ^
    Manyika, James; Chui, Michael; Bughin, Jaques; Brown, Brad; Dobbs, Richard; Roxburgh, Charles; Byers, Angela Hung (May 2011). Big Data: The next frontier for innovation, competition, and productivity. McKinsey Global Institute. http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation. 


  66. ^ “Future Directions in Tensor-Based Computation and Modeling” (2009年5月). 2013年1月4日閲覧。


  67. ^ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011年). “A Survey of Multilinear Subspace Learning for Tensor Data”. Pattern Recognition 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004. http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf. 


  68. ^ Monash, Curt (2009年4月30日). “eBay’s two enormous data warehouses”. 2010年11月11日閲覧。


  69. ^ Monash, Curt (2010年10月6日). “eBay followup — Greenplum out, Teradata > 10 petabytes, Hadoop has some value, and more”. 2010年11月11日閲覧。


  70. ^ CNET News (2011年4月1日). “Storage area networks need not apply”. 2013年4月17日閲覧。


  71. ^ “Obama Administration Unveils "Big Data" Initiative:Announces $200 Million In New R&D Investments”. The White House. 2012年11月1日時点のオリジナルよりアーカイブ。2012年11月2日閲覧。


  72. ^ “NSF Leads Federal Efforts In Big Data”. National Science Foundation (NSF) (2012年3月29日). 2012年11月2日閲覧。


  73. ^ “AMPLab at the University of California, Berkeley”. Amplab.cs.berkeley.edu. 2013年3月5日閲覧。


  74. ^ Timothy Hunter; Teodor Moldovan; Matei Zaharia; Justin Ma; Michael Franklin; Pieter Abbeel; Alexandre Bayen (October 2011). “Scaling the Mobile Millennium System in the Cloud”. https://amplab.cs.berkeley.edu/publication/scaling-the-mobile-millennium-system-in-the-cloud-2/ 


  75. ^ David Patterson (2011年12月5日). “Computer Scientists May Have What It Takes to Help Cure Cancer”. The New York Times. http://www.nytimes.com/2011/12/06/science/david-patterson-enlist-computer-scientists-in-cancer-fight.html?_r=0 


  76. ^ “Secretary Chu Announces New Institute to Help Scientists Improve Massive Data Set Research on DOE Supercomputers”. "energy.gov". 2012年11月2日閲覧。


  77. ^ “Governor Patrick announces new initiative to strengthen Massachusetts’ position as a World leader in Big Data”. Commonwealth of Massachusetts. 2012年6月5日閲覧。


  78. ^ “Big Data @ CSAIL”. Bigdata.csail.mit.edu (2013年2月22日). 2013年3月5日閲覧。


  79. ^ ビッグデータ・プライベート・フォーラム


  80. ^ Horizon 2020


  81. ^ “Big Data Public Private Forum”. Cordis.europa.eu (2012年9月1日). 2013年3月5日閲覧。


  82. ^ “About | Battle of the Brains”. Battleofthebrains.podbean.com. 2013年7月21日閲覧。


  83. ^ “Big Data World Championships”. Texata. 2013年7月21日閲覧。


  84. ^ “Good Data Won't Guarantee Good Decisions. Harvard Business Review”. Shah, Shvetank; Horne, Andrew; Capellá, Jaime;. HBR.org. 2012年9月8日閲覧。


  85. ^ ダナ・ボイド（英語: Danah Boyd） (2010年4月29日). “Privacy and Publicity in the Context of Big Data”. WWW 2010 conference（英語版）. 2011年4月18日閲覧。


  86. ^ Jones, MB; Schildhauer, MP; Reichman, OJ; Bowers, S (2006年). “The New Bioinformatics: Integrating Ecological Data from the Gene to the Biosphere” (PDF). Annual Review of Ecology, Evolution, and Systematics 37 (1): 519–544. doi:10.1146/annurev.ecolsys.37.091305.110031. http://www.pnamp.org/sites/default/files/Jones2006_AREES.pdf. 




参考文献











  • Big Data for Good.

  • The Rise of Industrial Big Data


  • Hilbert, Martin; López, Priscila (2011年). “The World's Technological Capacity to Store, Communicate, and Compute Information”. Science 332 (6025): 60–65. doi:10.1126/science.1200970. PMID 21310967. http://martinhilbert.net/WorldInfoCapacity.html. 

  • Resources on how Topological Data Analysis is used to analyze big data

  • Programming with Big Data in R.

  • Real Time Data Access and Total Data Integration



関連項目




  • モノのインターネット、フィンテック


  • 巨大知、集合知、相関関係と因果関係


  • データマイニング、オープンデータ


  • シミュレーション、オペレーションズ・リサーチ


  • タプル、非構造化データ

  • MapReduce

  • データサイエンティスト

  • SIS（戦略情報システム）


  • インダストリー4.0（第4次産業革命）


  • 情報セキュリティ、名寄せ、GDPR


  • 監視社会、バウンドレス・インフォーマント


















  • 表

  • 話

  • 編

  • 歴


データベースモデル
モデル


  • フラット

  • 階層

  • ディメンショナル

  • ネットワーク

  • 関係

  • オブジェクト

  • オブジェクトリレーショナル
他のモデル

  • Associative

  • Concept-oriented

  • 多次元データベース

  • Semantic

  • スタースキーマ

  • XMLデータベース

    		•
    実装

  • フラットファイル

  • Deductive

  • Document-oriented

  • RDBMS

  • ODBMS

  • ORDBMS

  • XML-DBMS

  • Temporal

  • Triplestores

    		•























    • 表

    • 話

    • 編

    • 歴


    データベース管理システム


    • データモデル

    • 関係モデル

    • データベース設計

    • 正規化

    • 参照整合性

    • 関係代数

    • 関係論理

    • データベース管理システム

    • 関係データベース管理システム

    • オブジェクト関係データベース

    • 分散データベース

    • トランザクション処理


    概念

  • データベース

  • ACID

  • CRUD

  • NULL

  • 候補キー

  • 外部キー

  • 主キー

  • スーパーキー

  • 代理キー

    		•
    オブジェクト


  • 関係 (表)

  • ビュー

  • トランザクション

  • ログ

  • トリガ

  • 索引

  • ストアドプロシージャ

  • カーソル

  • 分割

    		•
    SQL

  • SELECT

  • INSERT

  • UPDATE

  • MERGE

  • DELETE

  • JOIN

  • CREATE

  • DROP

  • COMMIT

  • ROLLBACK

  • TRUNCATE

  • ALTER

  • WHERE

  • SAVEPOINT

    		•
    構成要素

  • 並行性制御

  • データ辞書

  • JDBC

  • ODBC

  • データベース言語

  • 問い合わせ言語

  • クエリ最適化

  • クエリ実行計画

    		•


    データベース製品


    関係データベース管理システムの比較

    データベース接続クライアント
































    • 表

    • 話

    • 編

    • 歴


    ソフトウェア工学
    分野


    • 要求分析

    • システム解析

    • ソフトウェア設計

    • コンピュータプログラミング

    • 形式手法

    • ソフトウェアテスト

    • ソフトウェアデプロイメント

    • ソフトウェア保守
    コンセプト

  • データモデリング

  • エンタープライズアーキテクチャ

  • プログラム仕様

  • モデリング言語

  • プログラミングパラダイム

  • ソフトウェア

  • ソフトウェアアーキテクチャ

  • ソフトウェア開発方法論

  • ソフトウェア開発工程

  • ソフトウェア品質

  • ソフトウェア品質保証（英語版）

  • ソフトウェア考古学（英語版）

  • 構造化分析（英語版）

    		•
    指向

  • アジャイル

  • アスペクト指向

  • オブジェクト指向

  • オントロジー

  • サービス指向

  • SDLC

    		•
    モデル















    開発モデル


    • アジャイル

    • 反復型

    • RUP

    • スクラム

    • スパイラルモデル

    • ウォーターフォール・モデル

    • XP

    • Vモデル

    • インクリメントモデル（英語版）

    • プロトタイピングモデル
    他のモデル

  • オートモーティブスパイス

  • CMMI

  • データモデル

  • 機能モデル

  • 情報モデル

  • メタモデル

  • オブジェクトモデル（英語版）

  • システムモデル（英語版）

  • ビュー・モデル

    		•
    モデリング言語

  • IDEF

  • UML

    		•


    主な人物

  • ケント・ベック

  • グラディ・ブーチ

  • フレデリック・ブルックス

  • バリー・ベーム（英語版）

  • ピーター・チェン

  • ウォード・カニンガム

  • オーレ＝ヨハン・ダール

  • トム・デマルコ

  • マーティン・ファウラー

  • アントニー・ホーア

  • ワッツ・ハンフリー（英語版）

  • マイケル・A・ジャクソン（英語版）

  • イヴァー・ヤコブソン

  • クレイグ・ラーマン（英語版）

  • ジェームス・マーティン（英語版）

  • バートランド・メイヤー

  • デイビッド・パーナス

  • ウィンストン・W・ロイス（英語版）

  • コレット・ロラン（英語版）

  • ジェームズ・ランボー

  • ニクラウス・ヴィルト

  • エドワード・ヨードン

  • ビクター・バシリ（英語版）

    		•
    関連項目

  • 計算機科学

  • 計算機工学

  • エンタープライズエンジニアリング

  • 歴史（英語版）

  • 経営管理論

  • プロジェクトマネジメント

  • 品質マネジメント（英語版）

  • ソフトウェア人間工学

  • システム工学

    		•


  • カテゴリカテゴリ


  • コモンズコモンズ




    • Popular posts from this blog

    'app-layout' is not a known element: how to share Component with different Modules

    Image
    0 My application was working fine until I decided to go with lazy loading: So, my shared component looks like this: import { Component, Renderer2 } from '@angular/core'; export interface FormModel { captcha?: string; } @Component({ selector: 'app-layout', templateUrl: './app-layout.component.html', styleUrls: ['./app-layout.css'] }) export class FullLayoutComponent { } app-layout.component.ts I am using this component in my Another component say school-home.component.html like this: <app-layout> </app-layout> and it was working fine until I created a Module school-home.module.ts like this: import { NgModule } from '@angular/core'; import { CommonModule } from '@angular/common'; import { SchoolhomeRoutingModule
    Read more

    android studio warns about leanback feature tag usage required on manifest while using Unity exported app?

    Image
    .everyoneloves__top-leaderboard:empty,.everyoneloves__mid-leaderboard:empty,.everyoneloves__bot-mid-leaderboard:empty{ height:90px;width:728px;box-sizing:border-box; } 0 This is a simple project showing cubes on Unity, exported to android project and imported on Android studio. On maifest file it showed following warning: Expecting <uses-feature android:name="android.software.leanback" android:required="false" /> tag I have no information about it. And also on default emptyview android project does not use/mention this feature. I know it is required by TV's and such but why its not added by default? Why is this? And Should I concern about it? android unity3d
    Read more

    SQL update select statement

    Image
    0 I'm trying to update an entry in my database (postgresql). I'm having a problem with updating the query: INSERT INTO prices (price, product_id) SELECT product_price, commn_id FROM products_temp as prod WHERE NOT EXISTS (SELECT * FROM prices od WHERE prod.commn_id = od.product_id) OR prod.product_price != ( SELECT price FROM prices as p WHERE p.product_id = prod.commn_id order by p.end desc LIMIT 1 ) Query works fine when i delete: OR prod.product_price != ( SELECT price FROM prices as p WHERE p.product_id = prod.commn_id order by p.end desc LIMIT 1 ) So it seems to me that it's looping through this operation. My question is, how can I fix it? sql postgresql
    Read more