Iot時代に非構造化データやデータベースに関する知識が必要と思う理由

ここ数年で技術の進歩が著しいニュースをよく見かけるようになりました。例えばその中のひとつとして、誰もがよく見かけるようになったAI（人工知能）がまず挙げられるでしょう。

 

人工知能とは簡単にまとめると人間の知的能力をコンピュータ上で実現できるようにしたものと言われています。わかりやすい例としては、自然言語処理と言われるものであり、私達が普段使っているパソコンなどで使われている漢字の変換などの機能が含まれます。さらに応用したものとしては、画像データを解析して特定のパターンを検出・抽出したりする画像認識などがあります。

 

他にも技術の進歩に関するニュースはありますが、その中のひとつがIotと呼ばれるものです。このIotを加速させるであろうトピックを最近見つけたのですが、以前はこういった事象をバラバラに捉えていました。なんとなく漠然と「最近の技術の進歩はすごい」とか「将来の人間は人工知能やロボットが仕事をやってくれてすごい楽ができるんだろう」ぐらいにしか考えられていませんでした。

 

けれどもこういったニュースに対して、それらがどう関連しているのか、どのような背景があるのかといったことが最近なんとなく理解できるようになってきた気がします。そういったことから考えられるのは、今後はひとりひとりが「データ」に対する理解を深めて、そのデータを上手く処理できるようにする必要があるのではないか、といったことです。

 

今回は、そういった考えに至った理由や今後はこうなっていくんじゃないかなぁと考えていたことを書いていってみます。

人口知能の進化を促している背景のひとつ

まず最初にIotやデータってどう関係しているの？と思うかもしれません。このブログでは以下のような過去記事を書いています。

 

引用した過去記事では、人口知能の進化を促している背景のひとつに「データの増加」があるのではないか、といったことを書きました。特に定型化できない「非構造化データ」と言われたりするデータです。例えば数値や文字列ではなく、画像や音声、モノの動作などに関するデータです。

 

通常のコンピュータ、今までのやり方では処理するのが難しい非構造化データの増加が人工知能の進歩を促しているのではないかと考えられ、今後迎えるであろうIot（モノをインターネットで繋いでいく）によってさらにその非構造化データが増えていくであろうということです。

 

自分はこのことに対して、Iotやそれを加速させるであろう周辺の出来事から、今後は「データ」や「データベース」、さらに「データ解析」の理解の必要性が増してくるのではないかと考えています。最近そういった状況が加速していくであろう出来事が見られるようになってきたので、そういった出来事も絡めて今後の流れを見ていってみます。

組み込みOSトロンが世界標準になることによってIotが進めやすくなる

引用したツイートに「Iot」と「トロン」という何やら見慣れない言葉が出てきています。簡単に説明するとIoTとは「モノをインターネットにつなぐこと」と言われています。IoTは「Internet of Things」の略でモノのインターネットと訳されます。

 

トロン（TRON）とは「the real-time operating system nucleus」の頭字語で、主に組み込みOS、組み込みシステムのことを指します。組み込みシステム(Embedded system）とは、特定の機能を実現するために普段私達が使っている家電製品や産業用や医療用の機械などに組み込まれるシステムのことです。こういった機械に多く使われているOSがトロンと言われています。

 

このトロンというOSを説明する時は、私達が日頃使っているパソコンのOSである「Windows」などと比較して使われたりもします。トロンは本来であればパソコンのOSで使われていた可能性があったとも言われています。

 

現在はパソコンのOSとしてデファクトスタンダードとなっているWindowsですが、もしかしたらWindowsではなくトロンになっていた可能性も十分にあったと、それほどまでにトロンが開発された当時としては非常に高性能で画期的であったとされています。

 

なぜ現在のパソコンのOSにならなかったのか、ここら辺の説明については他のサイトで非常に詳しく書かれていますので、トロンが生まれてからの現在までの経緯はそちらを参照していただければと思います。

 

今回この記事で伝えたいのは、トロンが組み込みOSの分野で「世界標準」に認定されたこと、それによって組み込みOSの標準化が進んでIot社会が進み、そこから得られるデータの量も加速して増加していくのではないかということです。

 

例えば普段多くの人が使っているパソコンのアプリケーションソフトに「Excel」があります。先にも書きましたが、ほとんどのパソコンのOSがWindowsであり、そのOSであればExcelは問題なく動作します。

 

もし現在、多くのパソコンで使われているOSがWindowsではなく何十種類、何百種類とあったらどうでしょうか。たぶん「このパソコンでは動くけど、そうじゃないパソコンでは動かない、このOSでは動作するけど、そうじゃないOSでは動作しない」といったことが頻繁に起こっていたのではないでしょうか。

 

もし現在のように規格が統一されていなければ日常生活で度々混乱が起きたり、職場でいつまでも非効率なルールで仕事をしなければいけなかったでしょう。そういったことが家電製品や、産業用、医療用の機器で使う時に少なくなる、効率的に使えるようになっていくであろうと今後予想できます。

 

そうなってくると取得できるデータも統一的に規格化、標準化されたものになっていくと思われます。例えば普段私達が毎日通勤で使っている「駅」があります。駅にはエスカレーターやトイレがあったりしますが、センサーを通して人が使う時は動作させたり照明をつけたり、それをひとつの駅だけではなく、東京都、関東、全国という範囲で統一的に制御できれば消費電力も抑えられるでしょう。

 

広い規模で運用できれば運用できるほど消費電力を抑えらる、というメリットもありますし、統一的に得られるデータもより多くなっていくはずです。そういったデータが広い範囲で統一的に得られるようになってくるとまた違った世界が見えてきます。

 

例えば、東京都でこの範囲の駅のこの時間帯は乗降者数が一気に増加するから電車を１本増やそう、そうすれば混雑率が何％改善される、とか。もしくはこの範囲の駅のこの時間帯は乗降者数が一気に増加するから、通勤する人に何らかのインセンティブを与えて時間をずらしてもらおうとかそういった改善策やアイデアを出すことができます。

 

そういった変化が今後どんどん起こっていくのではないでしょうか。

Iot時代に重要な非構造化データを扱えるNoSQLという技術について思うこと

トロンという組み込みOSが世界標準となってIotが加速するかもしれない。政府もIotを後押ししている、それによって得られるデータも増えるかもしれない、といったことをここまで書きました。

 

仮に政府や企業にとって取得できるデータが増えたとしても、それを上手く整理できなければ解析できませんし、それによって有効な施策をうつこともできません。要は、大量のデータだけあっても「データベース」の知識がないと今後国としても企業としても競争力を維持してことは難しいのではないか、ということです。

 

データベースを簡単に説明すると、検索や蓄積が容易にできるよう整理された情報を集めたもの、もしくはその入れ物のことを指します。例えば企業の財務諸表のように、この企業の資産は何億円負債は何千万円、純資産は35％ある、といった目に見える「数値」はわかりやすいかと思います。

 

そのような単純な数値を蓄積したデータは人間にとってもコンピュータにとっても扱いやすいです。そうではなく、音声や画像、テキスト、人やモノの動作に関する「非構造化データ」になるとどうでしょうか。こうなってくると、単純に「1000以上の数値」とか「30%以下」といった形で分けたり並べ替えたりすることが難しくなってきます。

 

今後遅かれ早かれ迎えるであろうIot時代を見据えると、単純な数値データだけではなく、複雑な「非構造化データ」も上手く扱えるようになる必要があるのではないかと予想できます。それは政府や企業だけではなく、「個人」でもです。

 

今後の重要視した方がいい「非構造化データ」の扱いについて印象に残った記事があったので以下に引用しました。

やはりIoTに関するデータは「非定型」とあります。そしてそのデータを利用できる技術としてNoSQLというものがあるようです。しかし「関係データベース」とか「NoSQL」といった言葉は見慣れないですね。

 

最近マイクロソフトオフィスのAccessを勉強して気づくようになってきたのですが、このデータベースという分野には関係データベース（リレーショナルデータベースとも呼ばれる）や、データベースから意図した情報を得るための方法としてSQLやNoSQLというものがあることがわかってきました。

 

簡単にまとめるとSQLとはStructured English Query Languageの略で、データベース言語の一つです。データベースの定義や操作を行うことができます。NoSQLはNot only SQLの略で、SQLを用いず、また、関係モデルに基づかずに構築されたデータベースシステムの総称であり、非定型な構造を持つデータを柔軟に管理することができるとされています。

 

このNoSQLが生まれた背景と考えられるもののひとつとして以下のサイトがわかりやすく説明してくれています。

リレーショナルデータベースに対してNoSQLデータベースが有利な点

実のところ、NoSQLを使い始める理由の１つは、取り組まなければならないビッグデータプロジェクトがあるからです。ビッグデータプロジェクトは一般に以下のような特徴があります。

  1. 高速でのデータ受取り ― 大量のデータが高速に、場合によっては複数の場所から入ってくる。

  2. 多様なデータ ― 構造化データ、準構造化データ、及び非構造化データの格納。

  3. 大量のデータ ― テラバイト単位、ペタバイト単位のデータの取扱い。

  4. 複雑なデータ格納 ― 複数の異なる場所やデータセンターへのデータの格納。

なぜNoSQLというものが出てくるようになったのか、それは引用した文章にもあるように、ここまで書いてきたことにもあるように「大量」の「非構造化データ」を処理する必要性が近年出てくるようなってきたからです。

 

ここまでの情報から何を伝えたいのかというと、今後の個人が学んだ方がいい選択肢の一つしてデータベースとかSQLが挙げられるのではないかということです。

 

というのも、企業は組織でもあり、その組織を構成しているのはひとりひとりの人間です。企業が販売している製品やサービスからいくらデータを得られたとしても、それを上手く扱える人が不足していては生き残ることは難しいでしょう。

 

これは自分の経験でもそうだと感じることなのですが、例えば経理ではどの企業も、毎月の支払金額や固定資産などの大量のデータをエクセルで扱っていると思われます。特に企業の規模が大きければ大きいほど、エクセルで使われる行も何千行とか何万行といった単位になってくるのではないでしょうか。

 

そういった時にAccessなどのデータベースソフトを利用できないと管理が難しくなってくるのではないかなと思っています。というのも何らかのデータの更新や変更がある度にその箇所全て手作業で修正するのは大変だし、ミスが出る可能性もあります。

 

リレーショナルデータベースやSQLを使えるようになれば、ひとつの元の箇所を修正すれば、それに連動してその箇所に関連する部分も同時に修正できるようになるからです。要は重複せず楽に管理できるようになります。

 

プログラミングを仕事で使えるようになって気づいたのですが、このブログの過去記事でも書いているのですが、コンピュータを上手く利用できる技術が使えると劇的にミスが減って仕事も効率化できるようになります。

 

こういったことから考えられるのは、プログラミングやデータベース、SQLを上手く使えるようになればミスが減って仕事を効率化できるようになりますし、そして整理されたデータから新たなアイデアや施策をうてる可能性も生まれます。それは非構造化データを扱えるNoSQLも同様ではないかということです。

 

で、このような非構造化データが大量に蓄積されて、もはや人間の手では処理しきれくなって必要とされるようになってきたのが人工知能を利用した機械学習であり、今後Iotの進化で非構造化データがさらに蓄積されていったら誰もが機械学習を勉強しなければいけない時代が来るかもしれません。そのことについては以下の過去記事を参照していただければと思います。

 

まとめ

以上のようなことから、今後個人がよりよく生きていく、より高い収入を得られるようになるためには、データの価値に対する理解、データベース、集めたデータから何らかの法則性などを見いだすデータ解析の知識が重要視されてくるのではないかと思いました。

 

例えば昨今はプログラミングの習得が叫ばれています。その大きな理由のひとつ、またはイメージとして業務の効率化が目的とされています。ですがプログラミングの習得はそれに限らず、データを整理する、価値あるものに昇華できるようにする、という意味もあるのではないかと最近考えるようになりました。

 

こういったことから、今後の個人はプログラミングだけではなくて、データやデータベースに関する知識も学んでいく必要があるのではないでしょうか。

あわせて読みたい

コメント