ビッグデータって何？無料で使えるの？

2024.06.24

1.ビッグデータとは？

AIやRPAに関する記事に時折でてくる「ビッグデータ」。名前の通り大量で複雑なデータの集合体のことです。

一般的にはテラバイト、ペタバイトデータ以上のデータ量と言われており、サイズが大きすぎるため従来のデータベース管理ツールや処理方法では扱いきれず、分析や処理に特化したツールや技術を必要とします。

ビッグデータと聞くと国や世界規模の情報量をイメージされる方も多いかもしれませんが、規模や複雑さによっては自社に蓄積している顧客の購入履歴などもビッグデータと呼べる場合があります。単にデータ量が多いというだけではなく、以下の5Vの特徴を持っている場合はビッグデータに該当します。

ビッグデータの特徴：5V

ボリューム（Volume） - データの量が非常に多い
バラエティ（Variety） - 様々な形式や種類のデータが含まれる
ベロシティ（Velocity） - データが生成される速度が速い
ベラシティ（Veracity） - データの真実性や信頼性が高い
バリュー（Value） - ビジネスや社会的な価値を生み出せる

自社に蓄積しているビッグデータの例

工場の機械や製品に取り付けられたセンサーから収集される運用データや環境データ
顧客の購入履歴、行動パターン、好み、フィードバックなど、膨大な顧客情報を含むデータベース
ウェブサイトやアプリケーションの利用状況を記録したログ情報
販売、購入、支払いなどのビジネス取引の詳細を記録したデータ

2.ビッグデータの情報源はどこ？

様々な情報源から収集されていますが、主な情報源は以下の６つです。

ビッグデータの主な情報源

１）オープンデータ
国や地方公共団体が提供するデータで、公共の利益のために利用されます。

２）産業データ
企業が保有するデータや、機械間通信（M2M）で生成されるデータです。

３）パーソナルデータ
個人の属性情報や行動履歴などの個人情報を含みます。

４）ソーシャルメディア
ユーザーが投稿するテキスト、画像、動画などのデータです。

５）センサーデータ
IoTデバイスやスマートフォンなどから収集される位置情報や環境データです。

６）トランザクションデータ
オンラインショッピングや金融取引などの記録です。

私はスマートウォッチで健康診断結果・心拍数・歩数・睡眠時間などを記録しているのですが、これらのデータもビッグデータの一つとして収集されています。

こうして収集されたビッグデータの分析結果から、私が10年以内に病気になる確率などが分かるわけです。虚血性心疾患が最も低くて0.21％。一番高いのは糖尿病の5.94%。今最も怖いのは糖尿病……。

3.ビッグデータの用途は？

様々な分野で活用されていますが、現在の主な用途は以下の6つです。

ビッグデータの主な用途

１）需要予測
販売データや市場動向を分析して、将来の需要を予測します。これにより、在庫管理や生産計画を最適化することができます。

２）顧客行動分析
顧客の購買履歴やオンライン行動を分析し、マーケティング戦略や製品開発を改善します。

３）リアルタイム分析
センサーデータやトランザクションデータをリアルタイムで分析し、即時の意思決定や問題解決に役立てます。

４）健康管理と疾病予防
健康データや遺伝子情報を分析して、個人の健康管理や疾病の予防に活用します。

５）都市計画と交通管理
人口動態や交通流のデータを分析し、都市計画や交通システムの最適化に利用します。

６）エネルギー管理
電力消費データを分析して、エネルギー効率の向上や需要予測に活用します。

需要予測や顧客行動分析などは自社内のデータを元に行ったことがあるのではないでしょうか。ビジネスでは、より効果的な意思決定を行うためにビッグデータを分析して得られた洞察を活用しています。

ビッグデータの活用例

洞察：

アイスクリームや氷菓がよく売れる条件は以下の4つ。

気温が22～30℃以上
最低気温と最高気温の差が小さい
湿度が高い
極端に暑くなり過ぎない

更に、アイスクリームが最も売れる気温は22～23℃。
34℃を超えると氷菓がアイスクリーム以上に売れ始める。

今年の6～8月の平均気温は平年よりも高い確率が50％以上。

以上から、今年は平年よりも早く氷菓のニーズが高まる可能性が高いと予想される。

意思決定：

氷菓の仕入れ割合のピークを平年よりも1月早く設定しよう！

4.無料で使えるビッグデータ

いまや意思決定のための分析に必須のビッグデータ。
公共の利益のために公開されたオープンデータであれば無料で利用できます。

無料で使える！ビッグデータのポータルサイト3選

１）ビッグデータ・ポータル

https://www.e-stat.go.jp/bigdataportal/　（外部サイトにリンクします）

2023年から試行運用が始まった日本のビッグデータ活用推進のためのポータルサイト。
これからどんどん充実していくと期待しています。

学習コンテンツや活用事例の掲載もあるので初めてのデータ分析にもおすすめ。
試行中なので使いやすくなるように意見を送ってみるのも良いですね！

２）e-Stat 政府統計の総合窓口

https://www.stat.go.jp/　（外部サイトにリンクします）

日本の全ての政府統計を収録した統計ポータルサイト。

データの提供のみならず、サイト上でグラフ出力して視覚的にとらえることも可能。

楽しいです。好き。

検索数が多いデータのランキングや学習コンテンツへのリンクもあります。

ちなみに6月第1週の人気トップスリーは「1位：国勢調査　2位：合計特殊出生率　3位：アイスクリーム」。夏の足音が聞こえてきますね。

３）e-GOVデータポータル

https://data.e-gov.go.jp/info/ja　（外部サイトにリンクします）

中央行政のオープンデータポータル。条件に合ったデータセットを検索できます。

データセットの評価、閲覧数の記録機能があり、評価や人気順で並び替えることができるのが面白いです。

最近の閲覧数が多いホットなデータセットにはアイコンがつきますよ！

5.ビッグデータとAIとRPA

AIの多くはビッグデータから答えを導き出しています。

RPAは人間がやるには負荷の高いビッグデータの整理や分析、ビッグデータの情報収集そのものなどに活用されています。

AIの進歩は目覚ましく、自分でデータ分析をしなくてもAIが良いように分析してくれるようになりつつあります。しかし、AIが必ずしも正しいとは言えませんし、自分でデータ分析をすることで思いがけない分析の切り口などの発見もあるかもしれません。また、データセットの正式名称を知っていれば、AIにより精度の高い依頼をすることも可能です。

無機質な数字の羅列は取っつきにくいですが、データに触れることで得られるものもあります。
まずは他社の活用事例や見やすくグラフ化されたデータを眺めてみませんか？

目次へ戻る