【公開講座】データエンジニアリング実践コース

1．クラウドシリーズ 1

• ・クラウド登場の背景
• ・SaaS とは
• ・PaaS とは
• ・IaaS とは
• ・iPaaS とは

2．クラウドシリーズ 2

• ・データ管理
• ・Web サイト
• ・データ分析
• ・システム開発
• ・IoT 連携
• ・機械学習

3．クラウドシリーズ 3

• ・アプリケーション
• ・分析アプリケーション
• ・機械学習アプリケーション

4．クラウドシリーズ 4

• ・オンプレミスとの比較
• ・安全性と信頼性
• ・導入の注意点

5．IoT シリーズ 1

• ・はじめに
• ・IoT が注目を集める理由
• ・IoT の仕組み
• ・身の回りの事例
• ・IoT が生み出す価値

6．IoT シリーズ 2

• ・価格の最適化
• ・労働力の最適化
• ・タイミングの最適化
• ・センサーとデバイス

7．IoT シリーズ 2

• ・データ通信
• ・データ蓄積
• ・データ分析、活用
• ・セキュリティ

8．IoT シリーズ 4

• ・導入のポイント 1-3

1．イントロダクション

• ・データエンジニアリングとは
• ・データエンジニアの位置づけ
• ・OLTPとOLAP

2．ビックデータアーキテクチャ

• ・ビックデータアーキテクチャの全体像
• ・データ処理の構成要素
• ・バッチ処理とストリーム処理のユースケース

3．バッチ処理基盤の構築

• ・バッチ処理基盤の構築の考慮事項
• ・環境構築

4．バッチ処理基盤の構築 2

• ・データの収集
• ・データのレプリケーション
• ・データレイク

5．バッチ処理基盤の構築 3

• ・分散処理の基礎知識
• ・ビックデータ処理（ノンコード）
• ・Spark の実装
• ・DWH へのデータ格納

1．イントロダクション

• ・1 日目の振返り
• ・事例紹介

2．ストリーム処理基盤の構築 1

• ・ストリーム処理基盤の考慮事項
• ・環境構築
• ・ストリーム処理基盤の開発
• ・PowerBI での結果の可視化

3．ストリーム処理基盤の構築 2（IoT 機器からデータ収集）

• ・データの収集
• ・データ収集ツールの概要と考慮事項

4．ストリーム処理基盤の構築 3(データ処理と可視化）

• ・リアルタイムデータ処理
• ・リアルタイムデータの可視化
• ・Power BI 基礎（デモ）

5．データ活用

• ・機械学習とデータエンジニアリング
• ・機械学習モデルの開発（ノンコード）

6．データパイプライン化全体の実装

• ・機械学習モデルのパイプライン作成
• ・機械学習モデルの再学習の自動化とスケジューリング

7．データエンジニアリングの基盤の設計の演習

• ・課題定義
• ・設計
• ・発表

8．アウトロダクション

• ・おすすめ学習書籍やコンテンツの紹介
• ・スキルチェックテスト
• ・アンケート