Syniti Data Replication 9.6(旧DBMoto)では、Hadoop HDFSへのレプリケーションが強化されました。
元々DBMoto 9.0にてHadoop HDFSへのレプリケーションは対応しておりましたが、
全件レコード転送のリフレッシュモードしか対応しておらず、差分レコード連携は未対応となっておりました。
Syniti 9.6では差分レコード連携が追加されたため、最新の更新データをHadoopへ取り込み、
分析に繋げることができるようになりました。
●SynitiへのHadoop HDFS登録
まず、ターゲット接続にHadoop HDFSを追加します。
Hadoop HDFSのIPアドレスやユーザ名とパスワード、どのHDFSフォルダへレプリケーションを行いたいのか、またHadoopコマンドを実行する実行ファイルパスを指定します。
テストを実行すると、接続が正しく行われていることが確認できます。
●レプリケーションの実行
レプリケーションジョブ作成にも、特別必要な操作はなく、RDBMSのレプリケーションジョブと同じように作成可能です。
実際にレプリケーションジョブを実行すると、以下のHDFS Webコンソールからもデータが確認できます。
.refとついたファイルが初期リフレッシュで作成された全件レコードが格納されたものであり、.mirが差分レコード連携で生成されたファイルです。
このように、Synitiを使用することで、Hadoop HDFSへのリアルタイムデータ連携が可能になります。
関連したトピックス
- Webセミナー録画 『多種DBからKafka、Hadoop、S3への対応 データ統合/分析基盤へ簡単連携!』2019/12/10 開催
- データレプリケーションソリューションに求められる9つのポイント
- データ分析基盤へもSyniti Data Replication(旧DBMoto)で簡単レプリケーション! Google BigQueryへの接続方法
- DBMotoからSyniti Data Replicationへのアップグレード方法
- ビッグデータ分析のためのデータウェアハウスAmazon Redshiftの特長と利点
- RDBからTeradata/Hadoopへのレプリケーション対応、Oracle/MySQLパフォーマンス向上等・・・DBMoto 9 最新機能
- Syniti Data Replication (DBMoto) の監視方法について
- データ活用時代到来! Syniti Data Replicationで異種RDMSからSnowflakeへのリアルタイム・レプリケーション
- Syniti Data Replication 新機能ブログ② Amazon S3へのレプリケーション対応
- Syniti Data ReplicationにおけるDb2 LUWへのバルクミラーリングについて