Snowflake Data Storage用としてのWasabiクラウドストレージ

投稿日: 2023年8月9日 作成者: climb
このエントリーをはてなブックマークに追加
LINEで送る

クラウド・データプラットフォームのリーダであるSnowflakeは、Wasabi Hot Cloud Storageのサポートを追加することで、ビジネス文書、ビデオ、電子メール、オーディオファイルなどの非構造化データや、JSON、Avro、ORC、Parquet、XMLファイルなどの半構造化データを保存するために、新たなハイパースケーラー・クラウドプロバイダーの選択肢をユーザに提供します。Wasabiは多様なデータタイプをサポートしているため、Snowflakeデータレイク・ソリューションの重要な要素となっています。

Snowflakeは、クラウドベースのデータ分析サービスの提供を専門としており、ユーザはリアルタイムで洞察し、ビジネスの包括的な理解を得ることができます。

データレイクを構築しているSnowflakeユーザは、Wasabi上で外部ステージを作成できるようになりました。 Snowflakeでは、ストレージ内のデータファイルの場所を “ステージ “と呼びます。 ステージには内部ステージと外部ステージの2種類があります。内部ステージは顧客のSnowflakeアカウントの一部です。内部ステージは、データファイルがテーブルにロードされる前、またはテーブルからアンロードされた後の、データファイルの中間格納場所として使用されます。内部ステージは、データワークフローの取り込みフェーズでユーザがファイルを配置するフォルダと考えてください。外部ステージはSnowflakeサービスの外部に置くことができ、Snowflakeユーザが所有、管理、支払いを行います。このストレージ消費に対する請求は、Snowflakeではなく、AWS、Google、Microsoft、またはWasabiが行います。

Wasabi for External Stagesの追加により、SnowflakeユーザーはWasabiを2つの重要なユースケースに使用できるようになりました：

●Snowflake データベースのテーブルに入力するために使用できる非構造化データを保存

●Snowflake 外部テーブルを保存し、ユーザーが共同使用ケースで他のユーザと共有

 

External TablesとSnowflakeのクロスクラウド機能により、ユーザのデータは特定のクラウドや地域に固定される必要がありません。このマルチクラウド機能は、金融サービス、メディア・エンターテイメント、ヘルスケアなど、コラボレーションが重要なユースケースや業界において非常に望ましいものです。例えば、AWS上でSnowflakeを実行し、外部テーブルをWasabiに保存しているユーザは、異なるリージョンの異なるクラウド上でSnowflakeを実行している他のユーザと、それらのテーブルへのアクセスを共有することができます。これは真のマルチクラウド設計です。

Snowflakeデータレイクの一部としてWasabiをExternal Stageとして使用することで、AWS S3のPUT料金を発生させることなくデータをアップロードすることができます。この料金は大きなものになる可能性がある。医療機関が医師の手書きメモのPDF、保険証や処方箋のスクリーンショット、コールセンターの録音を保存しているユースケースを考えてみましょう。これらのデータオブジェクトは何百万もあり、AWS S3のPUT料金は何千ドルもかかる可能性があります。それ以上に、AWS S3バケット内のオブジェクトに対するLISTリクエストはさらにコストを押し上げます。WasabiはAPIリクエストに課金しません。つまり、クラウドの請求書が届いたときに驚くようなことはなく、Wasabiのクラウドストレージのコストは予測可能で、予算も立てやすくなります。

データファイルがユーザのWasabi外部ステージにアップロードされると、Simple Notification Service（SNS）を使用して、Snowflakeの取り込みサービスであるSnowpipeに通知し、新しいファイルをユーザのAWSアカウント内のSnowflakeデータベーステーブルに自動的にコピーすることができます。

 

企業は、生の非構造化データを安価な形式で保存し、必要に応じて後で構造を追加する必要があります。これにより、データの迫真性に妥協することなく、ビジネスインテリジェンスのニーズへの対応力と機動性を維持することができます。

上記の通り、外部ステージを使用する場合、AWS、Azure、Google、Cloudflare R2の一般的なAPIおよびオペレーション料金が適用されます。WasabiはAPIリクエストに課金しません。

パートナー、顧客、リモートワーカがExternal Tablesとそれにアクセスするための非構造化データにアクセスするためのコラボレーションツールとして使用する場合、AWS、Azure、Googleを使用すると、エグレス料金が発生します。エグレス料金はマルチクラウドアーキテクチャにとって当然の障壁です。データへの外部からのアクセスやコラボレーションを制限することで、エグレス料金を回避することは、その価値やそこから生み出されるビジネスインテリジェンスの洞察を低下させます。Wasabiのマルチクラウドフレンドリーなノン・エグレス料金により、Snowflakeユーザは、費用対効果、地理的リーチ、コンプライアンスニーズ、または特殊なサービスなどの特定の要件に基づいて、Wasabiのような異なるクラウドプロバイダーを活用することができます。

関連トピックス

Snowflake Data Storage用としてのWasabiクラウドストレージ への1件のコメント

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

 

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。