GCP

https://cloud.google.com/bigquery/docs/creating-partitioned-tables?hl=ja パーティショニングの検証用環境。文字列をパーティショニ ...

BigQuery Data Transfer Service BigQuery Omni BigQuery ML マテリアライズドビュー   BigQuery Data Transfer S ...

GoogleではさまざまなAPIでソリューション提供をしています。 そしてAPIを使用するには、もちろんAPIの中身やレスポンスデータの中身によって、 キーや認証方法の厳しさなどがあります。 一般的な ...

BigQueryでは、世界のユーザーと共有してBigQueryのリソースを使用します。 なので、自分がある時間で使うとき使用できるメモリが少なかったりすることもあります。   そして、そうい ...

BigQuerでデータ整形をするとなったら、SQLだけではなくユーザー定義関数と呼ばれるUDF。 UDFを用いることでデータの変換処理などより細かく行うことができます。 そしてそんなUDFを用いるとき ...

  BigQueryを使ったシステム開発を行うとなった場合、気になるのはBigQueryのスペック。 グローバルリソースなので、みんなでリソースを共有するため、使う時間によってはスロットがな ...

App engineは基本的には、デプロイするとアクセスURLが発行されるのでそこにアクセスすることでapp engine内のプログラムが実行する。 そしてメモリは2Gなので、大容量データを用いての処 ...

GCP上で何か処理をしている場合、エラーになったり、何か定期実行していて完了したかどうかの通知を自動的にしたい場合があるとします。 そのログデータを監視するという意味で、GCPには通知などを行う「Mo ...

Google Cloud Platformへのアクセス方法 Google Cloud Platformのリソースを操作するには、上のように、 管理画面にアクセスをして、GUIでぽちぽち操作する。 Go ...

バッチファイルとは、 macでいうシェルスクリプトファイルと同じで、 コマンドで様々な処理を一括(バッチ)で処理する方法を記載したファイルのことです。 要はコマンドがまとめて記載されたファイルのことで ...