sacre

Feb 18
gcloud コマンドで使う設定をプロジェクトごとに切り替える
GCPの gcloud コマンドは、プロジェクトとアカウントを切り替えながら作業することができるプロジェクトとアカウントは configurations と呼び、ローカルに複数作ること
Feb 15
便利な bqutil
bqutil.fn という便利な関数がたくさん同梱された、データセットが公開されている。 GCP公式が作っている便利な関数群が置かれているデータセットで、日付の
Feb 15
Cloud Function の `oidc-service-account-email` が必要とするService Account のロール
きちんと調べずに使っていたのでメモ Cloud Function は public アクセスを許可しないで、サービスアカウントからのアクセスのみ許可する設定ができる。具体的には --allow-unauthenticated=false とし
Feb 1
BigQuery でランダムサンプリングしたテーブルを作る
大きいテーブルに色々クエリをかけるとお金がかかっちゃうので、ランダムで抽出したテーブルを作成するときのもの。 1%にサンプリングしたテーブルは
Jan 31
BigQuery で定義されているUDFの名前と定義を一覧するスクリプト
#!/usr/bin/env bash set -euo pipefail readonly TMPFILE=/tmp/_list-udf.txt bq --format=json ls --routines fn \ | jq -r '.[].routineReference | "\(.datasetId).\(.routineId)"' \ > $TMPFILE for udfid in $(cat $TMPFILE); do DEF=$(bq --format=json show --routine "$udfid" | jq -r .definitionBody) echo "# $udfid" echo '```' echo ${DEF} echo '```' echo "" done
Jan 30
CloudFront でリクエストが多いファイルをサクッと見る
popular_urls というページがあり、CloudFront のネットワークごとに人気のオブジェクトとリクエスト量が見られる。人気オブジェクト | CloudFront
Jan 30
jq で CSV を JSON に変換する
こんなCSVをJSONにする。 1,foo 2,bar id,name の2カラムのCSVとみなすとこのようになる。 $ cat /tmp/_ \ | jq --raw-input 'split(",") | {id: .[0], name: .[1]}' \ | jq -s { "id": "1", "name": "foo" } { "id": "2", "name": "bar" } --raw-input
Jan 30
CloudStorage にある大きなCSVファイルのヘッダ行だけ読む
gsutil cat というサブコマンドがあり、指定したバイト数だけ読み出すことができる。先頭から20キロバイトくらい(1行以上読めるくらいの量)を読み出して
Jan 29
BigQuery の外部テーブルに GCS 使おうとして location でダメだった
先に結論 Cloud Storage には asia ロケーションがある BigQuery には asia ロケーションがない BigQuery はロケーションが違うオブジェクトを外部テーブルにはできない経緯 GCS に置いてある
Jan 27
nodejs の `google-spreadsheet` を使ってスプレッドシートを更新する
SpreadSheetとGCPの認証認可については、以前にこちらに書いた。サービスアカウントで認証してGoogleSpreadsheetから

GCPの gcloud コマンドは、プロジェクトとアカウントを切り替えながら作業することができる プロジェクトとアカウント は configurations と呼び、ローカルに複数作ること

bqutil.fn という便利な関数がたくさん同梱された、データセットが公開されている。 GCP公式が作っている便利な関数群が置かれているデータセットで、日付の

きちんと調べずに使っていたのでメモ Cloud Function は public アクセスを許可しないで、サービスアカウントからのアクセスのみ許可する設定ができる。 具体的には --allow-unauthenticated=false とし

大きいテーブルに色々クエリをかけるとお金がかかっちゃうので、ランダムで抽出したテーブルを作成するときのもの。 1%にサンプリングしたテーブルは

popular_urls というページがあり、CloudFront のネットワークごとに人気のオブジェクトとリクエスト量が見られる。 人気オブジェクト | CloudFront

こんなCSVをJSONにする。 1,foo 2,bar id,name の2カラムのCSVとみなすとこのようになる。 $ cat /tmp/_ \ | jq --raw-input 'split(",") | {id: .[0], name: .[1]}' \ | jq -s { "id": "1", "name": "foo" } { "id": "2", "name": "bar" } --raw-input

gsutil cat というサブコマンドがあり、指定したバイト数だけ読み出すことができる。 先頭から20キロバイトくらい(1行以上読めるくらいの量)を読み出して

先に結論 Cloud Storage には asia ロケーションがある BigQuery には asia ロケーションがない BigQuery はロケーションが違うオブジェクトを外部テーブルにはできない 経緯 GCS に置いてある

SpreadSheetとGCPの認証認可については、以前にこちらに書いた。 サービスアカウントで認証してGoogleSpreadsheetから

GCPの gcloud コマンドは、プロジェクトとアカウントを切り替えながら作業することができるプロジェクトとアカウントは configurations と呼び、ローカルに複数作ること

きちんと調べずに使っていたのでメモ Cloud Function は public アクセスを許可しないで、サービスアカウントからのアクセスのみ許可する設定ができる。具体的には --allow-unauthenticated=false とし

popular_urls というページがあり、CloudFront のネットワークごとに人気のオブジェクトとリクエスト量が見られる。人気オブジェクト | CloudFront

gsutil cat というサブコマンドがあり、指定したバイト数だけ読み出すことができる。先頭から20キロバイトくらい(1行以上読めるくらいの量)を読み出して

先に結論 Cloud Storage には asia ロケーションがある BigQuery には asia ロケーションがない BigQuery はロケーションが違うオブジェクトを外部テーブルにはできない経緯 GCS に置いてある

SpreadSheetとGCPの認証認可については、以前にこちらに書いた。サービスアカウントで認証してGoogleSpreadsheetから