BigQueryのSchemaをCSV形式からJSON形式に変換する

Jul 8, 2021 23:14 · 146 words · 1 minute read

BigQueryのスキーマ表現をCSV形式からJSON形式に変換する。

ちなみにCSV形式はこんなもの

id:integer,order_id:float,detail:string

JSONはperlで生成する

$ cat ./schema.txt \
    | tr "," "\n" \
    | perl -aF":" -nlE 'say qq({"name":"$F[0]","type":"$F[1]","mode": "NULLABLE"})'  \
    | jq --slurp

[
  {
    "mode": "NULLABLE",
    "name": "id",
    "type": "integer"
  },
  {
    "mode": "NULLABLE",
    "name": "order_id",
    "type": "float"
  },
  {
    "mode": "NULLABLE",
    "name": "detail",
    "type": "string"
  }
]

参考

tweet Share