テクてくTech

BigQueryデータの読み書きについてまとめました。 データレイクとしてBigQueryを利用している企業が多いため、今回のテクニックはビックデータの解析をするPython/Colaboratoryとの相性は抜群です。

GoogleColaboratoryでスプレッドシート、CSVファイル、URLからのの入出力するための方法についてまとめました。

SNSやアンケートのフリーテキストから「ユーザーの感情情報」を解析してしてデータ分析に役立たないか？と思いGoogleのNatural Language APIを利用してみました。 「思ったよりも簡単に使えた」のでおぼえ書きとして残しておきます。 結論としては「コーディングがめちゃくちゃ簡単で、結果もそれなりの精度」で満足でした！ こちらのサンプルの文面的には微妙ですが、1,000件のテキストデータを解析にかけてスコアリングしてみたところ、**それなりの内容だった**ので実用に足るという認識です。 まあ最後の判定は目検というか主観になってしまいますが、少なくとも**車輪の再発明はしたくない**と思える内容でした。

Pandasを利用した複数回答のカテゴリーエンコーディングにハマったのでここに解決方法をメモ書きしておきます。 Googleフォームなどの複数回答項目はアンケートとしてもメジャーですし、回帰分析などの予測分析でも使えるものなので結構役立つと思います。 Pandasのget_dummies()があるから複数回答のエンコーディングも普通にあるもんだと思ったのですが、見つからなかったため自作しました

RDSのデータをCSVファイルにエクスポートするための手順を纏めました。 使っている技術は、AWSLambdaとPython3.7、mysqldump,beto3となります。 分析環境がAWSであればAWSGlueやAWSDataPiplineで良かったのですが、GCPを想定しているためこれらでは、襷に長し帯に短しであったため見送りました。無駄に学習コストが高くてオーバースペックでした。