Python

PythonでRPAを実現するライブラリー「pyautogui」についての覚書となります 最近になって普段のルーティンの作業が省略化・システム化できるのでは？と思いついたので、PC操作の自動化について調べ出しました。 用途的にはシンプルで、ある座標でのマウスクリックとキーボード入力だけの簡単な作業を繰り返すだけなので、GUIではなくPythonのプログラムで対応することにしました。

前回は基本的なpivot_table()関数の使い方を説明いたしましたが、今回は集計の計算方法の指定について紹介したいと思います。 pivot_table()関数はデフォルトでmean(平均値)を使って算出しますが、aggfuncパラメータ...

簡単なデータ分析であれば「スプレッドシート」や「エクセル」を利用して行うことが多いのですが、大量で多種多様なデータを分析するには「スプレッドシート」や「エクセル」では役者不足感です。いかんせ処理が重いし、設定が面倒すぎます。 気軽にビックデ...

PythonでSalesForceデータにアクセスする方法をまとめました。 もし職場やクライアントがSalesForceを使用しているのであれば、ビジネスに直結するデータがそこにあることとなります。 顧客の特徴分析やセールスの効果測定、訪問...

BigQueryデータの読み書きについてまとめました。 データレイクとしてBigQueryを利用している企業が多いため、今回のテクニックはビックデータの解析をするPython/Colaboratoryとの相性は抜群です。

GoogleColaboratoryでスプレッドシート、CSVファイル、URLからのの入出力するための方法についてまとめました。

SNSやアンケートのフリーテキストから「ユーザーの感情情報」を解析してしてデータ分析に役立たないか？と思いGoogleのNatural Language APIを利用してみました。 「思ったよりも簡単に使えた」のでおぼえ書きとして残しておきます。 結論としては「コーディングがめちゃくちゃ簡単で、結果もそれなりの精度」で満足でした！ こちらのサンプルの文面的には微妙ですが、1,000件のテキストデータを解析にかけてスコアリングしてみたところ、**それなりの内容だった**ので実用に足るという認識です。 まあ最後の判定は目検というか主観になってしまいますが、少なくとも**車輪の再発明はしたくない**と思える内容でした。

Pandasを利用した複数回答のカテゴリーエンコーディングにハマったのでここに解決方法をメモ書きしておきます。 Googleフォームなどの複数回答項目はアンケートとしてもメジャーですし、回帰分析などの予測分析でも使えるものなので結構役立つと思います。 Pandasのget_dummies()があるから複数回答のエンコーディングも普通にあるもんだと思ったのですが、見つからなかったため自作しました

RDSのデータをCSVファイルにエクスポートするための手順を纏めました。 使っている技術は、AWSLambdaとPython3.7、mysqldump,beto3となります。 分析環境がAWSであればAWSGlueやAWSDataPiplineで良かったのですが、GCPを想定しているためこれらでは、襷に長し帯に短しであったため見送りました。無駄に学習コストが高くてオーバースペックでした。

Pythonの仮想環境作成ツールであるpipenvについてまとめました。なぜPythonの仮想環境が必要なのか？なにが嬉しいのか？導入方法は？などをまとめています。