ad
Python

【Python】Pandasのpivot_table()関数で手軽にクロス集計しまくる

簡単なデータ分析であれば「スプレッドシート」や「エクセル」を利用して行うことが多いのですが、大量で多種多様なデータを分析するには「スプレッドシート」や「エクセル」では役者不足感です。いかんせ処理が重いし、設定が面倒すぎます。気軽にビックデー...
JavaScript

【JavaScript】勤怠管理システムで自動で初期値を設定するスクリプト

はじめに職場で使用している勤怠管理システムの打刻作業を効率化するため、デフォルトの値を自動入力するJavaScriptを作ってみました。決して全自動で固定値を入力して確定させるためのスクリプトではありません。あくまで初期値を設定して個別に修...
Python

【SalesForce】Pythonでセールスフォースのデータにアクセスする方法

PythonでSalesForceデータにアクセスする方法をまとめました。もし職場やクライアントがSalesForceを使用しているのであれば、ビジネスに直結するデータがそこにあることとなります。顧客の特徴分析やセールスの効果測定、訪問→商...
Python

【BigQuery】ColaboratoryでBigQueryのデータを読み書きする方法

BigQueryデータの読み書きについてまとめました。 データレイクとしてBigQueryを利用している企業が多いため、今回のテクニックはビックデータの解析をするPython/Colaboratoryとの相性は抜群です。
Python

【Pandas】Colaboratoryで色々なデータの読み書きをする方法

GoogleColaboratoryでスプレッドシート、CSVファイル、URLからのの入出力するための方法についてまとめました。
Python

Google自然言語解析APIで感情解析が簡単にできてしまった!

SNSやアンケートのフリーテキストから「ユーザーの感情情報」を解析してしてデータ分析に役立たないか?と思いGoogleのNatural Language APIを利用してみました。 「思ったよりも簡単に使えた」のでおぼえ書きとして残しておきます。 結論としては「コーディングがめちゃくちゃ簡単で、結果もそれなりの精度」で満足でした! こちらのサンプルの文面的には微妙ですが、1,000件のテキストデータを解析にかけてスコアリングしてみたところ、**それなりの内容だった**ので実用に足るという認識です。 まあ最後の判定は目検というか主観になってしまいますが、少なくとも**車輪の再発明はしたくない**と思える内容でした。
Python

【Googleフォームなど!】複数回答のカテゴリ変数をエンコーディングする方法

Pandasを利用した複数回答のカテゴリーエンコーディングにハマったのでここに解決方法をメモ書きしておきます。 Googleフォームなどの複数回答項目はアンケートとしてもメジャーですし、回帰分析などの予測分析でも使えるものなので結構役立つと思います。 Pandasのget_dummies()があるから複数回答のエンコーディングも普通にあるもんだと思ったのですが、見つからなかったため自作しました
SQL

【超便利!】BigQueryでよく使う日時関数の小技集

BigQueryの集計で必ず使う日時関連の関数をまとめてみました。 日時がパーティションキーとして利用することが多いため、日時関数を使用する機会が多いはずです。 何かと便利なので覚えといて損はないと思います。 BigQueryでは集計量単位での課金となるため、ビックデータの暴走を抑制するためにも日時データの操作は必須となります。
life

至高のワイヤレスイヤホン「Sony WF-1000XM3」と「AirPods Pro」を比較してみた

「Sony WF-1000XM3」と「AirPods Pro」を両方をガッツリ使ってみたので両者の比較してまとめました。SonyとAppleのプロダクトに対する想いやコダワリが垣間見れていい経験となりました。同じワイヤレスイヤホンという商品...
life

リモートワークで生産性を上げるPCデスク環境をまとめました。デスク周りのケーブル/コードをスマートに整理整頓

作業効率を向上させる環境づくりには少しだけ早く取り組んでいました。ようやく最近になって満足のいくPCデスク環境になってきたので紹介したいと思います。 特に最近は自宅の作業環境を見直しているという話をよく聞くようになったので、その参考になったら幸いです。 ちなみに、理想のPCデスク/作業環境を作っていくために以下の点について考慮をしていました。
Python

lambdaを使ってRDSからCSVファイルをS3へエクスポートする方法

RDSのデータをCSVファイルにエクスポートするための手順を纏めました。 使っている技術は、AWSLambdaとPython3.7、mysqldump,beto3となります。 分析環境がAWSであればAWSGlueやAWSDataPiplineで良かったのですが、GCPを想定しているためこれらでは、襷に長し帯に短しであったため見送りました。無駄に学習コストが高くてオーバースペックでした。
GoogleAnalytics

GoogleAnalytics分析に役立つフィルター指定

GoogleAnalyticsAPI(スプレッドシートのGoogleAnalyticsアドオン)のフィルタ機能について紹介します。 [前回]はGoogleAnalyticsのディメンションと指標について紹介しました。集計軸を自由に変えて取りたい指標を取得できるようになると、不要なデータのみの抽出やノイズ除去の必要性が出てきます。 GoogleAnalyticsAPIではフィルタについても十分にサポートされているため活用しない手はないです。特にディメンションフィルタの正規表現は強力なのでやりたいことは大概は実現可能だと思います。
ad