SQL 【BigQuery】ユーザー定義関数の使い方！UDF(User Defined Function)を紹介します！
BigQueryで利用できるユーザー定義関数(User Defined Function)について紹介したいと思います。
正直言ってUDFは知らないと分析ができないと言った類のテクニックではありませんが、使えれば複雑な記述を簡潔化でき「可読性」≒「メンテナンス性」の向上が劇的に見込まれます。
SQL 
Python 【Pandas】ピボットテーブル(pivot_table)で計算方法を指定する方法
前回は基本的なpivot_table()関数の使い方を説明いたしましたが、今回は集計の計算方法の指定について紹介したいと思います。 pivot_table()関数はデフォルトでmean(平均値)を使って算出しますが、aggfuncパラメータ...
Python 【Python】Pandasのpivot_table()関数で手軽にクロス集計しまくる
簡単なデータ分析であれば「スプレッドシート」や「エクセル」を利用して行うことが多いのですが、大量で多種多様なデータを分析するには「スプレッドシート」や「エクセル」では役者不足感です。いかんせ処理が重いし、設定が面倒すぎます。 気軽にビックデ...
JavaScript 【JavaScript】勤怠管理システムで自動で初期値を設定するスクリプト
はじめに 職場で使用している勤怠管理システムの打刻作業を効率化するため、デフォルトの値を自動入力するJavaScriptを作ってみました。 決して全自動で固定値を入力して確定させるためのスクリプトではありません。あくまで初期値を設定して個別...
Python 【SalesForce】Pythonでセールスフォースのデータにアクセスする方法
PythonでSalesForceデータにアクセスする方法をまとめました。 もし職場やクライアントがSalesForceを使用しているのであれば、ビジネスに直結するデータがそこにあることとなります。 顧客の特徴分析やセールスの効果測定、訪問...
Python 【BigQuery】ColaboratoryでBigQueryのデータを読み書きする方法
BigQueryデータの読み書きについてまとめました。
データレイクとしてBigQueryを利用している企業が多いため、今回のテクニックはビックデータの解析をするPython/Colaboratoryとの相性は抜群です。
Python 【Pandas】Colaboratoryで色々なデータの読み書きをする方法
GoogleColaboratoryでスプレッドシート、CSVファイル、URLからのの入出力するための方法についてまとめました。
Python Google自然言語解析APIで感情解析が簡単にできてしまった！
SNSやアンケートのフリーテキストから「ユーザーの感情情報」を解析してしてデータ分析に役立たないか？と思いGoogleのNatural Language APIを利用してみました。
「思ったよりも簡単に使えた」のでおぼえ書きとして残しておきます。
結論としては「コーディングがめちゃくちゃ簡単で、結果もそれなりの精度」で満足でした！
こちらのサンプルの文面的には微妙ですが、1,000件のテキストデータを解析にかけてスコアリングしてみたところ、**それなりの内容だった**ので実用に足るという認識です。
まあ最後の判定は目検というか主観になってしまいますが、少なくとも**車輪の再発明はしたくない**と思える内容でした。
Python 【Googleフォームなど！】複数回答のカテゴリ変数をエンコーディングする方法
Pandasを利用した複数回答のカテゴリーエンコーディングにハマったのでここに解決方法をメモ書きしておきます。
Googleフォームなどの複数回答項目はアンケートとしてもメジャーですし、回帰分析などの予測分析でも使えるものなので結構役立つと思います。
Pandasのget_dummies()があるから複数回答のエンコーディングも普通にあるもんだと思ったのですが、見つからなかったため自作しました
SQL 【超便利！】BigQueryでよく使う日時関数の小技集
BigQueryの集計で必ず使う日時関連の関数をまとめてみました。
日時がパーティションキーとして利用することが多いため、日時関数を使用する機会が多いはずです。
何かと便利なので覚えといて損はないと思います。
BigQueryでは集計量単位での課金となるため、ビックデータの暴走を抑制するためにも日時データの操作は必須となります。
life 至高のワイヤレスイヤホン「Sony WF-1000XM3」と「AirPods Pro」を比較してみた
「Sony WF-1000XM3」と「AirPods Pro」を両方をガッツリ使ってみたので両者の比較してまとめました。 SonyとAppleのプロダクトに対する想いやコダワリが垣間見れていい経験となりました。同じワイヤレスイヤホンという商...
life リモートワークで生産性を上げるPCデスク環境をまとめました。デスク周りのケーブル/コードをスマートに整理整頓
作業効率を向上させる環境づくりには少しだけ早く取り組んでいました。ようやく最近になって満足のいくPCデスク環境になってきたので紹介したいと思います。
特に最近は自宅の作業環境を見直しているという話をよく聞くようになったので、その参考になったら幸いです。
ちなみに、理想のPCデスク/作業環境を作っていくために以下の点について考慮をしていました。