データ分析メモと北欧生活

旧Untitled Note. データ分析、計量経済・統計とR、水産管理、英語勉強、海外生活などについて備忘録や自分の勉強のOutputの場所として

MENU

2018-01-01から1年間の記事一覧

【R】行ごとに引き算を行って列ごとの分散を計算する

自分でBootstrapを行い、各パラメーターの標準誤差を計算するときに、少し行列の演算で引っかかったので備忘録。最初にまとめておくと 行列からベクトルを引くと、自動的に列ベクトルとして計算されてしまう。 ベクトルを転置してもエラーになる。 行列を転…

【R】RODBCパッケージでSQLのバックアップファイル(.bak)を開いた話

基本的にRしか使えない私が、データベースファイルを受け取ってなんとかRで読み込めるようにするまでのドタバタを記録しておく。共同研究者からもらったデータのファイルが見慣れない拡張子だったので、調べてみた。いかんせん現在使われてるはずない拡張子(…

【R】sfパッケージでCRS情報のないファイルをあるファイルと一緒に使いたい

RでGISといえば最近はsfパッケージらしいですね。 spとsfの違いとか、そもそもCRSのとは?みたいなレベルながら空間情報を扱いたくて、少しずつ使い始めています。今回やりたいのは、すでにある地図になにか緯度経度の情報のみのデータを重ねたいときに、ち…

【R】コンマを小数点記号に使っている場合の処理

ヨーロッパ言語圏に多いみたいですが、小数点をドット(ピリオド)ではなく、コンマ(カンマ)を用いて表現する地域があります。 今私はノルウェーのデータ扱ってるんですが、どうしても数量データを文字列として読み込むので原因を調べてみたら、これでした…

【水産資源】アメリカの水産物貿易赤字は実はアメリカ経済に貢献している?

貿易と水産物について、アメリカの面白い記事があったのでシェア。thehill.com 著者はデューク大学のマーティン・スミス教授で、経済学者。 本当は和訳しようとか思ったのだけど、和訳そのままを乗せるのは著作権的にまずいらしい。 スミス先生と面識がない…

【R】エクセルのファイルをロードしたい

データっていろんなフォーマットで保存されてますが、まぁ一般的なのがエクセル(.xls, .xlsx)ですね。 データ分析とか仕事でしてる人からしたら「は?」って感じかもしれないですが、未だに政府系のデータとかエクセルフォーマットのみで記録されてたり、…

プライバシーポリシー

①個人情報の利用目的「データ分析のメモと北欧生活」(以下当ブログ)では、メールでのお問い合わせなどや名前(ハンドルネーム)、メールアドレス等の個人情報をご登録いただく場合がございます。これらの個人情報は質問に対する回答や必要な情報を電子メール…

ノルウェーの滞在許可の申請から住民カード受け取りまで(2)

前回の記事の続きです。 yvrseabgo.hatenadiary.jp 晴れて滞在許可が降りました! 滞在許可に基づいて発行されるノルウェーIDがないと、銀行口座が開けないので、なかなか身動きが取りづらいです。 私の場合は、後手後手になってノルウェーに到着時点で、滞…

ノルウェーの滞在許可の申請から住民カード受け取りまで (1)

さて、ノルウェーに長期で滞在しようとすると、滞在許可(Residence Permit)を取得しなければなりません。 以下は、私が経験したことをもとにノルウェーで既に仕事が内定している労働者(研究者)のケースを書いています。 ビザ(Visa)と混同しやすいのですが、…

ノルウェーにおける個人識別ナンバー(個人ID)について

ノルウェーでは、税金の管理や社会保障、選挙権や民間では銀行口座の管理などに、個人に割り振られる番号が用いられている。 ノルウェー人ならば絶対持っているこの番号だが、ノルウェーに住む外国人にも割り振られ、これがないと銀行口座が開けられないなど…

結局ノルウェーで銀行口座開くにはどの銀行がいいのか?過去のブログ記事と現地での情報からのまとめ

先日ようやく住民登録カードが発行されました! それにともなって、ようやくノルウェーIDが手に入ったので、銀行口座が作れます。 ここがややこしいのだけれど、住民登録カードとノルウェーIDは別のものなのか、別々に送られてきました。 IDの書いた紙は自宅…

固定効果ロジットの尤度比検定の関数を書いた

二項ロジット(ロジスティック回帰)でモデルの比較を行うとき、あるモデルが別のモデルのネストになってるならば尤度比検定を行うのが一つの方法だと思うんですが、これをRでやろうと思うとlrtestというパッケージですごく簡単にできます。 ただし、固定効果…

ロジット・プロビットの限界効果とRでの計算

目次 バイナリー従属変数モデル 限界効果の定義 限界確率効果 (Marginal Probability Effects, MPE) 平均における限界確率効果 (MPE at mean, MEM) 平均限界確率効果 (Average Marginal Probability Effects) Rでの実装: ロジット(ロジスティック回帰) Rで…

Rで最尤法の復習

自分で尤度関数を書いて最尤法で推定する必要があったので、簡単に最尤法 (Maximum Likelihood Estimation)を復習。読んで字のごとく、最も尤もらしいパラメーターを見つける推定法が最尤法である。シンプルな生産関数の最尤推定例えば、以下の生産関数のパ…

すごく基本的な線形回帰のモンテカルロ・シミュレーション

簡単なモンテカルロ法を、R言語でやります。知っている人にとってはすごく基本的なことだけれど、復習がてら。 ステップ Xという乱数を作る。 平均2, 標準偏差1の正規分布から25個の乱数を発生させる。 Xに依存した乱数Yを作成する。 は標準正規分布からの乱…

【R】dplyrで乱数生成した列(変数)を作る

Rで乱数(擬似乱数, pseudo-random number)を生成するのってよくやると思うのですが、dplyrでデータフレームに乱数を生成した列(新しい変数)を作ろうとして手こずったので備忘録。例えば、存在するデータフレームに新しくxという標準正規分布から発生させ…

【R】データにNAがある時の相関係数

他の関数だとna.rm = TRUEにするような場面で、少し手こずったので備忘録。データにNAが含まれている場合、そのまま相関係数を計算しようとすると結果がNAになってしまう。 # Data generation set.seed(3) x = runif(20,0,1) y = 0.7*x + 0.3*runif(20,0,1) …

ロジスティック回帰の固定効果について

従属変数が0か1を取る離散変数だったり、3つ以上のカテゴリー変数だったりすると、まず思いつくのはロジスティック回帰 (Logistic Regression)、もしくはロジット離散選択モデル (Logit Discrete Choice Models)だと思う。一方で、パネルデータを扱う場合、…

RとStataでの週番号の扱い

ずっと扱ってるデータで、なんかおかしいなと思っていたことでついに突き止めたっぽいので備忘録として残しておく。 扱っているデータが、日ごと(もしくはもっと細かいレベル)を週ごとにまとめたデータっぽいのであるが、あるイベントが起こった後かどうか…