2012-01-01から1年間の記事一覧

lsaパッケージインストール

R

lsaパッケージをインストする際のJAVA設定の備忘録 R version 2.14.1 install.packages("lsa")を実行すると下記のようなエラーが出た。 Make sure you have Java Development Kit installed and correctly registered in R. If in doubt, re-run "R CMD java…

Psycopg2でサーバーに接続できない

Psycopg2を使っていて、multiprocessingでデータベースに接続してデータを入れる処理を書こうとしていたんだが、↓のエラーで躓いた。 could not connect to server: Connection refused Is the server running on host "localhost" and accepting TCP/IP con…

クラスの並列化

multiprocessingモジュールで関数を並列化する方法はネットにあるが、クラスを並列化するというのは少なかったので、やってみた。結論としては、処理速度上げるのしんどいしよくわからんエラー出るしで結局関数を並列化する事で落ち着いた。 何がしたいのか…

red hat4にnumpy, scipyインストール

前回はred hat4にyumを入れるだけで肝心のnumpyとscipyをインスト出来なかったので、再挑戦してみた。 前回numpyがインスト出来なかったときにでてきたエラーが、Connection Peerだったので、改めて実行するとすんなり葉行った。なのでここは特に記載なし。 …

RHEL4にyumをインストール

そもそもOSはRed Hatだがyumがないらしい。とりあえずバージョンが何なのかを知らないことには…と思い、ここを参考に cat /etc/*-releaseを実行すると、 Red Hat Enterprise Linux WS release 4どうやらRHEL 4らしい。 …関係ないが、RHEL 4のサポート(厳密に…

RHEL4にyumインストール

研究室のサーバーにscipyをインストしておいて〜と言われたので、yumいれてscipyいれる備忘録を…と思ってたら、両方で躓いたorz 取り敢えずyumの方だけの備忘録を書いておく

python-mecabで文字列をパースしてみる

環境はPython2.7, mecab0.98 def extract_keyword(string, word_class=['名詞']): tagger = MeCab.Tagger('mecabrc') nodes = tagger.parse(u'テスト文字列です') のように文字列をパースしようとすると、下記のエラーが出た。 Traceback (most recent call …

行列の和をとってみる

こんな感じの行列があって、すべてのキーワードの出現回数の合計を出したい。 paragraph_id keyword1 keyword2 keyword3 keyword4 0 5 3 1 4 1 2 4 4 4 2 3 2 5 3 計算したい要素のみのリストを作っておく matrix = [ [5,3,1,4], [2,3,3,3], [3,2,5,3] ] す…

ランダムウォーク性の検定

表現があっているのか微妙だが、扱うデータがランダム・ウォークかどうかを検定する必要が出てきたので、備忘録。 流れはこんな感じ。 ランダム・ウォーク理論に従うデータは非定常であり、単位根を持つ。単位根を持つか否かをPhillips-Perron検定などにより…

多数の特定キーワードを含むか、を長々とifステートメントで書くの嫌だから短くしてみた

リストについてループ処理をしていて、特定キーワードを含んだものだったらcontinue.という処理を書いているのだが、 if KEYWORD in STRING:continue とすると、キーワードが多くなると↓のようにすごい面倒になる。 for row in LIST: (省略) if KEYWORD1 in …

修士入学から今日までを簡単に振り返ってみた

学部の時に院生(当時博士だったかな?)の先輩から、修士が一番忙しい、という話を聞いて、自分も大学院生になってみてまさにそうやな〜と実感した、というお話。 忙しさの原因は、講義と就活。 それでは時系列を追っていこうか。 学部(文系)と院(理系)で違う…

日記の定番、ご挨拶です

はじめまして vent_et_neigeの日記へようこそ。 ただプログラミング関係の備忘録だけっていうのは寂しいので、その他のことも書いてみようと、まずはご挨拶から。 簡単な略歴 公立の大学(経済学部)を卒業、(就活に失敗したため)大学院大学(理系)に進学。現在…

文字列フォーマットで一文がとても長くなる場合

文字列フォーマットを利用していると、たまに一文がものすごく長くなる時がある。 特にDBと連携するようなとき。何とかしたいなーということで調べてみたので、備忘録として。 作りたい文字列↓ INSERT INTO table(datetime,key,value) VALUES(to_timestamp(d…

timestamp型データの保存

Python2.7でpgdbライブラリ使ってPostgres9.1.3に時刻データ(timestamp with time zone)保存するときにハマったので、その備忘録。 旧データベース定義 datetime kind num comment trend timestamp without time zone text int text int SQLはこんな感じ↓ CR…

muninのdisk usageの積み上げグラフ?

データ収集用のサーバーの監視をしようとmuninを入れてみたはいいものの、Disk usageが折れ線で、しかも積み上げ式?じゃないことが気に入らなかったので直してみた。 こんな感じで、各使用率の合計が分かるようにしたかったのよ以下手順。 munin(ver1.4.5)…

PostgreSQLインスト

UbuntuにPostgreSQL9.1をインストールしてみた。 #apt-get install postgresqlインストールする際にユーザー(postgres)も作成されたようなので、パスワードを設定する #passwd postgresデータ保存場所を作成 #mkdir /home/postgres/datum #chown postgres:po…

ログインシェル変更

sshでサーバーに接続したあとの表示が、普段は name@hoge~$のようになっていたが、今回は $のようになっていて違和感が強かったので直してみた。とりあえず現在使えるシェルの種類を確認する。 cat /etc/shellsこのリストの中から使いたいシェルを選び、 chs…

Streaming APIで取得したJSON形式データ読み込み

前回の記事では、JSON形式のデータをテキストファイルとして保存するところまでを実装した。そのままではPythonインタプリタで import simplejson f = open('test.json','r') tweets = simplejson.load(f) ValueError:Extra data: line ...となって読み込め…

tweepyのStreaming API

TwitterのStreamをPythonで取得するときのメモ。 使用ライブラリはtweepy1.9、Python2.7、Ubuntuで実装。 参考にしたURL→http://blog.unfindable.net/archives/4257 ココのコードは標準出力に出したものをリダイレクトでファイルに書きこむものだったので、…

Aptanaでコーディング

コレまではfirebugでデバッグしていたが、さすがに何かIDE使った方が効率的だろうということでAptanaを使ってテストしてみた。 (正直、IDE使ってブレークポイントをーとかはまだやっていないので、そういったものを期待されてる方はすぐさま別のページを探し…

アンチリテラルのアルケニスト

アンチリテラルの数秘術師(アルケニスト)〈5〉 (電撃文庫)作者: 兎月山羊,笹森トモエ出版社/メーカー: アスキーメディアワークス発売日: 2012/03/10メディア: 文庫 クリック: 6回この商品を含むブログ (9件) を見るアンチリテラルのアルケニスト 5 を読んだ…