シェルスクリプトで可変長データを読み取る
はじめに
こんなデータに出くわした。data.txtとする。
1, hoge, foo, bar, piyo, [ID: 1; a; b; c; d;ID: 2; a; b; c; d;ID: 3; a; b; c; d;ID: 4; a; b; c; d;ID: 5; a; b; c; d;] 2, hoge, foo, bar, piyo, [ID: 1; a; b; c; d;] 3, hoge, foo, bar, piyo, [ID: 1; a; b; c; d;ID: 2; a; b; c; d;ID: 3; a; b; c; d;] 4, hoge, foo, bar, piyo, [ID: 1; a; b; c; d;ID: 2; a; b; c; d;]
[]で囲まれた部分が可変長のデータになっている。可変長部分から'b'だけを取り出して、縦1列に並べたい。
1 b 2 b 3 b 4 b 5 b 1 b 1 b 2 b 3 b 1 b 2 b
今回一回限りのデータ処理だったので、久々にシェルで遊ぶことにした。以下は考えた順番通りのメモ。もっといい方法はあると思うが。
実践
下ごしらえとしてawkで[ ]の部分だけを取り出す。[ ]の中と外でセパレータが違うのでありがたい。
簡単のため、最初の1行だけで処理を考える。
head -1 data.txt | awk -F ',' '{print $6}'
[ID: 1; a; b; c; d;ID: 2; a; b; c; d;ID: 3; a; b; c; d;ID: 4; a; b; c; d;ID: 5; a; b; c; d;]
awkでforを回すことも考えた。しかし今回は先に試した別の方法がうまく機能した。
head -1 awk -F, '{print $6}' | tr "ID:" "\nID:" | awk -F ';' 'NR>1{print $3}'
'ID'を検索して、'ID'が見つかるたびに改行する。すると
[ ID 1; a; b; c; d; ID 2; a; b; c; d; ID 3; a; b; c; d; ID 4; a; b; c; d; ID 5; a; b; c; d;]
と複数の行であらわされた！あとは各行について、awkで'b'を取り出すだけだ。1行目は'['が邪魔なのでNR>1で回避しておく。
最後に、元データの各行についてこれを実行すればいいから、head -1 の部分をwhile readに変更して１行ずつ読み取るようにした。
cat data.txt | while read LINE; do echo $LINE | awk -F, '{print $6}' | tr "ID:" "\nID:" | awk -F ';' 'NR>1{print $3}' | cat -n; done
1 b 2 b 3 b 4 b 5 b 1 b 1 b 2 b 3 b 1 b 2 b
ついでに
一応関数化してみる。'cat -' で標準入力を受けられるものにした。
read_multi_frame(){ cat - | awk -F, '{print $6}' | tr "ID:" "\nID:" | awk -F ';' 'NR>1{print $3}' }
cat data.txt | while read LINE; do echo $LINE | read_multi_frame | cat -n; done
以上。
jediによるpythonコード補完 with Emacs on Windows
線分と平面の交点を求める
線分の両端点(a, b)と平面の法線ベクトル(nv)と平面上の任意の点(p)から、線分と平面の交点を求めるC++のプログラム。
線分abと平面の交点が線分abを内分する点となることから交点の座標を計算する。
#include <iostream> #include <opencv2/opencv.hpp> #include <opencv2/highgui/highgui.hpp> #include <string> using namespace std; cv::Mat Intersect3D( cv::Mat& nv, // 平面の法線ベクトル cv::Mat(3,1) cv::Mat& p, // 平面上の任意の1点 cv::Mat(3,1) cv::Mat& a, // 線分の端点 cv::Mat(3,1) cv::Mat& b // 線分の端点 cv::Mat(3,1) ){ // 返り値 cv::Mat ret = (cv::Mat_<double>(3,1) << 0,0,0); // ベクトルの準備 cv::Mat pa, pb; // p->a, p->bのベクトル pa = a - p; pb = b - p; // 内積計算 double dot_a = pa.dot(nv); // paベクトルと法線ベクトルの内積 double dot_b = pb.dot(nv); // pbベクトルと法線ベクトルの内積 // 内積が0の場合交点がなく、直線が平面に含まれる double MIN_DOT_TH = 0.000001; if( fabs(dot_a) < MIN_DOT_TH ){dot_a = 0;} if( fabs(dot_b) < MIN_DOT_TH ){dot_b = 0;} // 交点なし if( dot_a==0 && dot_b==0){ return ret; // [0,0,0]'で返す } // 交点なし if( dot_a*dot_b > 0 ){ return ret; // [0,0,0]'で返す } // 交点あり cv::Mat ab = b - a; double ratio = fabs(dot_a) / (fabs(dot_a) + fabs(dot_b) ); ret = a + ab * (ratio); return ret; // 計算結果を返す } int main(int argc, char *argv[]){ cv::Mat a = (cv::Mat_<double>(3,1) << 0,0, 0); // 端点1 cv::Mat b = (cv::Mat_<double>(3,1) << 2,2,-2); // 端点2 cv::Mat p = (cv::Mat_<double>(3,1) << 0,0,-1); // 平面上の点 cv::Mat nv = (cv::Mat_<double>(3,1) << 0,0, 1); // 法線ベクトル cv::Mat c = Intersect3D(nv, p, a, b); // 交点 cout << "result: " << c << endl; return 0; }
LabelingクラスをOpenCVで利用
学生時代にも一度お世話になったラベリングクラスhttp://imura-lab.org/products/labeling/を久々に使いました。
OpenCVで使える関数を作ったのでメモ。
2値化が大津の手法なので、琵琶湖の画像にしてみました。
素敵な写真はこちらから使わせていただきました。綺麗ですね。
https://www.itoen.co.jp/itoen-motherlake/photocontest.html
RANSACで多項式推定
RANdom SAmple Consensus:RANSACは、外乱を含む観測値から数学的モデルのパラメタを推定する手法のひとつである。インターネットで調べれば文献が出てくるが、サンプルプログラムを調べてみるとOpenCVのHomography行列の推定か直線の推定がおおいので、多項式の推定をしてみた。
選ばれたinlierから再度パラメタを最小二乗法で推定するべきだが、今回はまだ実装していない。https://github.com/thinkbell/ransac_cubic_equation
Amazon DriveでMacの写真のバックアップ
はじめに
自分はMacの「写真app」を使って写真を管理し、これをiPhoneと同期させて出先で見たり見せたりしている。
そろそろクラウド上にバックアップを取ろうと思い、Amazon Driveを使うことにした。
Amazon Drive
Amazon Driveとは、Amazonが運営するクラウド上のストレージサービスである。
https://www.amazon.co.jp/clouddrive/home
Amazon prime会員用のサービスで、prime会員ならすぐにAmazon Driveを使うことができる。
写真データのみ容量無制限で利用可能らしいので、他のサービス（Google, Drop boxなど）と比較することなくこれに決めた。
写真のバックアップをとる
今回Amazon Driveを使う目的はただ一つ、万が一HDDが壊れたときのために写真のバックアップをクラウド上にとっておくこと。
そのため、管理しやすさとか見易さはほとんど気にしない。ただ、クラウド上にデータが存在していればいい。
Amazon Driveのクライアントソフトをインストールする。クラウドと共有にするディレクトリはどこでもいい。
メニューバーに新しく加わった雲マークを選択し、ファイルのアップロードを選ぶ。
そして、「写真 Library」の中の「Thumbnails」ディレクトリをぶち込む。
Amazon Driveのウィンドウからだと「写真 Library」そのものを選ぶことができない && それより先のディレクトリに入れなかったので、
ln -s ~/Picture/写真\ Library.photoslibrary/Thumbnails ~/Thumbnails
などとシンボリックリンクを作成し、Amazon Driveから選択できるようにした。
この中にはサムネイル画像とか顔認識用途の画像がたくさん入っているようだが、そんなことはどうでもいい。
（本当は「写真 Library」の中のどこがバックアップすべきファイルなのか調べたいけど、面倒なのでやっていない）
数万個のファイルが同期されるのを待つだけである。
2万枚……すまん、Amazon。
# 追記
しかしこれ、同じファイルをもう一度アップロードするとどうなるんだろう。
上書きされるならいいけど、名前の違う同じ内容ファイルが重複したらめんどくさいな。
