Goで書かれたWebアプリケーションからAmazon Redshiftにログを送る勉強をしたかったけど、まずは情報の豊富なApache Webサーバーからのログを送ることにします。 プラグインのインストール ネットの情報を見てると /usr/lib64/fluent/ruby/bin/gem install f…

仕事でFluentdを使う機会が出てきたのでもろもろ調査してみた。 Fluentdとは FluentdとはLinux上で動作するデータのやりとりを管理するソフトウェア。 データのやりとりとは以下の様なことを指す。 必要なところからデータを取り出す (input) そのデータを必…

疎行列の扱い方について 疎行列は要素としてほとんどが0の値となる行列。例えばユーザー×映画のレーティングの行列を考えるとわかりやすい。 映画のデータが約1000個ぐらいあったとすると1000個全ての映画に対してレーティングをするユーザーはほとんどいな…

トピックモデルによるデータ解析 トピックモデルはもともと文書データの解析手法として提案された。 具体的な数式は最尤推定とかMAP推定、ベイズ推定とかの式がたくさん出てくるけど、サクッと試したいときはPythonのライブラリ使えたりする。 LDA (Latent D…

Azure Machine Learning 機械学習をさくっと使える無料のツールです。 内部のアルゴリズムを理解していなくても使える プログラムを書かなくても大丈夫 ということが売りで、素人でも簡単に使用することが可能です。 サンプルコード（というかMaxのパッチみ…

今回は後々役に立ちそうだったので、Qiitaに書いた。 Qiitaとブログの立ち位置をどうするか考えどころ。。。 qiita.com

Shaderを身につけたかったので色々勉強することにしました。 元々少しかじってましたが、実践につかったことなかったので全く身についてませんでした。 ブログにアウトプットすることによってもう少しに身につけていきたい。 記載している内容はThe book of …

データサイエンティスト養成読本 機械学習入門編 データサイエンティスト養成読本 機械学習入門編 (Software Design plus)作者: 比戸将平,馬場雪乃,里洋平,戸嶋龍哉,得居誠也,福島真太朗,加藤公一,関喜史,阿部厳,熊崎宏樹出版社/メーカー: 技術評論社発売日:…

Realmとは iOSやAndroidで使える組み込みのDB。移植や操作が簡単なので最近人気っぽいです。 実際使いやすい。 Realm is a mobile database: a replacement for SQLite & Core Data RelmObject RLMObjectクラスがRelmで扱うデータオブジェクトのクラス。 こ…

2値画像をベクター画像に変換する必要があったので色々調査。 Illustratorで簡単にできが、プログラムの中で処理をしたかったので一旦違う方法で攻めます。 Potrace Peter Selinger: Potrace Potraceを使えば任意のフォーマットのベクター画像に変換できます…

今日は画像処理仕事があったので、色々と復習。 基本openCV使ってます。 2値化 ret, binarizedImage = cv.threshold(input, 180, 255, cv.THRESH_BINARY) binarizedImageが2値化された画像。 細線化 こちら参照 eiichiromomma/CVMLABgithub.com ラベリング s…

iPythonのステップ実行 スクリプト言語で個人的に結構ストレスだったのはIDEによるデバッガが乏しいところでした。 （自分が知らなかっただけですが。。基本printfデバッグしてました。。） デバッグ方法は以下のとおり。 以下のコードを宣言しておく。 （こ…

日本語をoFでタレ流しする超地味アドオン書いてた。 ofxTrueTypeFontUC使ってます。（製作者は多分研究室の先輩） 同じクラス名のアドオンがofxaddonsにあったけどとりあえず気にしない。。 ofxTextWriter.h #include "ofMain.h" #include "ofxTrueTypeFontU…

この論文が話題になってたので、実際に試してみました。 [1508.06576] A Neural Algorithm of Artistic Style 使用したコードはこちらです。 kaishengtai/neuralartgithub.com Torchベースですが、Torchをインストールしていれば簡単に使用することができま…

Variational Autoencoder この論文に詳しくは記載されています。 Semi Supervised Learning with Deep Generative Models 簡単に言うと、入力の変数を潜在変数に落としてAutoencoder。 ラベルも含めた生成モデルとすることで教師データを生成することができ…

C++で日本語文字を取り扱ってたら1日が終わった。。 KST32BというストロークフォントをC++から使おうとしてたら色々とハマってしまったという話です。 KST32BはJISコードの文字のストロークフォントを保持してるのだけど、C++のstring型はUTF8の文字コードを…

色々と雑記前回のブログ記事からだいぶ空いてしまいました。 この1年で自分の環境がかなり変わりそうなので記録をとり始めることにします。 あと、1日毎に何をしていたかをまとめるのはかなり重要だと最近痛感しています。 技術について学んだけど、後日ほと…