Tech

いろいろなライブラリやツールを触っているので、一旦整理しておこうと思います。最近のヒットは機械学習（Sckit-learn、LightGBM、Keras）とDockerです。基礎的な使い方はできるようになったので、「お勉強」の断捨離とマネタイズを考えていきたいです。

RailsのDBをSQLite3からMariaDBに切り替えてみました。DB用のコンテナを起動して仮想ネットワークを作ってみたりしたときのメモ。

GCEでWindows（Windows Server 2016）を動かしてみようとしたところ、なぜか起動できません。調査中ですが、発生した事象をメモしておきます。エラーメッセージ Constraint constraints/compute.storageResourceUseRestrictions violated for project {id of project} projects/windows-cloud/global/images/windows-server-2016-dc-v20180410 can't be used within your organization.

複数のLightGBMRegressorのモデルを作ろうとfor文の中でScikit-learnのRandomizedSearchCVを使ったら'Out of resources'というエラーが出ました。原因はよくわかりません。別プロセスに切り出すという力技で回避したので、その方法をメモ。

システムトレード関連でLightGBMRegressorのパラメータをScikit-learnのRandomizedSearchCVでチューニングをしていてはまりました。Stack Overflow（英語）にも上げたんですが、なかなか回答がないので、日本語でも書いておくことにしました。

Keras（TensorFlow）でResource exhaustedというエラーに遭遇しました。GPUのメモリ不足でメモリ領域を確保できないといった内容のエラーです。回避方法をメモしておきます。

Ubuntu16.04LTS(Desktop)にRuby2.3.5の開発環境構築をしたので自分用に残しておきます。railsの実行環境はDocker、エディタはAtomを使っています。

作業しながらメモを取っていますので、どんどん追記します。 コンテナを起動し、コンテナに入ります。 $ sudo docker run -it -e VIRTUAL_HOST=ror.mockun.com --expose=3000 --name ruby ruby:2.4.1-jessie /bin/bash OSパッケージの最新化とsqlite3とvimのインストール。 $ apt update -qq $ apt upgrade

1.ソースコードをダウンロード git clone --recursive https://github.com/Microsoft/LightGBM cd LightGBM 2.ビルド buildディレクトリを作成して、ディレクトリに入ります。 mkdir build cd build ビルドします。バーっとメッセージが出てError等がなければOK。 cmake .. make -j4 3.Pythonパッケージのインストール 一つ上のディレクトリ(LightGBM)配下にpython-packageがあるので移動します。

以下のサイトと同じ内容なのですが、Ubuntu 16.04環境へのbazelのインストールと低スペックなVPS上でのコンパイルのためオプションなどを一部変更しています。 Python: Keras/TensorFlow の学習を CPU の拡張命令で高速化する (Mac OS X) bazelのインストール まずはTensorFlowのビルド環境を整えようと思います。公式サイト通りに進めればOKです。 Install Bazel on Ubuntu 今回は、手軽なバイナリインストーラを使います。 Install using binary installer 何度も同じサイトを読むのも面倒なので、コマンドをまとめて記載します。 1.必要なパッケージをインストール

最近、いくつかのアルゴリズムを組み合わせる「アンサンブル学習」という方法があるらしいことを知りました。アルゴリズム探していたところXgboostというものを見つけたので、Dockerコンテナで動かしているJupyterでも使えるようにしました。 インストール方法は、公式ドキュメントを参考にしています。 Installation Guide https://xgboost.readthedocs.io/en/latest/build.html#python-package-installation Dockerで動かしているJupyter Notebookの環境で使えるようにDockerfileに以下の一行を追加しました。 RUN git clone --recursive https://github.com/dmlc/xgboost

1.Ubuntu 16.04 Serverをインストールする OSとしては、情報の多さからUbuntu16.04を選択しました。 Ubuntu自体、日本語での情報が多い 様々なアプリ、ライブラリのインストール、設定情報も多い CUDAを使ったDeepLearningの高速化の情報も多い クライアントとして使っているThinkPad X240は、Ubuntu 16.04 Desktopです。2017年1月にWindows10を卒業してから、半年ほど利用していますが、不自由はありません。 今回は、ブラウザからJupyter経由、もしくはSSHで利用し、ディスプレイをつなぐことも無いため、Ubuntu 16.04

先日構築した機械学習用PCでTensorFlowを動かそうと頑張っていましたが、ドライバ、CUDA toolkit、cuDNNを入れて、TensorFlowをビルドしてもうまく動かず、途方に暮れていました。 どうやらcuDNNのver6.0を入れていたのが良くなかったようで、以下の記事を参考にcuDNN5.1 for CUDA8.0とpipでtensorflow-gpuを入れたらすんなり動いてしまいました。 Qiita|GTX-1080でTensorFlow https://qiita.com/Sert/items/48fafa5b28be5b739784 GTX1050Tiに合わせてドライバのバージョンだけnvidia-375に変更しています。 NVIDIAのサイトでGPUに合ったドライバを確認して、 NVIDIAドライバダウンロード http://www.nvidia.co.jp/

Ubuntu16.04(Desktop版)にGTX1050Tiのドライバをインストールしていきます。ドライバを入れていない状態だと解像度が変更できないか、低解像度しか設定できません。CUDAを使う前提にもなります。 参考にしたのはこちら。 第454回　Ubuntu 16.04 LTSにNVIDIA製ドライバーをインストールする3つの方法 https://gihyo.jp/admin/serial/01/ubuntu-recipe/0454 dkmsのダウンロード sudo apt install dkms ダウンロード wget http://jp.