Tech

ITに関する記事の一覧

Tech

機械学習用PCを更新

以前の記事「(9/23追記)機械学習用PCを自作」で紹介した通り、機械学習用PCを作成して利用しています。従来のCPUは4スレッドでしたが、LightGBMをRandomizedSearchCVなどを使ってパラメーターのチューニングをしていたところ、GPUではなく、CPUのスレッド数がボトルネックになる場面が多く出てきました。今回Intel Pentium G4560からRyzen5 1600に変更して、スレッド数を3倍に拡張しました。

(解決済)WindowsがGCEで使えない問題
Tech

(解決済)WindowsがGCEで使えない問題

GCEでWindows(Windows Server 2016)を動かしてみようとしたところ、なぜか起動できません。調査中ですが、発生した事象をメモしておきます。エラーメッセージ Constraint constraints/compute.storageResourceUseRestrictions violated for project {id of project} projects/windows-cloud/global/images/windows-server-2016-dc-v20180410 can't be used within your organization.

LightGBM(CPU版)をインストール
Tech

LightGBM(CPU版)をインストール

1.ソースコードをダウンロード git clone --recursive https://github.com/Microsoft/LightGBM cd LightGBM 2.ビルド buildディレクトリを作成して、ディレクトリに入ります。 mkdir build cd build ビルドします。バーっとメッセージが出てError等がなければOK。 cmake .. make -j4 3.Pythonパッケージのインストール 一つ上のディレクトリ(LightGBM)配下にpython-packageがあるので移動します。

TensorFlowでCPUの拡張命令を利用できるようにする(Ubuntu 16.04)
Tech

TensorFlowでCPUの拡張命令を利用できるようにする(Ubuntu 16.04)

以下のサイトと同じ内容なのですが、Ubuntu 16.04環境へのbazelのインストールと低スペックなVPS上でのコンパイルのためオプションなどを一部変更しています。 Python: Keras/TensorFlow の学習を CPU の拡張命令で高速化する (Mac OS X) bazelのインストール まずはTensorFlowのビルド環境を整えようと思います。公式サイト通りに進めればOKです。 Install Bazel on Ubuntu 今回は、手軽なバイナリインストーラを使います。 Install using binary installer 何度も同じサイトを読むのも面倒なので、コマンドをまとめて記載します。 1.必要なパッケージをインストール

(6/29追記)DockerでXGBoost on Python+GPUを使う
Tech

(6/29追記)DockerでXGBoost on Python+GPUを使う

最近、いくつかのアルゴリズムを組み合わせる「アンサンブル学習」という方法があるらしいことを知りました。アルゴリズム探していたところXgboostというものを見つけたので、Dockerコンテナで動かしているJupyterでも使えるようにしました。 インストール方法は、公式ドキュメントを参考にしています。 Installation Guide https://xgboost.readthedocs.io/en/latest/build.html#python-package-installation Dockerで動かしているJupyter Notebookの環境で使えるようにDockerfileに以下の一行を追加しました。 RUN git clone --recursive https://github.com/dmlc/xgboost

NVIDIA DockerでコンテナからCUDAを使えるようにする
Tech

NVIDIA DockerでコンテナからCUDAを使えるようにする

1.Ubuntu 16.04 Serverをインストールする OSとしては、情報の多さからUbuntu16.04を選択しました。 Ubuntu自体、日本語での情報が多い 様々なアプリ、ライブラリのインストール、設定情報も多い CUDAを使ったDeepLearningの高速化の情報も多い クライアントとして使っているThinkPad X240は、Ubuntu 16.04 Desktopです。2017年1月にWindows10を卒業してから、半年ほど利用していますが、不自由はありません。 今回は、ブラウザからJupyter経由、もしくはSSHで利用し、ディスプレイをつなぐことも無いため、Ubuntu 16.04

GTX-1050TiでCUDA8.0+cuDNN5.1+TensorFlow
Tech

GTX-1050TiでCUDA8.0+cuDNN5.1+TensorFlow

先日構築した機械学習用PCでTensorFlowを動かそうと頑張っていましたが、ドライバ、CUDA toolkit、cuDNNを入れて、TensorFlowをビルドしてもうまく動かず、途方に暮れていました。 どうやらcuDNNのver6.0を入れていたのが良くなかったようで、以下の記事を参考にcuDNN5.1 for CUDA8.0とpipでtensorflow-gpuを入れたらすんなり動いてしまいました。 Qiita|GTX-1080でTensorFlow https://qiita.com/Sert/items/48fafa5b28be5b739784 GTX1050Tiに合わせてドライバのバージョンだけnvidia-375に変更しています。 NVIDIAのサイトでGPUに合ったドライバを確認して、 NVIDIAドライバダウンロード http://www.nvidia.co.jp/

Ubuntu 16.04 にGTX1050Tiドライバをインストール
Tech

Ubuntu 16.04 にGTX1050Tiドライバをインストール

Ubuntu16.04(Desktop版)にGTX1050Tiのドライバをインストールしていきます。ドライバを入れていない状態だと解像度が変更できないか、低解像度しか設定できません。CUDAを使う前提にもなります。 参考にしたのはこちら。 第454回 Ubuntu 16.04 LTSにNVIDIA製ドライバーをインストールする3つの方法 https://gihyo.jp/admin/serial/01/ubuntu-recipe/0454 dkmsのダウンロード sudo apt install dkms ダウンロード wget http://jp.