BERT一問一答

BERTとNLPの基礎について勉強したのでメモ。 paraphrasingとは? どんなタスク? 言い換え。要約とか剽窃検出での応用がある。 named entity recognitionとは? 文中の固有表現にタグをつけるタスク。地名とか時間とか人名とか BERTの学習は穴埋めだという記憶…

StyleGAN一問一答

StyleGAN[1]について勉強したのでメモ。 なぜStyleGAN? [2]のTable 1でも示されているように、現状では多くの研究がStyleGANをベースにして発展を遂げている。 Z-SpaceとW-Spaceの違いは? Zの元をmapping networkと呼ばれる8層の全結合層で変換してWの元とす…

PyTorch版StyleGAN2の編集

Introduction StyleGANをはじめとする画像生成モデルが注目を集めている。生成モデルはノイズから画像への写像と捉えられるが、この逆写像を求める試みはGAN Inversionと呼ばれ、様々な手法が提案されている[1]。 GAN Inversionにおける実装では、前提とする…

単調劣モジュラ最大化に関する最近の動向

[注意] このブログ記事の筆者は劣モジュラ最適化の専門家ではない. [Chen+] Best of Both Worlds: Practical and Theoretically Optimal Submodular Maximization in Parallel, NeurIPS21 [Liu+] Cardinality constrained submodular maximization for rand…

論文の重要なアイデア

重要だと思った論文のアイデアを書き溜めていきます. GAN Generative Adversarial Networks (GAN)[1] では,次のようなBinary Cross-Entropy誤差を最大化することで,識別器Dを学習します. Dは単に入力が分布p(x)から生成されたものか,分布p(y)から生成さ…

実験管理(2)

筆者個人用のメモ書きです. Gitオブジェクト Gitにおけるスナップショットの単位であるコミットは,実態として,主に3種類のオブジェクト:blob, tree, commitから構成される. ステージングされたファイル:git addで管理下に入ったファイルは,blobオブジ…

深層学習のためのDocker(3)

Dockerエンジンをsudoなしで使う 毎回sudoでdockerを使うのは共有サーバーとかだと好ましくない(?)のでsudoなしでdockerを使いたい. ホストOSで対象ユーザーをdockerグループに追加する. # dockerグループが存在するか $ cat /etc/group | grep docker # …

深層学習のためのDocker(2)

インストール手順 Dockerコンテナ内とホストOSのNVIDIAドライバーの接続が面倒らしく,それをNVIDIA Container Toolkitが解決してくれる. ホストOSに(1)Docker Engine, (2)NVIDIA Driver, (3)NVIDIA Container Toolkitをインストールする. 順番は123もしく…

深層学習のためのDocker(1)

機械学習のために利用可能な実験サーバーが複数ある状況を考える. この時,コードの実行に必要なライブラリをそれぞれのサーバーにおのおのインストールすることには,いくつかの問題がある: 手間: 全てのサーバーにいちいちライブラリをインストール/更新…

実験管理(1)

概要 機械学習の研究開発においては,プログラムやハイパーパラメータの変更・モデルの学習・モデルの評価,というサイクルを繰り返す.本稿では,より素早く質の高いアウトプットを目指し,実験管理:洗練された方法で実験結果を管理する方法を紹介する. …

TryOnGAN

TryOnGAN: Body-Aware Try-On via Layered Interpolationに関する雑なメモ ACM SIGGRAPH 2021 (2021.1にarXiv公開) Virtual Try-On (VITON, VTON)に関する最近の研究 問題設定: - 2枚の入力画像が与えられる - I^pには人物Aが服Bを着用した様子 - I^gには人…

OKR

Measure What Matters (John Doerr著) をざっと読んだのでメモ. OKR(Objectives and Key Results)は,達成したい目標と,これを充足する具体的な成果を検討するマネジメントの一手法である. 目標には,シンプルに(1文で)visionを書く 主要な結果には,測定…

SQLの勉強1

Abstract SQLのSELECTについて勉強したのでメモ. Introduction SQLのSELECTの難しさとして,次のようなものが挙げられる: (1) SELECTはDBに格納されている値をフィルタリングしたり変換したりと,複数の手順から構成される処理であるにもかかわらず,手続き…

zdoom/slade3あれこれ

1 Slade3に.wadファイルを読ませたときのSCRIPTにはENTER関数がある. この関数内でSetActorPropertyを実行することである意味チートのような状態を作ることができる. SetActorPropertyは(tid(プレイヤーの場合は0), プロパティ, 値)という形で実行する.…

Ubuntu18.04にViZDoom+RTX2080対応Chainerの構築

強化学習でしばしば用いられるViZDoomというゲーム環境のセットアップと,これを深層学習で捌くためのGPU-Chainer環境の構築メモ.GPUはnvidiaのRTX2080を使っており,CUDA10.1/cuDNN7.6.4を対象. # for ViZDoom sudo apt updatesudo apt install build-ess…

Slade3の使い方メモ(随時更新)

DoomというゲームのレベルエディタであるSlade3の使い方に関するメモ wad とりあえずSlade3初心者なので既存のレベルをカスタムする方向で考える Slade3を起動して.wadファイルをドラック&ドロップすることで編集を開始 レベルに関する全ての情報は.wadに集…

深層学習のモデル圧縮・高速化に関する論文80本ノック

こんにちは.無事に3年生に進級できてホッとしています. 昨年度から深層学習のモデル改変による高速化手法について調べていました.そんなわけで本稿では深層学習モデルのパラメータ容量の削減や高速化を目的とした手法に関する論文を80本紹介します. 一部, ハ…

Windows10 + GTX1080Ti + Chainer

GTX1080Tiでディープラーニングを加速させたい.それだけ. 1. GTX 1080TiをPCI Expressに繋ぐ ちなみに電源は600Wにしました. 2.BIOSの設定を確認してビデオカードの優先度をPCI Express > オンボードにする 3.ディスプレイとGPUを繋ぐ. 要するにGPU経由でデ…

ECU その1

ECUとかインジェクションとかの仕組みが気になったので調べてみた. やりたいことがあるとすれば, 60km/hの速度制限 ECU自作 トラクションコントロール くらいだろうか. 以下, YZF-R15 Ver1 Service Manualより引用・翻訳 OUTLINE OF THE FI SYSTEM 燃料供給…

YAMAHA YZF-R15(Ver2) ハンドルの交換

ハンドルを買う YZF-R15のフォーク径は33φです。バーの径は22.2φです。 注意点1 主に垂れ角調節が出来るセパハンは, ハンドルバーとフォーククランプの連結部分がフォーククランプの最下部より更に下にはみ出る場合が多いです。このはみ出た部分がアッパーブ…

YAMAHA YZF-R15(Ver2) スターターモーターの点検

下図を参考にモーターを外します。 (R15 ver1のサービスマニュアルから引用) 外すと以下のようになります この状態のスターターモーターのプラス端子(上の画像で上側に突き出している部分)とバッテリーのプラス端子を接続します。また, バッテリーのマイナス…

YAMAHA YZF-R15(Ver2) リレーの点検

YZF-R15 Ver2が不動になった時にスターターリレーとスターティングサーキットカットオフリレーを点検したのでメモ。 スターターリレー シート下にある黒いボックスです。バッテリーも黒いボックスと言えますが, それではなくピンク色の部品と連結されている…

Intel EdisonでモバイルWi-Fiカメラ

Intel Edisonを使用してモバイルWi-Fiカメラを作成しました. PCの画面 ソフトウェア $ opkg install opencv $ opkg install python-opencv でEdisonにOpenCVがインストールされます. $ python >>> cap = cv2.VideoCapture(0) >>> ret, frame = cap.read() こ…

Intel EdisonとMacのad-hoc Wi-Fi通信

2015年2月のファームウェアアップデートにより, Edisonで簡単にアドホック通信が出来るようになりました.本記事ではEdisonとMacのアドホック通信の手順について述べます. 1.下からEdisonのsetup toolをダウンロード IoT - Intel® Edison Board Download | In…