WEKO3
アイテム
切り捨てビットを用いた乱数生成器不要の制限付きボルツマンマシンの実装法と評価ハードウェア基盤の構築
https://doi.org/10.18997/00008920
https://doi.org/10.18997/00008920c3c756f0-b2ad-4600-88ef-b505e9d5cd56
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
sei_k_435.pdf (5.1 MB)
|
|
| Item type | 学位論文 = Thesis or Dissertation(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-06-20 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_db06 | |||||||||
| 資源タイプ | doctoral thesis | |||||||||
| タイトル | ||||||||||
| タイトル | 切り捨てビットを用いた乱数生成器不要の制限付きボルツマンマシンの実装法と評価ハードウェア基盤の構築 | |||||||||
| 言語 | ja | |||||||||
| タイトル | ||||||||||
| タイトル | An implementation method using cut-off bits for restricted Boltzmann machines without random number generators and an evaluation hardware platform | |||||||||
| 言語 | en | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| 著者 |
堀, 三晟
× 堀, 三晟
|
|||||||||
| 抄録 | ||||||||||
| 内容記述タイプ | Abstract | |||||||||
| 内容記述 | 深層学習が人工知能，artificial intelligence（AI）の代名詞のように扱われて久しい今日，深層学習を実現する多層のニューラルネットワーク，いわゆる深層ニューラルネットワークはさまざまなアプリケーションに応用されている．これらは物体検出や画像分類，自然言語処理，画像生成など分野は多岐にわたり，日々我々が使っているスマートフォンやパソコン，Webサービスなど，今日の生活にはなくてはならないものとなっている．また，深層学習の研究では，ネットワークの構造や学習手法などさまざまな研究成果が発表されている．一方で，深層学習は大量のデータ，大量のパラメタを扱う大規模なアプリケーションでもあり，これを実行する計算資源の需要も増加の一途を辿っている．加えて，スマートフォンなど，小型機器に深層学習を組込み，オフラインでアプリケーションを実行する用途も存在する．これらの背景から，近年ではIT企業各社が，サーバ向け，組込み向け問わず，AI向けハードウェアを多数発表している．本研究では，まず，AIハードウェアで必要となる，乱数生成器に焦点を当てる．本論文では，ディジタル回路で演算を実行した際に生成される切り捨てビットを乱数の代替として用いることで，乱数生成器を削減する手法を提案する．また，本手法を検証するために，制限付きボルツマンマシン（restricted Boltzmann machine: RBM）に提案した切り捨てビットを用いる手法を実装し，FPGA実装を見据え，高位合成環境にて固定小数点演算をエミュレートすることで，提案手法を実行した．この時に生成される切り捨てビットが一様分布に従うか，統計的検定であるカイ二乗適合度検定を実施し一様性を検証した．また，提案手法のハードウェア実装時の有効性を示すため，field-programmable gate array（FPGA）などのディジタル回路で用いられる擬似乱数生成器であるxorshiftや線形帰還シフトレジスタ（linear feedback shift register: LFSR）と提案手法をVerilog HDLで記述し，論理合成を実施し比較を行なった．次に本研究では，FPGAをPCに接続し，PC上のソフトウェアと協調動作するアプリケーションを簡単に検証できるようにする，検証用プラットフォームを構築した．本プラットフォームの動作を検証するために，簡単な画像処理回路と従来手法によるRBMを実装し，FPGA上で動作させた．本論文では，提案した手法を用いてMNISTデータセットやFashion-MNISTデータセットの学習をソフトウェア上のRBMで実施し，入出力データの交差エントロピー誤差を観測することで，学習が進行することを確認した．また，生成された切り捨てビットの一様性については，日本工業規格（Japanese industrial standards: JIS）の付属書などに記載されているカイ二乗適合度検定を用いて，一様性の検定に合格する結果を得た．さらに，ハードウェア実装時の回路資源を，xorshift，LFSRと比較し，提案手法が最も少ないことを示した．これと同時に，擬似乱数もしくは切り捨てビットを取得する際の消費電力量の見積もりも行い，提案手法の優位性を確認した．一方，検証用プラットフォームはFPGA上で動作させることに成功し，実装したアプリケーションの動作を確認した．加えて，提案手法を用いた積和演算とサンプリングを行う回路をこのプラットフォームに実装し，その動作を確認した．以上より，本研究の成果は，固定小数点演算で切り捨てられていた数値を用いることで，乱数生成器を実装せずにRBMをはじめとする確率的ニューラルネットワークをディジタルハードウェアに実装できる可能性を示したこと，ハードウェア開発者が提案した回路を簡単にFPGAに実装するプラットフォームを実現したこと，以上の2点である． | |||||||||
| 言語 | ja | |||||||||
| 目次 | ||||||||||
| 内容記述タイプ | TableOfContents | |||||||||
| 内容記述 | 第1章 序論||第2章 理論と背景||第3章 切り捨てビットを用いた制限付きボルツマンマシンの実装法の提案||第4章 評価ハードウェア基盤の構築||第5章 性能評価と実装||第6章 考察と今後の課題||第7章 結論 | |||||||||
| 備考 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 九州工業大学博士学位論文 学位記番号: 生工博甲第435号 学位授与年月日: 令和4年3月25日 | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 制限付きボルツマンマシン | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | FPGA | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 乱数生成器 | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ニューラルネットワーク | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 生成モデル | |||||||||
| アドバイザー | ||||||||||
| 田向, 権 | ||||||||||
| 学位授与番号 | ||||||||||
| 学位授与番号 | 甲第435号 | |||||||||
| 学位名 | ||||||||||
| 学位名 | 博士（工学） | |||||||||
| 学位授与年月日 | ||||||||||
| 学位授与年月日 | 2022-03-25 | |||||||||
| 学位授与機関 | ||||||||||
| 学位授与機関識別子Scheme | kakenhi | |||||||||
| 学位授与機関識別子 | 17104 | |||||||||
| 学位授与機関名 | 九州工業大学 | |||||||||
| 学位授与年度 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 令和3年度 | |||||||||
| 出版タイプ | ||||||||||
| 出版タイプ | VoR | |||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||
| アクセス権 | ||||||||||
| アクセス権 | open access | |||||||||
| アクセス権URI | http://purl.org/coar/access_right/c_abf2 | |||||||||
| ID登録 | ||||||||||
| ID登録 | 10.18997/00008920 | |||||||||
| ID登録タイプ | JaLC | |||||||||
