Mixed-precision weights network for field-programmable gate array

Ninnart,  Fuengfusin

WEKO3

lat lon distance

[[sub_check.contents]]

[[sub_radio.contents]]

Field does not validate

[[sub_attr.contents]]　

インデックスツリー

アイテム

Field Programmable Gate Arrayでの実装に適した混合精度重みモデルに基づくニューラルネットワーク

https://doi.org/10.18997/00008662

名前 / ファイル	ライセンス	アクション
sei_k_419.pdf (2.7 MB)

アイテムタイプ

学位論文 = Thesis or Dissertation(1)

公開日

2021-12-20

資源タイプ

資源タイプ識別子

http://purl.org/coar/resource_type/c_db06

資源タイプ

doctoral thesis

タイトル

Mixed-precision weights network for field-programmable gate array

言語

タイトル

Field Programmable Gate Arrayでの実装に適した混合精度重みモデルに基づくニューラルネットワーク

言語

eng

著者

Ninnart, Fuengfusin

抄録

内容記述タイプ

Abstract

内容記述

In this study, I introduced a mixed-precision weights network （MPWN）, which is a quantization neural network that jointly utilizes three different weight spaces: binary {-1, 1}, ternary {-1, 0, 1}, and 32-bit floating-point. I further developed the MPWN from both software and hardware aspects. From the software aspect, I evaluated the MPWN on the Fashion-MNIST, CIFAR10, and ILSVRC 2012 datasets. I systematized the accuracy sparsity bit score, which is a linear combination of accuracy, sparsity, and number of bits. This score allows Bayesian optimization to be used efficiently to search for MPWN weight space combinations. From the hardware aspect, I proposed XOR signed-bits to explore floating-point and binary weight spaces in the MPWN. XOR signed-bits is an efficient implementation equivalent to the multiplication of floating-point and binary weight spaces. Using the concept from XOR signed bits, I also provide a ternary bitwise operation that is an efficient implementation equivalent to the multiplication of floating-point and ternary weight space. To demonstrate the compatibility of the MPWN with hardware implementation, I synthesized and implemented the MPWN in a field-programmable gate array using high-level synthesis. My proposed MPWN implementation utilized up to 1.68-4.89 times less hardware resources depending on the type of resources than a conventional the 32-bit floating-point model. In addition, my implementation reduced the latency up to 31.55 times compared to 32-bit floating-point model without optimizations.

内容記述タイプ

TableOfContents

内容記述

1 Introduction||2 Background||3 Mixed Precision Weight Network and FPGA Design||4 Related Works||5 Experimental Results and Discussion||6 Conclusion

備考

内容記述タイプ

Other

内容記述

九州工業大学博士学位論文学位記番号：生工博甲第419号学位授与年月日：令和3年9月24日

キーワード

主題Scheme

Other

主題

Deep Learning

キーワード

主題Scheme

Other

主題

FPGA

キーワード

主題Scheme

Other

主題

Quantization Neural Networks

キーワード

主題Scheme

Other

主題

Neural network

キーワード

主題Scheme

Other

主題

Image recognition

アドバイザー

田向, 権

学位授与番号

甲第419号

学位名

博士（工学）

学位授与年月日

2021-09-24

学位授与機関

学位授与機関識別子Scheme

kakenhi

学位授与機関識別子

17104

学位授与機関名

九州工業大学

学位授与年度

内容記述タイプ

Other

内容記述

令和3年度

出版タイプ

VoR

出版タイプResource

http://purl.org/coar/version/c_970fb48d4fbd8a85

アクセス権

open access

アクセス権URI

http://purl.org/coar/access_right/c_abf2

ID登録

10.18997/00008662

ID登録タイプ

JaLC

戻る

views

See details

	Views

Versions

Ver.1

2023-05-15 12:56:35.013943

Show All versions

Cite as

Other

エクスポート

OAI-PMH

JPCOAR 2.0
JPCOAR 1.0
DublinCore
DDI

Other Formats

インデックスリンク

インデックスツリー

アイテム

Field Programmable Gate Arrayでの実装に適した混合精度重みモデルに基づくニューラルネットワーク

× Ninnart, Fuengfusin

Versions

Share

Cite as

Other

エクスポート

コミュニティ

メニューを最小化

インデックスリンク

インデックスツリー

アイテム

Field Programmable Gate Arrayでの実装に適した混合精度重みモデルに基づくニューラルネットワーク

× Ninnart, Fuengfusin

Versions

Share

Cite as

Other

エクスポート

コミュニティ