中央研究院 Logo

資訊科學研究所

碩士級專任研究助理 三名 (研發替代役可)

深度學習模型推論和訓練優化研究 (Optimization of Deep Learning Model Inference and Training)

Machine Learning Systems團隊的研究方向包括：平行與分散式計算、編譯器、以及計算機架構。我們利用電腦系統的技術加速深度學習模型推論和訓練，並研究下一世代機器學習模型的系統開發和優化。


我們的研究方向著重於：
1. 深度學習模型在異質環境的推論優化研究。
許多智慧型系統像是自駕車和語音助理，這些系統通常執行了許多複雜的深度學習模型 (complex deep learning models: hybrid models, multi-models, and multi-task models)。另一方面，近年來電腦發展朝向了異質且多處理器的架構設計 (heterogeneous architecture: CPUs+GPUs+AI accelerators)。如何整合這些電腦上異質處理器來執行複雜模型並達到高效能的運算，是十分重要且具有挑戰性的研究。針對此問題，我們將研究 (1) 模型運算與異質處理器的分配方法，(2) 排程演算法設計，(3) 模型執行平行化：data parallelism, model parallelism, and tensor parallelism。

2. 模型壓縮和計算優化研究。
模型壓縮 (pruning and quantization) 透過降低模型容量與運算量，來達到模型執行加速，對於資源有限的計算平台如嵌入式系統，以及有限記憶體的AI加速器，是一項非常重要的技術。為了有效執行壓縮模型，許多次世代處理器設計了新的運算功能，例如向量運算 (AVX512, SVE) 和矩陣加速器 (matrix-multiplication unit on GPUs and NPUs) 等強化功能。我們將研究 (1) 如何利用這些強化運算功能加速壓縮模型的執行，(2) 各種計算平台，例如伺服器、邊緣裝置、異質系統等，佈署壓縮模型的方法。

3. 深度學習模型設計與訓練加速研究。
近年來，深度學習模型除了容量快速地增加，模型架構也變得越來越複雜，例如complex CNN and GNN模型、以及大型語言模型 (large language models)。我們將針對這些大型深度學習模型的訓練，研究加速訓練的方法。研究主題將包括平行計算，分散式計算，GPU使用優化，以及深度學習模型架構設計。


上述研究議題為國內外深度學習系統領域之重要發展方向，產業界及學術界均需此方面人才。適合擬專心研究，未來從事學術工作者或研發工作者，對於未來規劃進修博士學位者, 本實驗室之研究計畫提供優良之訓練環境與研究經歷。

-具備資訊工程,資訊科學之碩士學位
-具備平行計算及平行程式設計(multithread，CUDA, or OpenCL)
-具有良好系統、軟體開發經驗
-具備C/C++程式設計經驗

具下列經驗者將優先考慮：
- 具深度學習平台開發經驗,包括Pytorch/Tensorflow/TVM等
- 熟悉高速計算或嵌入式系統
- 熟悉演算法設計與實作
- 熟悉編譯器或計算機結構

8:30AM-5:30PM

中央研究院資訊所

薪資：碩士43624元起薪(具編譯器,平行計算相關研究經歷或已具有deep learning系統研究基礎者可專案申請較優支薪標準)，該職缺係「適用勞動基準法」

洪鼎詠老師

台北市南港區研究院路二段128號資訊所

02-27883799 ext. 1818

1. 請以email方式寄送個人詳細履歷(相關研究、計劃及工作經驗)、成績單(大學及碩士以上)。 2. 發表過之論文影本、簡傳、學歷證書影本，及任何有助審查資料 3. 所有檔案請以pdf檔案格式寄送。 4. 通過初審者會另行通知，於中研院資訊科學研究所進行面試。請將應徵資料寄送至下列兩位計畫主持人。洪鼎詠老師 dyhong@iis.sinica.edu.tw, 吳真貞老師 wuj@iis.sinica.edu.tw

2024-01-05

2024-12-31