【項目安排】

課時安排 (Duration): 7周在線小組科研+5周論文指導

【適合人群】

適合年級 (Grade): 大學生及以上

適合專業 (Major): 計算機科學、人工智能、數據科學、電子與計算機工程等專業，軟件工程、自動化等相關專業或者希望掌握強化學習的學生；對人工智能、大數據以及交叉學科和方向感興趣的學生；

學生需要具備線性代數及概率論與數理統計基礎，至少會使用一門編程語言實現神經網絡，有過強化學習開發經驗的申請者優先

【項目收獲】

7周在線小組科研學習+5周論文指導學習 共125課時+不限時論文指導

學術報告

優秀學員獲主導師Reference Letter

EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發表指導（可用于申請）

結業證書

成績單

【學員反饋】

【項目背景】

近年來，人工智能數據科學技術不斷突破與發展。卷積神經網絡CNN開啟了深度學習新篇章，推動計算機視覺落地自動化駕駛等諸多領域；循環神經網絡RNN推動了自然語言處理，使得機器翻譯、智能語音技術日趨成熟；深度學習之上，強化學習圖神經網絡GNN的崛起正在深度賦能數據挖掘，將成為企業場景拓展、數據整合、行業效率飛躍的關鍵。項目將聚焦強化學習，特別是圖神經網絡GNN這一構筑未來數字生態的核心數據科學技術。

【項目介紹】

項目內容涉及強化學習核心理論和技能，具體包括遺傳算法、強化學習框架、Q-learning、行動者-批評（actor-critic；AC）模型、馬爾可夫決策過程、優化控制、圖神經網絡（graph neural networks; GNN）、自動機器學習（Auto ML）等。學生通過項目了解如何開發基于強化學習的生產力軟件，在結束時提交項目個性化研究課題報告，進行成果展示。

個性化研究課題參考：

強化學習在博弈論中的應用：類alpha算法開發

利用經驗留存解決強化學習所需樣本太多問題的可行性分析

強化學習中的機器獎勵設置方法迭代

為強化學習過擬合的特定場景重新建模的自動過程研究

具有精確尺度估計的動作-評價網絡結構與強化學習優勢函數

【課堂剪影】

【導師介紹】

Pietro

劍橋大學 University of Cambridge終身正教授

Pietro導師現任劍橋大學計算機科學與技術終身正教授，意大利國家認定Top100科學家，H-index61，被引用次數31500+。教授2021年連中三篇計算機頂會ICML，其論文還曾發表在包括學術期刊 《Nature》。導師持有歐洲學習和智能系統實驗室（Ellis；歐洲大型跨國人工智能研究所，目前擁有千位全球計算機工程師、數學家和其他領域科學家，旨在重構歐洲人工智能前沿研究）席位、劍橋大學大數據研究指導委員會席位。Pietro導師的研究興趣為人工智能圖神經網絡建模，在國際知名學術期刊發表論文多篇，曾榮獲歐盟委員會未來與新興技術（FET；迄今歐盟規模、資助力度最強的科研資助項目之一）會展三等獎。

任職學校 University

劍橋大學建校于1209年，是世界范圍內歷史最為悠久的大學之一，英國Top2名校，G5名校之一。劍橋大學享有世界聲譽，在英國社會和高等教育系統中具有極其重要的地位，同時具有廣泛的世界性影響。許多青年學子都以到劍橋大學深造為理想。劍橋大學在2020年QS世界大學綜合排名位列第7。

【項目大綱】

強化學習：項目將在本周聚焦遺傳算法和強化學習框架。 Introduction to reinforcement learning

環境：強化學習由智能體和環境兩部分構成。項目將在本周探討離策略、無模型強化學習算法 Q-learning、行動者-批評（actor-critic；AC）模型、馬爾可夫決策過程等。Environment

優化：項目將在本周深入學習強化學習與優化控制。 Optimization

集成與控制 Integration and Control

集成：項目將在本周進一步探討圖神經網絡（graph neural networks; GNN）、自動機器學習（Auto ML）等。

項目回顧與成果展示 Program Review and Presentation

論文輔導 Project Deliverables Tutoring

【教學現場】

【機構簡介】

科研品牌PathAcademics隸屬于北京集思互聯教育科技有限公司，是由世界優秀大學教授、行業導師和國際教育專家共同創立的中外學術項目。

集思未來教育（原集思學院）由哈佛大學及哥倫比亞大學教授、校友共同發起成立，為全球中學生呢、大學生提供優質的科研教育、項目制學習課程。中國團隊自2016年成立至今走過了五年歷程，立足研究導向型學習、項目制學習，專注課程開發與教學實施，結合全球超1000位知名教授和優質教育資源，培養面向未來的國際化人才，五年來培養了超過3萬名學員，與近百所高等院校和百余所國際化學校建立合作關系。

【機構環境】

【學員案例】