科技改變生活 · 科技引領未來
科技改變生活 · 科技引領未來
距 NIPS 2018 召開還有不到一個月的時間，NIPS 2018 上的各種技術挑戰賽也接近尾聲。關于挑戰賽的詳細信息，請參見：距 NIPS 2018 還有小半年，會上的各種挑戰賽已經開始啦
在上周結束的 2018 人工智能假肢挑戰賽（AI for Prosthetics Challenge）中，來自中國百度的技術團隊 Firework 一舉擊敗全球 400 多支參賽團隊，以 9980.46 的得分奪得冠軍，領先第二名高達 30 多分。
在此次比賽中，百度首先通過上千臺機器的 CPU 集群來加速模擬環境，利用 RPC 機制進行機器間通信，從而能在高性能 GPU 上進行高效的模型訓練。
其次，利用Target Driven Deep Deterministic Policy Gradient (Target Driven DDPG)，使得模型能夠應對較大空間和連續動作空間的挑戰，最終也使得一個單一模型能夠學習多種速度和姿態。
第三，在算法層面，通過 multi-head bootstrapping，能夠更高效的對巨大的解空間進行探索（Exploration），同時還將旋轉不變性等各類特征處理方式，以及不斷實驗累計的各類 reward shaping 方法應用其中。
正是這些關鍵技術的綜合應用，讓百度能以 9980 的高分一舉奪冠。據悉，早在本次比賽以前，百度已經將強化學習技術應用于信息流推薦、廣告展現、搜索排序等大規模工業級場景。而本次比賽中所展現出的技術實力，再次證明了百度在強化學習相關技術上的積累也能夠進一步推廣到復雜機器人控制、自動駕駛等更多工業領域。
何陽林