配置表

2.     產(chǎn)品說(shuō)明

2.1.       AI語(yǔ)音與機器視覺(jué)實(shí)驗室建設思路

2.1.1.          實(shí)驗室建設概況

2.1.1.1.     建設目標

嵌入式人工智能創(chuàng )新應用實(shí)驗室，整體規劃與布局如下：
在原專(zhuān)業(yè)的基礎上，培養能在人工智能及其應用的各相關(guān)領(lǐng)域中從事數據挖掘、深度學(xué)習、神經(jīng)網(wǎng)絡(luò )、計算機視覺(jué)、機器人學(xué)習、語(yǔ)音識別等的人工智能應用型人才。以ARM人工智能創(chuàng )新實(shí)驗室作為產(chǎn)業(yè)聚集地，承擔規劃設計、建設指導、協(xié)調支持等作用；涵蓋基礎教學(xué)、算法應用開(kāi)發(fā)、產(chǎn)品原型開(kāi)發(fā)驗證和企業(yè)案例應用實(shí)訓等四個(gè)關(guān)聯(lián)遞進(jìn)的場(chǎng)景；形成以人才培養基地、資源中心、培訓中心、資質(zhì)認證中心、創(chuàng )新創(chuàng )業(yè)基地、教學(xué)研究中心為目標的6大生態(tài)體系，建成工信部緊缺人才實(shí)驗中心并獲得工業(yè)和信息化領(lǐng)域急需緊缺人才培養工程授牌，為學(xué)校建設和社會(huì )人工智能人才培養服務(wù)，實(shí)現產(chǎn)教深度融合。
通過(guò)人工智能技術(shù)手段，結合學(xué)院的人才培養特點(diǎn)，為學(xué)院的實(shí)踐教學(xué)、科技創(chuàng )新、學(xué)科競賽及產(chǎn)學(xué)研項目等提供平臺支撐。打造能夠服務(wù)于人工智能、物聯(lián)網(wǎng)等研發(fā)產(chǎn)業(yè),為優(yōu)化升級產(chǎn)業(yè)結構和發(fā)展提供技術(shù)支撐和人才培養教學(xué)平臺。

1.2           建設思路

AI趨勢：智能向端遷移，端云結合
?  云：數據挖掘、算法訓練
?  端：推理，產(chǎn)生高質(zhì)量數據（信息）
?  全面滲透金融、醫療、安防、零售、制造業(yè)、以及家庭等全行業(yè)，典型應用AIoT。


面對新一輪人工智能浪潮中如何將人工智能教育落實(shí)到課程上,嵌入式人工智能創(chuàng )新應用實(shí)驗室為學(xué)員準備不同層次的訓練，使學(xué)員能由簡(jiǎn)到繁、由易到難不斷的深化學(xué)習。

1.3     建設內容

2.1.2.          課程體系設置

2.1.2.1.   教材名錄

2.1.2.2.   2.2 課程資源

2.1.2.3.     2.3 課程設置

2.2.       AI語(yǔ)音與機器視覺(jué)開(kāi)發(fā)應用系統平臺

人工智能語(yǔ)音機器視覺(jué)系統是一款集成AI語(yǔ)音、機器視覺(jué)、深度學(xué)習基礎、嵌入式Linux于一體的高端教學(xué)科研實(shí)驗平臺。


整個(gè)教學(xué)平臺由實(shí)驗箱高性能嵌入式主板夠成，高性能嵌入式核心板采用高性能64位ARM處理器，標配4GB DDR3內存和16GB閃存，可運行ubuntu、android、linuxqt等多種操作系統，可滿(mǎn)嵌入式linux和AI應用開(kāi)發(fā)。
平臺采用多核高性能 AI 處理器，預裝 Ubuntu Linux 操作系統與 OpenCV 計算機視覺(jué)庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學(xué)習端側推理框架。
提供多種應用外設與豐富的機器視覺(jué)、AI語(yǔ)音、深度學(xué)習實(shí)戰應用案例，如語(yǔ)音前處理（聲源定位、語(yǔ)音增強、語(yǔ)音降噪、回聲消除、聲音提?。?、語(yǔ)音活體檢查、語(yǔ)音喚醒、語(yǔ)音識別、語(yǔ)音合成、自然語(yǔ)言處理、聲紋識別門(mén)鎖、語(yǔ)音智能家居、手寫(xiě)字識別、人臉識別、目標檢測、端側推理框架、圖像識別、人體分析 、文字識別、人臉門(mén)禁控制、車(chē)牌道閘控制、手勢家居控制等，通過(guò)案例教學(xué)讓學(xué)生掌握計算機視覺(jué)與深度學(xué)習的基本原理和典型應用開(kāi)發(fā)。

2.2.1.          嵌入式網(wǎng)關(guān)核心板

RK3399核心板是一款266-pin金手指形式高性能ARM計算機模塊，它采用了瑞芯微64位六核（包含雙核Cortex-A72 +四核Cortex-A53）Soc RK3399作為主處理器，標配4GB DDR3內存和16GB閃存，板載2×2 MIMO雙天線(xiàn)Wi Fi模組，尺寸只有69.6×50mm，模塊上帶有獨立的Typec供電接口，以及USB-C顯示接口。
       
RK3399計算模塊具有豐富的外設和擴展接口，可以擴展使用雙MIPI寬動(dòng)態(tài)攝像頭，另外它還帶有eDP顯示接口，MIPI顯示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統，軟件資源和生態(tài)非常豐富，尤其是Android 8.1具有NN SDK神經(jīng)網(wǎng)絡(luò )加速軟件包，Qt-5.10集成了VPU硬件編解碼，GPU圖形加速，可使用QML快速開(kāi)發(fā)流暢的動(dòng)態(tài)式界面，因此RK3399核心板非常適合做高端人臉識別，機器視覺(jué)，VR虛擬現實(shí)，自動(dòng)駕駛，深度計算分析等方面的人工智能產(chǎn)品快速原型及產(chǎn)品開(kāi)發(fā)。
硬件參數：

2.2.2.          網(wǎng)關(guān)底板其他外設

 
l  11.6寸高清觸顯一體屏：板載，eDP接口,電容式多點(diǎn)觸摸，分辨率1920*1080
l  按鍵：板載重啟、恢復、電源3個(gè)功能按鍵，4個(gè)用戶(hù)自定義按鍵
l  UART：1路RS232，1路RS485
l  以太網(wǎng)：100/1000M
l  音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器
l  無(wú)線(xiàn)網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l  4G模組：板載，板載EC20模組
l  LoRaWAN網(wǎng)關(guān)模塊接口：板載mini-pcie接口，可接入SX1301八通道并行LoRaWAN網(wǎng)關(guān)模塊。1個(gè)項目須至少配備1個(gè)LoRaWAN網(wǎng)關(guān)模塊，以實(shí)現對實(shí)驗室所有lora節點(diǎn)的接入管理。
l  Zigbee網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  BLE網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  USB 3.0 HOST接口：板載2個(gè)
l  Debug接口：板載1個(gè)
l  Download接口：板載1個(gè)
l  鍵盤(pán)：板載7寸80鍵標準鍵盤(pán)
l  高清相機模組：CMOS傳感器OV13850，MIPI信號輸出，400萬(wàn)像素，最高支持2688x1520像素。
l  麥克風(fēng)陣列：板載7顆數字高性能硅麥克風(fēng)。
l  紅外接收：板載紅外接收模塊1個(gè)
l  震動(dòng)馬達傳感器：1個(gè)
l  LED：板載4顆藍色LED燈珠。
l  天線(xiàn)接口：板載wifi、BLE、lora、LET 共4個(gè)天線(xiàn)接口。
l  傳感器擴展接口：板載，與無(wú)線(xiàn)傳感器節點(diǎn)的傳感器模塊接口兼容，可完成linux系統下的傳感器驅動(dòng)開(kāi)發(fā)實(shí)驗。
l  OBD接口：板載，標準16針OBD-II插座，與配套軟件結合可完成基于CAN總線(xiàn)通信相關(guān)實(shí)驗。
l 

2.3.       外設模塊

2.3.1.         

2.3.2.          AI麥克風(fēng)陣列

l  7路麥克風(fēng)陣列，提供聲源定位、語(yǔ)音增強、語(yǔ)音降噪、回聲消除、聲音拾取等功能。
l  帶硬件浮點(diǎn)運算的RISC-V 雙核64位處理器，主頻最高800MHz。
l  具備機器聽(tīng)覺(jué)能力和語(yǔ)音識別能力，內置語(yǔ)音處理單元（APU）。
l  具備卷積人工神經(jīng)網(wǎng)絡(luò )硬件加速器KPU,可高性能進(jìn)行卷積人工神經(jīng)網(wǎng)絡(luò )運算。
l  麥克風(fēng)陣列模塊集成TFT彩屏屏，能夠直觀(guān)顯示音頻頻譜圖。
l  內置ARM STM32 USB音頻驅動(dòng)芯片，提供USB聲卡驅動(dòng)，開(kāi)放源代碼。
l  接口：雙列直插封裝/USB，需能夠接入到eAIOT平臺使用。
l  支持語(yǔ)音識別、語(yǔ)義理解、語(yǔ)音合成、人機對話(huà)等功能，可與硬件進(jìn)行語(yǔ)音交互。
l  5米監測范圍、基于linux系統。

2.3.3.          AI攝像頭

l  1/1.8" SONY Exmor CMOS
l  有效像素200萬(wàn)像素，30幀@1920*1080
l  C/CS鏡頭接口，最低照度0.001 Lux，120dB TWDR
l  支持協(xié)議：PROFILE S，GB/T28181，FTP/RTSP.UPNP等
l  支持雙碼流、手機監控、心跳機制，具3D降噪、去霧、數字寬動(dòng)態(tài)、鏡頭校正、走廊監控等智能模式
l  提供基于eAIOT教學(xué)平臺的人臉識別系統案例。

2.4.       物聯(lián)網(wǎng)應用基礎云平臺

1、功能簡(jiǎn)介
1）學(xué)生能夠將物聯(lián)網(wǎng)感知層設備（傳感器、執行器等）接入物聯(lián)網(wǎng)云服務(wù)平臺，平臺能夠接收并存儲傳感器和執行器的實(shí)時(shí)數據，模塊在線(xiàn)狀態(tài)，并實(shí)時(shí)顯示。
2）提供后臺管理系統，能夠設置賬號類(lèi)型和使用權限。支持多用戶(hù)管理及權限控制，分為父用戶(hù)和子用戶(hù)，父用戶(hù)可以創(chuàng )建多個(gè)子用戶(hù)，并且可以為每個(gè)子用戶(hù)分配增、刪、改幾種權限，子用戶(hù)創(chuàng )建的資源相互隔離。
3）提供物聯(lián)網(wǎng)規則編輯器，無(wú)需編寫(xiě)代碼即可編輯復雜的自動(dòng)化控制策略，實(shí)現移動(dòng)互聯(lián)網(wǎng)系統的自動(dòng)化控制。
4）提供豐富的可視化控件庫，通過(guò)拖拽、簡(jiǎn)便配置即可完成美觀(guān)的UI設計。支持GIS地圖、曲線(xiàn)圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5）物聯(lián)網(wǎng)感知層設備也能夠向執行器發(fā)送控制命令，系統能夠實(shí)現模塊的在線(xiàn)監測。
6）云平臺支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過(guò)ZigBee/BLE/wifi/lora/NBIOT無(wú)線(xiàn)技術(shù)取得傳感器采集的數據，形成一個(gè)完整的無(wú)線(xiàn)傳感器網(wǎng)絡(luò )。
7）數據通過(guò)http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應用基礎云平臺軟件，進(jìn)行數據圖形化展示。
8）實(shí)現基于云平臺的智能家居實(shí)驗，并包含配套完整的教學(xué)資源。
9）支持本地化部署和云端部署兩種方式。
10）提供“物聯(lián)網(wǎng)應用基礎云平臺”軟件著(zhù)作權登記證書(shū)及軟件產(chǎn)品登記測試報告復印件并加蓋公章，原件備查。

 

 

3.     部分實(shí)驗案例

3.1.1.          嵌入式linuxQT綜合實(shí)驗

3.1.2.          手寫(xiě)字識別

學(xué)習設計一個(gè)神經(jīng)網(wǎng)絡(luò )模型，然后用已經(jīng)標注過(guò)的MNIST數據來(lái)訓練這個(gè)模型，然后進(jìn)行測試驗證。

圖：手寫(xiě)字識別案例

3.1.3.          人臉識別

通過(guò)OpenCV自帶的分類(lèi)器、OpenCV的深度學(xué)習分類(lèi)器是基于SSD(Single Shot  Detector)框架的ResNet網(wǎng)絡(luò )，實(shí)現在圖片、視頻中對人臉的檢測，并用矩形框框出來(lái)。
學(xué)?？捎糜谏矸葑R別、課堂/上下班考勤、會(huì )議簽到、刷臉支付、門(mén)禁通行、安防監控相關(guān)場(chǎng)景。

圖： 人臉識別案例

3.1.4.          目標檢測

  利用深度學(xué)習框架caffe，實(shí)現對常見(jiàn)物體的檢測。

圖：目標檢測案例

3.1.5.          人體姿態(tài)識別

使用邊緣側推理框架Tengine檢測圖像中的所有人體并返回每個(gè)人體的矩形框位置，精準定位 21 個(gè)核心關(guān)鍵點(diǎn)，包含五官、四肢、脖頸等部位，更多關(guān)鍵點(diǎn)持續擴展中；支持多人檢測、人體位置重疊、遮擋、背面、側面、中低空俯拍、大動(dòng)作等復雜場(chǎng)景。

圖：人體姿態(tài)識別案例

3.1.6.          手勢識別

利用深度學(xué)習框架caffe，實(shí)現對簡(jiǎn)單手勢的識別。

圖：手勢檢測和識別系統案例

3.1.7.          車(chē)牌識別

使用opencv 的 HAAR Cascade 檢測車(chē)牌大致位置，使用卷積神經(jīng)網(wǎng)絡(luò )回歸車(chē)牌左右，然后使用卷積神經(jīng)網(wǎng)絡(luò )滑動(dòng)窗切割字符、及識別字符。

圖：交通門(mén)禁車(chē)牌檢測和識別系統案例

3.1.8.          人臉門(mén)禁

采用 mtcnn 進(jìn)行人臉檢測，采用MobileFaceNet 進(jìn)行人臉識別，然后用活體檢測算法進(jìn)行檢測。

圖：人臉門(mén)禁檢測和識別系統案例

3.1.9.          聲紋鎖實(shí)驗

通過(guò)語(yǔ)音增強、語(yǔ)音質(zhì)量檢測、語(yǔ)音增強、有效語(yǔ)音提取、聲紋特征提取等步驟，完成聲紋注冊及聲紋驗證。

圖：聲紋電子鎖系統案例

3.1.10.      AI語(yǔ)音控制智能家居

本系統實(shí)現語(yǔ)音數據高速傳輸，基于百度語(yǔ)音識別 API 完成語(yǔ)音識別，并用無(wú)線(xiàn)方式控制電燈，電風(fēng)扇，以及獲取溫度和濕度。

圖：語(yǔ)音控制智能家居系統案例

3.1.11.      知識圖譜和聊天機器人

知識圖譜融合了兩千五百多萬(wàn)的實(shí)體，擁有億級別的實(shí)體屬性關(guān)系，機器人采用了基于知識圖譜的語(yǔ)義感知與理解，致力于最強認知大腦。自然語(yǔ)言處理工具包的功能有：中文分詞、詞性標注、命名實(shí)體識別、關(guān)鍵詞提取、文本摘要、新詞發(fā)現、情感分析等。

圖：知識圖譜和文本聊天機器人系統案例

4.     招標參數