人工智能物聯網(AIOT)綜合實驗平臺是一款集成人工智能、物聯網、嵌入式、移動互聯技術、RFID技術于一體的高端教學科研平臺。整個教學平臺包括物聯網(IOT)部分和人工智能(AI)部分,兩部分互相支撐、互為補充。
人工智能部分的硬件平臺基于嵌入式的Arm開發板,具備語音、視覺等傳感器數據采集能力,及適用于多種場景的控制接口;物聯網部分的硬件平臺基于物聯網教學平臺,該套件基于zigbee無線傳輸技術實現,具有低功耗、低速率、自組網等特點,可適用于人工智能+物聯網的多種學習和應用場景。
軟件平臺支持人臉識別、語音識別、無線通信、傳感器原理等應用的基礎平臺和主流開源算法。提供完整的配套教學教材,實訓案例的源碼、開發手冊等,滿足AI&IOT教學實訓、應用開發等需求。
EAI610的嵌入式Arm硬件平臺使用高性能Arm SoC(瑞芯微RK3399),搭載OPEN AI LAB嵌入式AI開發平臺AID(包含支持異構計算庫HCL、嵌入式深度學習框架Tengine、以及輕量級嵌入式計算機視覺加速庫BladeCV),為AI應用開發提供簡潔、高效、統一的API接口,加速終端 AI 產品的場景化應用落地。
物聯網教學平臺中傳感器采用模塊化設計,方便擴展和替換。其中包括溫度、濕度、光敏、加速度、壓力、可燃氣體、雨滴、酒精、紅外、超聲波、DA輸出、繼電器、LED點陣顯示屏、數碼管顯示、玻璃破碎檢測、直流電機、步進電機、可調光LED燈、振動、霍爾、火焰、等二十多種可換傳感器/控制模塊組件;所有涉及到的相關技術均提供教材或實驗指導書,同時提供印刷版實驗手冊。
1.1、S-RK3399邊緣計算網關
S-RK3399是一款266-pin金手指形式高性能ARM計算機模塊,它采用了瑞心微64位六核Soc RK3399作為主處理器,標配4GB DDR3內存和16GB閃存,板載2×2 MIMO雙天線Wi Fi模組,尺寸只有69.6×50mm,模塊上帶有獨立的Typec供電接口,以及USB-C顯示接口。
S-RK3399計算模塊具有豐富的外設和擴展接口,通過底板可連接使用4通道NVMe高速固態硬盤,讀寫速度高達1GB/s它還可以擴展使用雙MIPI寬動態攝像頭,另外它還帶有eDP顯示接口,MIPI顯示接口,1路USB3.0,2路USB2.0,以及12C,12S,SPI,PWM,GF10和串口等各種資源。SOM-RK3399可流暢運行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統,軟件資源和生態非常豐富,尤其是Android 8.1具有NN SDK神經網絡加速軟件包,Qt-5.10集成了VPU硬件編解碼,GPU圖形加速,可使用QML快速開發流暢的動態式界面,因此SOM-RK3399核心板非常適合做高端人臉識別,機器視覺,VR虛擬現實,自動駕駛,深度計算分析等方面的人工智能產品快速原型及產品開發。
1.2、無線傳感器節點及傳感器模塊
無線傳感器節點由底板、射頻模塊和傳感器模塊三部分組成,3個功能模塊均可拆裝,方便更換和升級,支持靈活插拔,防反插設計,可兼容zigbee、藍牙、NB-IoT、LoRa、UWB等不同無線終端,提供各種無線模塊的驅動和應用程序,構成各類無線智能感知設備
傳感器組件
標配:溫度/光敏/蜂鳴器一體傳感器模塊、高精度溫濕度傳感器模塊、兩路繼電器模塊、可調LED燈光模塊、振動傳感器/蜂鳴器一體模塊、超聲波測距傳感器模塊、4位LED數碼管顯示模塊、直流/步進電機一體模塊、火焰傳感器模塊;
選配:壓力傳感器模塊、紅外感應傳感器模塊、雨滴傳感器模塊、可燃氣體傳感器模塊、酒精傳感器模塊、DA輸出模塊等、8*8LED點陣模塊、霍爾傳感器模塊、玻璃破碎檢測模塊、紅外轉發模塊、門磁檢測模塊、聲控模塊等。
1.3、MQTT物聯網私有云平臺
用戶能夠將物聯網感知層設備(數據網關、傳感器、執行器等)接入物聯網云服務系統。
系統能夠接收并存儲傳感器和執行器的實時數據,模塊在線狀態,并實時顯示;也能夠向執行器發送控制命令;系統能夠實現模塊的在線監測。
提供后臺管理系統,能夠設置賬號類型和使用權限。支持多用戶管理及權限控制,分為父用戶和子用戶,父用戶可以創建多個子用戶,并且可以為每個子用戶分配增、刪、改幾種權限,子用戶創建的資源相互隔離。
系統提供豐富的接口,支持MQTT,CoAP或HTTP協議進行數據采集,同時也支持websocket 協議訂閱數據更新,用于數據可視化或實時分析。
平臺可以分為公有云和私有云,公有云可以部署在阿里云之上,使用MongoDB服務器集群作為大數據存儲,學生老師申請賬號后即可使用;私有云可以為客戶提供本地化部署, 客戶具有完全的控制權限。私有云支持Cassandra、PostgreSQL數據庫。
提供物聯網規則編輯器,無需編寫代碼即可編輯復雜的自動化控制策略,實現移動互聯網系統的自動化控制。
提供豐富的可視化控件庫,通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
支持Linux+QT、Ubuntu、Android8.1操作系統
其他外設:
■11.6寸高清觸顯一體屏:板載,11.6寸eDP接口,電容式多點觸摸,分辨率1920*1080
■按鍵:板載重啟、恢復、電源3個功能按鍵,4個用戶自定義按鍵
■音頻:音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器
■無線網:WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
■4G模組:板載,型號為SIM7600CE,支持LTE-TDD/LTE-FDD/HSPA+/TD-SCDMA/EVDO和GSM/GPRS/EDGE等頻段, 支持LTE CAT4。
■Zigbee網關模塊:板載,直列雙排20芯插針接口,非usb接口。
■BLE網關模塊:板載,直列雙排20芯插針接口,非usb接口。
■USB 3.0 HOST接口:板載4個
■Debug接口:板載1個
■Download接口:板載1個
■鍵盤:板載7寸80鍵標準鍵盤
■高清相機模組:CMOS傳感器OV4689,MIPI信號輸出,400萬像素,最高支持2688x1520像素,工業級金屬外殼封裝。
硬件參數:
CPU | SOC:瑞RK3399 核心:大。少,64位雙核Cortex-A72 +四核Cortex-A53 頻率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz) |
GPU | Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC |
VPU | 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc |
Memory | RAM: Dual-Channel 2GB DDR3 |
Storage | eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1 |
Power Management | RK808-D PMIC,配合獨立直流/直流,啟用dvf solfware省電,RTC喚醒、系統睡眠模式 |
Connectivity | 以太網:本機千兆以太網 wi - fi: 802.11 a / b / g / n / ac 藍牙:4.1雙模式 天線:雙天線接口 |
Video Input | 一個或兩個4-Lane MIPI-CSI,雙重ISP, 13 mpix / s,同時支持雙相機數據的輸入 |
Video Output | HDMI: HDMI 2.0a, supports 4K@60Hz,HDCP 1.4/2.2 |
USB | USB 2.0: 2獨立的本地主機USB 2.0 USB 3.0: 1本地主機USB 3.0 USB c類型:支持USB3.0 c型和顯示端口1.2 Alt模式USB c型 |
PCIe | PCIe x4, compatible with PCIe 2.1, Dual operation mode |
調試 | 1 x調試UART, 3 v級,1500000個基點 |
LED | 1x Power LED(Red) |
Key | Power Key x1 |
工作溫度 | -20℃ to 70℃ |
電源 | 直流12 v / 1或DV 5 v / 2.5 (c型) |
三、教學資源介紹
1、實驗項目列表:
1.1、視覺實驗案例
圖像采集實驗:學習從硬件設備采集圖像數據并熟悉圖像格式(YUV,RGB)轉換,理解V4L2的概念;
圖像處理實驗:學習圖像處理的基本方法,了解各種圖像處理方法的功能
視頻編碼實驗:學習視頻編碼的概念和方法,掌握使用硬件編碼器的方法,了解H264編碼標準
視頻解碼實驗:學習視頻解碼的概念和方法,掌握使用硬件解碼器的方法,了解H264和H265編碼標準,了解RTSP協議
視頻分析之背景提取實驗:學習視頻分析的概念,了解視頻中背景提取的方法
人臉檢測(傳統機器學習方法)實驗:學習人臉檢測的概念,了解adaboost人臉檢測方法
目標檢測(深度學習方法)實驗:學習目標檢測的概念,了解Mobilenet-SSD目標檢測方法
人臉特征提?。ㄉ疃葘W習方法)實驗:學習人臉特征提取的概念,了解LightCNN人臉提取方法
人臉識別系統實驗:學習人臉識別系統的搭建方法,理解1:1,1:N等概念
雙目立體視覺實驗:學習立體視覺的概念,掌握用雙目相機計算深度信息的方法
目標檢測(深度學習方法)實驗:學習目標檢測的概念,了解Mobilenet-SSD目標檢測方法
1.2、無線傳感器網絡實驗案例
ZigBee基礎實驗:GPIO、定時器、中斷等實驗
傳感器驅動實驗:溫度/光敏/蜂鳴器一體傳感器模塊、高精度溫濕度傳感器模塊、兩路繼電器模塊、直流/步進電機一體模塊等實驗
Zstack基礎實驗:SampleApp GenericApp SimpleApp SensorDemo SerialApp等實驗
Zstack進階實驗:ZigBee 組網實驗、ZigBee 傳感器采集及數據傳輸實驗、ZigBee網絡綜合實驗
Zstack綜合實驗:智能家居演示
1.3、語音實驗案例
語音前處理實踐
錄音實驗
播放實驗
陣列麥克風實驗
降噪實驗
回聲消除實驗
語音活性檢測實驗
語音編碼
語音變速變調
語音識別以及語音喚醒
自然語言處理
基于云端平臺實現自然語言處理
自然語言處理實踐
語音合成語音案例:NLP智能對話實驗
1.4、綜合實驗案例
語音智能家居實驗:語音命令控制zigbee繼電器實現燈光風扇控制、語音命令獲取zigbee溫濕度傳感器數據、語音命令獲取zigbee光照度感器數據等
人臉門禁系統實驗:通過與門鎖等設備的聯動,學習和實踐人臉識別在實際場景中的使用