一、視頻行業(yè)

1、視頻是一個方興未艾的大產(chǎn)業(yè)

(1)人類社會信息產(chǎn)品發(fā)展趨勢：物理文本->電子文本->圖片->音視頻

(2)音視頻行業(yè)方興未艾：優(yōu)酷&愛奇藝等、美拍&各種小視頻、視頻監(jiān)控、人臉識別&自動駕駛

(3)科技以人為本，視頻符合人類的天然需求，必然要得到大發(fā)展。

(4)技術(shù)融合是趨勢：互聯(lián)網(wǎng)、人工智能、視頻采集和處理等技術(shù)會融合，構(gòu)成奇幻美妙的現(xiàn)代科技生活。

2、視頻行業(yè)潛在商機大、人才缺口大

(1)視頻監(jiān)控、手機拍照等“傳統(tǒng)”視頻領(lǐng)域仍有巨大發(fā)展空間

(2)自動駕駛、人臉識別閘機、刷臉支付等，潛在商機巨大，市場需求尚未井噴

(3)視頻行業(yè)專業(yè)性強、學習周期長、技術(shù)難度大，技術(shù)門檻和壁壘效應明顯

(4)行業(yè)出現(xiàn)時間短，發(fā)展快，根本沒有相對應的課程體系和專門學習資料，學習無處下手

(5)中國處于這一波技術(shù)革命的浪潮中心，產(chǎn)業(yè)配套最全、綜合實力最強、產(chǎn)品出貨量最大，所以人才需求最旺盛。但同時中國技術(shù)積累和底蘊薄弱，高端人才嚴重匱乏。視頻行業(yè)比較牛的公司國內(nèi)的有?？低暫痛笕A，據(jù)說華為也開始進軍安防攝像頭領(lǐng)域了。

3、了解華為海思的HI3518E方案

(1)海思的前身是華為的半導體部門，主要產(chǎn)品線包括：智能手機處理器麒麟系列，視頻采集和編解碼處理器HI35XX系列，無線通信方向芯片等。

(2)早年（2013、2014年之前）視頻行業(yè)主要被TI等美國公司控制，臺灣地區(qū)發(fā)展也很快，海思進入后憑借華為的技術(shù)和管理能力，迅速發(fā)展壯大，在高性價比消費級視頻領(lǐng)域已經(jīng)獨霸了。

(3)海思還在不斷發(fā)展，逐步滲透汽車級（行車記錄儀、ADAS、自動駕駛等）、運動級（航拍、運動DV等）領(lǐng)域。

(4)還有更高端的工業(yè)級（工業(yè)相機譬如缺陷檢測、機器視覺等）和軍工級等多被美歐日德等把持，等待我們?nèi)フ鞣ァ?/p>

(5)一句話：海思方案用量大、范圍廣、工資高、潛力大，不學這個學什么？
??但是目前華為被美國制裁了好幾次，海思目前的發(fā)展比較艱難，從手機芯片從原來的麒麟變成了高通驍龍就知道海思目前有多無奈了，明明有著最先進的芯片設計技術(shù)，卻無法生產(chǎn)。不過華為今年年初在武漢已經(jīng)建廠，準備進軍芯片制造領(lǐng)域，實現(xiàn)自給自足，雖然需要的時間不會斷，但最終一定可以的，華子yyds!

二、海思方案項目用到的硬件平臺介紹

1、本專欄文章使用的開發(fā)板配置

(1)處理器： HI3518E
(2)內(nèi)存： 內(nèi)置64MB DDR內(nèi)存
(3)Flash: 板載16MB SPI Flash
(4)SENSOR： OV9712 + AR0130或其他
(5)有線網(wǎng)絡： 板載支持
(6)調(diào)試串口： 1路TTL串口
(7)底層調(diào)試： 預留JTAG口
(8)預留按鍵： 3個
(9)擴展存儲: TF卡
(10)WIFI擴展： USB WIFI

2、處理器為什么選HI3518E

(1)HI35XX系列有很多型號，其中HI3518E是入門級最高性價比的型號，出貨量很大。

(2)不同型號的差異主要是支持視頻像素數(shù)和分辨率、通道數(shù)、高端特性差異等。

(3)不同型號的相同點：同一套思路的海思SDK、視頻行業(yè)基礎概念和經(jīng)驗、H.264編解碼算法和編程技術(shù)、RTSP/ORTP等網(wǎng)絡傳輸、P2P等外網(wǎng)視頻直播技術(shù)等。

(4)綜合比較結(jié)果：HI3518E最適合入門學習，硬件本身特性三年行業(yè)經(jīng)驗；

三 、本專欄文章規(guī)劃和核心技術(shù)介紹

1、本專欄文章將通過我對朱有鵬老師的海思項目課程的學習進行不定期更新

文章內(nèi)容劃分大致如下：

第1季：全面認識海思SDK及嵌入式層開發(fā)第2季：從官方例程深度學習海思SDK及API第3季：ORTP庫局域網(wǎng)圖傳和VLC實時預覽第4季：圖像sensor的特性和驅(qū)動解析第5季：海思平臺上USB WIFI的移植與局域網(wǎng)無線調(diào)試和視頻流預覽第6季：RTSP協(xié)議詳解與實時流視頻預覽第7季：視頻打包為MP4格式并存儲到TF卡的實現(xiàn)第8季：海思平臺OSD的實現(xiàn)第9季：圖像的IQ調(diào)試第10季：P2P方式實現(xiàn)視頻遠程直播第11季：基于opencv的圖像識別開發(fā)

2、詳細介紹

第1季：全面認識海思SDK及嵌入式層開發(fā)	本季首先介紹開發(fā)板整個硬件配置和測試方法，然后圍繞海思官方SDK開發(fā)包講解各種官方資料的用法，最后用大量時間講解如何在ubuntu中搭建海思視頻方案的開發(fā)環(huán)境，如uboot的配置和編譯、燒寫；kernel的配置和編譯、rootfs的制作，tftp方式下載燒寫并啟動linux系統(tǒng)，rootfs中各種配置文件的含義、ko文件的加載、mpp庫的部署、sample程序的編譯和運行等。

第2季：從官方例程深度學習海思SDK及API	本季課程詳細分析海思SDK中的sample程序的實現(xiàn)，并順帶講解視頻采集中的很多基本概念，視頻sensor的工作原理、像素和視頻分辨率的關(guān)系、rawRGB和RGB888的換算方式等，本季課程的重點內(nèi)容是海思SDK中API文檔的帶讀，學習海思方案重點就在于學習這套API，這是海思方案視頻采集和H.264編碼的關(guān)鍵所在，因此本季課程非常關(guān)鍵，學完本季課程才表示對海思方案開發(fā)入門了。

第3季：ORTP庫局域網(wǎng)圖傳和VLC實時預覽	本季課程通過移植ORTP庫并調(diào)用ORTP庫函數(shù)來實現(xiàn)H.264裸流數(shù)據(jù)的網(wǎng)絡傳輸，并且在Windows中安裝VLC播放器，并在VLC中通過配置文件的方式來解析ORTP發(fā)送的裸流實現(xiàn)視頻實時預覽。本季課程的核心是ORTP協(xié)議的講解，ORTP庫的移植、部署和調(diào)用，VLC軟件的用法講解和配置文件講解，Wireshark網(wǎng)絡抓包工具的用法講解，實時視頻流傳輸和解析的體驗和編程實現(xiàn)。

第4季：圖像sensor的特性和驅(qū)動解析	本季課程以配置的2款圖像sensor為案例來講解圖像sensor的關(guān)鍵特性和相關(guān)數(shù)據(jù)結(jié)構(gòu)，I2C控制接口和圖像數(shù)據(jù)接口，海思SDK中sensor的驅(qū)動框架和編譯、部署、加載，sensor調(diào)試的一般方法和步驟等。

第5季：海思平臺上USB WIFI的移植與局域網(wǎng)無線調(diào)試和視頻流預覽	本季課程在開發(fā)板上移植USB WIFI模塊（套裝附帶的MT7601模塊），工作在ap模式下，并且用電腦通過WIFI去連接開發(fā)板實現(xiàn)主機和開發(fā)板的無線網(wǎng)絡局域網(wǎng)通信，這樣就可以用WIFI網(wǎng)絡取代板載ethernet有線網(wǎng)絡方式來進行調(diào)試和局域網(wǎng)視頻預覽?，F(xiàn)在很多的視頻攝像頭產(chǎn)品都要求支持無線網(wǎng)絡連接功能，本季課程主要是針對這方面開發(fā)技術(shù)講解的。

第6季：RTSP協(xié)議詳解與實時流視頻預覽	本季詳細講解RTSP協(xié)議的技術(shù)細節(jié)，并且編程實現(xiàn)基于RTSP協(xié)議的實時視頻流傳輸，在局域網(wǎng)內(nèi)瀏覽實時監(jiān)控畫面。RTSP是實時視頻網(wǎng)絡傳輸最主流的實現(xiàn)方式，低延時高清晰度的RTSP視頻流傳輸是網(wǎng)絡直播、在線會議系統(tǒng)等行業(yè)的核心技術(shù)，本季課程會詳細講解相關(guān)概念、編程實戰(zhàn)和調(diào)試技巧等。

第7季：視頻打包為MP4格式并存儲到TF卡的實現(xiàn)	本季實現(xiàn)將編碼后的H.264視頻流打包為MP4格式的錄像，并存儲到板載TF卡中。這個過程涉及到的一個主要技術(shù)是H.264的視頻幀格式，I幀、P幀等概念，另一個主要技術(shù)是MP4格式的文件頭、封包技術(shù)、MP4打包庫的移植部署和調(diào)用等，最后是linux下TF卡的存儲和文件管理（使用了FAT32文件系統(tǒng)）。編碼后圖像打包成MP4存儲的功能在行車記錄儀、監(jiān)控攝像頭等產(chǎn)品上均是剛需功能，尤其是行車記錄儀，學好該季課程去做這類產(chǎn)品開發(fā)有非常大優(yōu)勢。

第8季：海思平臺OSD的實現(xiàn)	OSD（on screen display）功能應用很廣泛，譬如監(jiān)控視頻中的實時時間顯示、電視轉(zhuǎn)播中的臺標和字幕等。本季講解如何在海思平臺上實現(xiàn)圖像OSD，核心是海思SDK中提供的OSD功能相關(guān)的一些API的使用和調(diào)試技巧。

第9季：圖像的IQ調(diào)試	sensor直接采集的圖像都有各種不理想性，因此在編碼前都會經(jīng)過一個軟件方式處理，這個處理就叫ISP，圖像的IQ調(diào)試就是研究這些處理算法和實現(xiàn)的。常見的IQ調(diào)試技術(shù)如：線性糾正、噪聲去除、黑電平校正、壞點去除、顏色插補、Gamma 校正、RGB2YUV 轉(zhuǎn)換、主動白平衡處理、主動曝光控制、AE評估等。

第10季：P2P方式實現(xiàn)視頻遠程直播	本季課程主要講解如何實現(xiàn)視頻的外網(wǎng)傳輸，核心技術(shù)是P2P內(nèi)網(wǎng)穿透的實現(xiàn)和視頻轉(zhuǎn)發(fā)服務器的架構(gòu)。雖然也可以自己搭建視頻服務器，但是實際開發(fā)產(chǎn)品時經(jīng)常采用的是一些第三方的視頻服務，本季課程中兩種開發(fā)方式都會涉及到，并力求讓大家掌握其實現(xiàn)原理和編程技術(shù)、調(diào)試技術(shù)。

第11季：基于opencv的圖像識別開發(fā)	本季課程屬于擴展開發(fā)，講解如何在主機ubuntu中搭建和部署opencv的環(huán)境，將HI3518E采集并編碼后的視頻傳輸?shù)街鳈C中并且使用opencv來進行圖像識別和處理。近年來隨著人工智能技術(shù)的火爆，圖像識別和視頻識別技術(shù)越來越被看重，人臉識別閘機、刷臉支付、自動駕駛汽車、ADAS系統(tǒng)等應用場景均有賴于視頻識別的技術(shù)突破。本季課程算是拋磚引玉，向大家引入圖像識別技術(shù)的開發(fā)基礎、環(huán)境搭建、基本算法原理、簡單應用案例，希望幫助大家進入該技術(shù)領(lǐng)域。

注：本資料大部分由朱老師物聯(lián)網(wǎng)大講堂課程筆記整理而來并且引用了部分他人博客的內(nèi)容，如有侵權(quán)，聯(lián)系刪除！水平有限，如有錯誤，歡迎各位在評論區(qū)交流。