神經網絡技術，特斯拉儲備了多少牛專利？馬斯克為啥愛它愛的瘋狂！
知情郎·眼｜
侃透天下專利事兒
馬斯克（Elon Musk）是真愛視覺神經網絡技術。
日前，特斯拉首次披露了自研AI芯片及Dojo系統(tǒng)更多細節(jié)，并表示自家人型機器人Tesla Bot“擎天柱”頭部將配備與自家汽車相同的智能駕駛攝像頭，與汽車共用AI系統(tǒng)。
換言之，特斯拉人形機器人延續(xù)了以視覺為主的傳感技術路線。
Elon Musk和“擎天柱”Tesla Bot
你懂的，AI牛不牛，在于對攝像頭拍攝的圖片信息處理速度快不快、準不準，對海量數(shù)據(jù)的運算分析處理，需要強大的算法和算力。
這也是特斯拉自研AI芯片以及開發(fā)Dojo系統(tǒng)的核心動力。
所謂 Dojo，是特斯拉自研的超級計算機，可利用海量視頻數(shù)據(jù)，完成“無人監(jiān)管”的標注和訓練。
在去年的AI Day上，特斯拉就已發(fā)布Dojo超級計算機，但當時其“羽翼未豐”，尚只有第一個芯片及訓練塊，公司仍在推動構建完整的Dojo Exapod。
如今Dojo已成型了，特斯拉拿出來宣傳了。人家一直高調宣稱，理論上，Dojo ExaPod將是世界上最快的AI訓練超級計算機。
據(jù)不靠譜傳聞，特斯拉擎天柱人形機器人在Dojo的訓練下，每接受一億張圖片信息以及相關文字訓練后，智商就能漲一歲。
它能聰明地捕捉到每個物體的特性，并把它們合理地組織在一起，這幾乎超越了人類3歲小孩的智力。
這傳聞純屬腦補，做不得信！
另外，查了特斯拉關于神經網絡的全球AI專利，不少！人家下了功夫！
01Dojo Exapod 亮相！
在此前的硅谷芯片技術研討會HOT CHIPS上，特斯拉硬件工程師Emil Talpes公開了特斯拉Dojo超算指令集結構細節(jié)，并展示了Dojo的數(shù)據(jù)格式、系統(tǒng)網絡、軟件系統(tǒng)繞行死節(jié)點能力等。
從工程師披露的技術細節(jié)看，每個Dojo ExaPod集成120個訓練模塊，內置3000個D1芯片，擁有超過100萬個訓練節(jié)點，算力達到1．1EFLOP＊（每秒千萬億次浮點運算）。
微架構方面，每個Dojo節(jié)點都有一個內核，是一臺具有CPU專用內存和I／O接口的成熟計算機。
Dojo Exapod的核心，便是特斯拉自研的D1芯片。該芯片由臺積電制造，采用7nm工藝，擁有500億個晶體管，芯片面積為645mm?，小于英偉達的A100（826 mm?）和AMD Arcturus（750 mm?）。
值得注意的是，有望在下個月現(xiàn)身的特斯拉人形機器人“擎天柱”大腦所使用的，便是Dojo D1超級計算芯片，每個D1芯片之間無縫連接，相鄰芯片之間的延遲極低，訓練模塊最大程度上實現(xiàn)了帶寬的保留。
得益于龐大數(shù)據(jù)庫的支撐、AI預測能力與算法，特斯拉認為，純視覺方案也能較好地彌補深度傳感器缺失所帶來的不足。
目前，其基于視覺的神經網絡技術已在汽車FSD上獲得實戰(zhàn)驗證，華安證券27日報告指出，該技術有望借助Dojo超算加速訓練升級。
02為啥馬斯克那么愛視覺神經網絡技術
在傳統(tǒng)駕駛模式中，人們都是依靠人眼、大腦來收集、處理信息，再根據(jù)信息來調整車輛的狀態(tài)，自動駕駛其實就是依靠機器來收集信息進行決策。
最困難的地方在于，機器能否準確收集、識別各種場景。
那么在這種場景下，攝像頭、激光雷達、毫米波雷達、超聲波雷達均可以成為車企的選擇。
眾所周知，自動駕駛方案有2派，純視覺感知派和激光雷達派，鬧得不可開交，針尖對麥芒。
特斯拉典型地選擇攝像頭的車企，堅持用純視覺路線。
此前特斯拉的部分Model 3和Model Y車型配備了毫米波雷達，但不久之前也改裝了純視覺方案的攝像頭來進行輔助駕駛。
馬斯克曾嘲笑，任何依靠激光雷達的企業(yè)注定沒有未來。
人家一直強調：“攝像頭和神經網絡是實現(xiàn)自動駕駛的關鍵。整個道路系統(tǒng)旨在與光學成像器（眼睛）和神經網絡（大腦）配合使用。因此攝像頭和神經網絡才是根本解決方案�！�
作為AI派的頂梁柱，特斯拉認為單純依靠攝像頭就可以完成自動駕駛所需要的周圍環(huán)境感知邏輯，典型的算法決定一切的認知邏輯。
他們認為，智能汽車的感應系統(tǒng)應盡量模仿人，智能駕駛汽車可以通過計算視覺來接近人類靠2只眼（2個攝像頭）處理開車的水平。
需要注意的是，這些人的出身多與機器學習尤其是深度學習有關，他們對計算視覺的信心來自對深度學習的信心。
換句話說，偏向算法工程師出身的他們認為深度學習是全自動駕駛技術的未來。
另一邊，激光雷達派則以激光雷達為主導，配合毫米波雷達、超聲波傳感器、攝像頭多傳感器融合完成周圍環(huán)境感知，小鵬P5、蔚來ET7使用的是激光雷達方案。
這群人就是現(xiàn)實派，考慮如何推疊硬件降低事故風險。
激光雷達就是很安全的探測儀！
它可以提供關于景深的信息，其原理是通過發(fā)射鐳射光并接受反射來建立周邊的三維立體圖像。
激光雷達在探測精度、范圍以及穩(wěn)定性上，更具有優(yōu)勢，可以達到厘米級。
尤其是激光雷達負責主要的周邊探測建模，毫米波雷達用來輔佐激光雷達，可以在惡劣天氣下做出更好的回饋，加上攝像頭提供2D的實時影像，3D建模搭配2D影像，就可以更好的用算法和數(shù)據(jù)學習能力，對周邊的信息做到更精確的探測，更精確的周圍信息，就更能有利的提升輔助駕駛的能力。
03不想依賴高清地圖
去年，特斯拉人工智能與自動駕駛視覺總監(jiān)Andrej Karpathy曾表態(tài)為何不認可激光雷達。
他認為，將激光雷達添加到自動駕駛堆棧會帶來其自身的復雜性。
Karpathy說，“你必須用激光雷達預先繪制環(huán)境地圖，然后你必須創(chuàng)建一張高清地圖，你必須插入所有車道及其連接方式以及所有交通信號燈，收集、構建和維護這些高清激光雷達地圖是不可擴展的，讓這個基礎設施保持最新狀態(tài)將是極其困難的。”
Karpathy表示特斯拉在其自動駕駛堆棧中不使用激光雷達和高清地圖，“發(fā)生的一切，都是第一次發(fā)生在車內，基于圍繞汽車的八個攝像頭的視頻”。
Karpathy具體解釋了特斯拉的視覺方案運作原理。
特斯拉汽車上安裝了8個攝像頭，攝像頭沒有深度信息，他們的目標之一就是形成矢量空間視圖。
那么要怎么知道旁邊一輛車究竟在哪里又有多長呢？
首先的一個難點是，不同視角的攝像頭都只能看到周邊環(huán)境的一部分，有不同的校準（calibration）、位置（location）、取景方向（view direction）等，比如以下這張圖，誰能知道這個點對應于相機視圖的哪個點？而我們只有知道這些信息，才能把周圍物體準確放到向量空間視圖（vector space view）中。
因此就需要一種將多個攝像頭的信息融合在一起的技術，特斯拉使用了在2017年提出，如今已經席卷自然語言處理和計算機視覺領域的Transformer神經網絡（Transformer Neural Network）。
然后則是加入有時間概念時間的RNN（Recurrent Neural Network，循環(huán)神經網絡）以判斷移動物體的速度以及對被遮擋物進行預測。
RNN體現(xiàn)了“人的認知是基于過往的經驗和記憶”的觀點，通過記憶來處理任意時序的輸入序列，從而對接下來要發(fā)生的事情進行預測。比如這里對被遮擋物預測，通過對遮擋前的特征和軌跡的記憶，使得視野被短暫遮蔽的情況下，依然可以預測遮擋視野后的物體運動軌跡，并記錄已行駛過的路段的各種路標。
而對于深度信息，在缺少了雷達信息后，則需要通過對大量的有深度標注的相機數(shù)據(jù)進行訓練得到的檢測算法來得到。
這些年，特斯拉一直在迭代神經網絡，利用了多頭路徑，其中包括攝像機校準、緩存、隊列和優(yōu)化以簡化所有任務。
另外，特斯拉神經網絡系統(tǒng)技術的背后有千人的數(shù)據(jù)標記團隊，可以對各類數(shù)據(jù)例如道路、環(huán)境以及行人數(shù)據(jù)進行標記，另外當下也已經擁有了自動標記技術，這樣就可以自動選取有特點的樣本來不斷更新優(yōu)化自動駕駛能力。
04從專利看特斯拉神經網絡
神經網絡，炙手可熱。
再次科普下這個概念！
人工神經網絡（Artificial Neural Networks，簡寫為ANNs），也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。
這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。
神經網絡利用現(xiàn)有的數(shù)據(jù)找出輸入與輸出之間得權值關系（近似），然后利用這樣的權值關系進行仿真，例如輸入一組數(shù)據(jù)仿真出輸出結果，當然你的輸入要和訓練時采用的數(shù)據(jù)集在一個范疇之內。
例如預報天氣：尋找基本預測因子，如溫度濕度氣壓等氣象情況，利用歷史的氣象數(shù)據(jù)在神經網絡進行關系訓練，然后輸入今天的溫度濕度氣壓等因子，根據(jù)歷史數(shù)據(jù)測算的概率情況得到今日氣象預測結果進行預報，這是神經網絡的典型應用。
在德高行全球專利庫中，以神經網絡為關鍵詞，檢索相關特斯拉專利，Tesla 全球AI專利249件。
國內最新公開的6個專利：
序號
標題
摘要
公開號
1
具有指定偏差浮點操作數(shù)的矩陣乘法指令的系統(tǒng)和方法
一種微處理器系統(tǒng)包括矩陣計算單元和控制單元。矩陣計算單元包括多個處理元件�？刂茊卧慌渲脼橄蚓仃囉嬎銌卧峁┚仃囂幚砥髦噶睢＞仃囂幚砥髦噶钪付ㄊ褂玫谝桓↑c表示格式格式化的浮點操作數(shù)。矩陣計算單元累加使用浮點操作數(shù)計算的中間結果值。中間結果值采用第二浮點表示格式。
CN113785271A
2
用于獲取訓練數(shù)據(jù)的系統(tǒng)和方法
描述了用于獲取訓練數(shù)據(jù)的系統(tǒng)和方法。示例方法包括接收傳感器并且將神經網絡應用于傳感器數(shù)據(jù)。觸發(fā)分類器被應用于神經網絡的中間結果，以確定針對傳感器數(shù)據(jù)的分類器得分。至少部分地基于分類器得分，做出以下確定：是否要經由計算機網絡傳送傳感器數(shù)據(jù)的至少一部分。在肯定的確定時，傳感器數(shù)據(jù)被傳送并且被用來生成訓練數(shù)據(jù)。
CN112771548A
3
用于自主駕駛的數(shù)據(jù)管線和深度學習系統(tǒng)
接收使用交通工具上的傳感器捕獲的圖像并且將其分解為多個分量圖像。將多個分量圖像中的每個分量圖像作為不同輸入提供給人工神經網絡的多個層中的不同層，以確定結果。使用人工神經網絡的結果，以至少部分地自主操作交通工具。
CN112639817A
4
用于基于硬件的池化的系統(tǒng)和方法
本文描述了系統(tǒng)和方法，其利用新穎的基于硬件的池化架構來處理卷積引擎的輸出，卷積引擎的輸出表示卷積神經網絡（CNN）中的卷積層的輸出通道。池化系統(tǒng)將輸出轉換為一組陣列，并且根據(jù)池化操作將為一組陣列對準以生成池化結果。在某些實施例中，這通過使用對準器來實現(xiàn)，該對準器例如在多個算術循環(huán)上，將輸出中的數(shù)據(jù)的陣列對準到行中，并且使行相對于彼此移位。池化器將池化操作應用于來自每行的數(shù)據(jù)的子集的組合，以生成池化結果。
CN111758107A
5
用于處理載具神經網絡處理器中的錯誤的系統(tǒng)和方法
一種用于處理神經網絡中的錯誤的系統(tǒng)包括神經網絡處理器，其用于執(zhí)行與載具的使用相關聯(lián)的神經網絡。該神經網絡處理器包括：錯誤檢測器，被配置為檢測與神經網絡的執(zhí)行相關聯(lián)的數(shù)據(jù)錯誤；以及神經網絡控制器，被配置為從錯誤檢測器接收數(shù)據(jù)錯誤的報告。響應于接收到該報告，神經網絡控制器還被配置為：在不終止神經網絡的執(zhí)行的情況下，發(fā)信號通知該神經網絡的未決結果被污染。
CN111212775A
6
加速數(shù)學引擎
本公開的各種實施例涉及一種加速數(shù)學引擎。在某些實施例中，加速數(shù)學引擎被應用于圖像處理，使得圖像的卷積通過使用包括子電路的二維矩陣處理器而被加速，子電路包括ALU、輸出寄存器和影子寄存器。該架構支持時鐘二維架構，其中圖像數(shù)據(jù)和權重以同步方式相乘，以允許大量數(shù)學運算被并行執(zhí)行。
CN111095241A
美國最新公開的8件相關專利
序號
標題
摘要
公開號
1
Vector computational unit（矢量計算單元）
A microprocessor system comprises a computational array and a vector computational unit． The computational array includes a plurality of computation units． The vector computational unit is in communication with the computational array and includes a plurality of processing elements． The processing elements are configured to receive output data elements from the computational array and process in parallel the received output data elements．
US11409692B2
2
Accelerated mathematical engine（加速數(shù)學引擎）
Various embodiments of the disclosure relate to an accelerated mathematical engine． In certain embodiments， the accelerated mathematical engine is applied to image processing such that convolution of an image is accelerated by using a two－dimensional matrix processor comprising sub－circuits that include an ALU， output register and shadow register． This architecture supports a clocked， two－dimensional architecture in which image data and weights are multiplied in a synchronized manner to allow a large number of mathematical operations to be performed in parallel．
US11403069B2
3
PREDICTING THREE－DIMENSIONAL FEATURES FOR AUTONOMOUS DRIVING（預測自動駕駛的三維特征）
A processor coupled to memory is configured to receive image data based on an image captured by a camera of a vehicle． The image data is used as a basis of an input to a trained machine learning model trained to predict a three－dimensional trajectory of a machine learning feature． The three－dimensional trajectory of the machine learning feature is provided for automatically controlling the vehicle．
US20220107651A1
4
DATA PIPELINE AND DEEP LEARNING SYSTEM FOR AUTONOMOUS DRIVING（用于自主駕駛的數(shù)據(jù)管道和深度學習系統(tǒng)）
An image captured using a sensor on a vehicle is received and decomposed into a plurality of component images． Each component image of the plurality of component images is provided as a different input to a different layer of a plurality of layers of an artificial neural network to determine a result． The result of the artificial neural network is used to at least in part autonomously operate the vehicle．
US20220107652A1
5
Estimating object properties using visual image data（利用視覺圖像數(shù)據(jù)估計物體屬性）
A system is comprised of one or more processors coupled to memory． The one or more processors are configured to receive image data based on an image captured using a camera of a vehicle and to utilize the image data as a basis of an input to a trained machine learning model to at least in part identify a distance of an object from the vehicle． The trained machine learning model has been trained using a training image and a correlated output of an emitting distance sensor．
US11288524B2
6
SYSTEM AND METHOD FOR HANDLING ERRORS IN A VEHICLE NEURAL NETWORK PROCESSOR（用于處理車輛神經網絡處理器中的誤差的系統(tǒng)和方法）
A system for handling errors in a neural network includes a neural network processor for executing a neural network associated with use of a vehicle． The neural network processor includes an error detector configured to detect a data error associated with execution of the neural network and a neural network controller configured to receive a report of the data error from the error detector． In response to receiving the report， the neural network controller is further configured to signal that a pending result of the neural network is tainted without terminating execution of the neural network．
US20220083412A1
7
MULTI－CHANNEL SENSOR SIMULATION FOR AUTONOMOUS CONTROL SYSTEMS（自主控制系統(tǒng)的多通道傳感器仿真）
An autonomous control system combines sensor data from multiple sensors to simulate sensor data from high－capacity sensors． The sensor data contains information related to physical environments surrounding vehicles for autonomous guidance． For example， the sensor data may be in the form of images that visually capture scenes of the surrounding environment， geo－location of the vehicles， and the like． The autonomous control system simulates high－capacity sensor data of the physical environment from replacement sensors that may each have lower capacity than high－capacity sensors． The high－capacity sensor data may be simulated via one or more neural network models． The autonomous control system performs various detection and control algorithms on the simulated sensor data to guide the vehicle autonomously．
US20220043449A1
8
Scalable matrix node engine with configurable data formats（具有可配置數(shù)據(jù)格式的可擴展矩陣節(jié)點引擎）
A microprocessor system comprises a matrix computational unit and a control unit． The matrix computational unit includes one or more processing elements． The control unit is configured to provide a matrix processor instruction to the matrix computational unit． The matrix processor instruction specifies a floating－point operand formatted with an exponent that has been biased with a specified bias．
US11227029B2
【轉載請注明德高行·知情郎】
原文標題 : 神經網絡技術，特斯拉儲備了多少牛專利？馬斯克為啥愛它愛的瘋狂！
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
