從2023年ChatGPT的橫空出世，再到今年Sora模型的誕生，端到端大模型在多個領域都展現出了其強大的潛力，在汽車行業中亦是如此。

何為“端到端”

在深度學習領域，"端到端"通常指的是只需輸入原始數據就能直接輸出最終結果的AI模型。通過大量高質量數據進行訓練，端到端大模型能夠逐漸提升其智能水平。在汽車行業中，該技術可應用到自動駕駛領域，從而取代傳統自動駕駛技術。

傳統的模塊化自動駕駛系統通常將感知、決策和控制分為獨立的模塊，每個模塊專注于解決特定的問題，這樣的分工簡化了系統開發的難度，利于問題回溯與研發迭代，為目前的主流方案。

然而，這種方法的缺陷在于，人工編程的代碼只能處理有限的行車場景。無論給系統添加多少行代碼，也無法覆蓋到所有的特殊情況，因此難以實現完全自動駕駛。

相比之下，端到端大模型是一個整體，更接近人類駕駛的模式。不再試圖通過人工編程來處理每一種行車場景，而是使用大量數據進行訓練，讓AI自己發現數據之中隱藏的行駛規則，這樣就能夠覆蓋更廣泛的行車場景，有望實現完全自動駕駛。

然而，當下的端到端大模型存在著令人難以理解的缺陷。即使經過大量訓練，大模型在某些場景中仍可能變為“人工智障”，所采取的決策遠不如人類。同時，端到端大模型的決策過程具有“黑箱”特性，內部邏輯不公開，決策中所出現的問題難以被定位，給研發迭代和問題解決造成負面影響。

此外，數據量、算力以及對大模型的精簡優化都是推進端對端大模型發展的重要因素。

首先，自動駕駛系統需要大量的高質量訓練數據。這些數據包括各種駕駛場景、天氣條件和交通情況的圖像、視頻和傳感器數據。收集、標注和維護這些數據的質量和多樣性是一項挑戰，尤其是要確保數據能夠覆蓋所有可能的駕駛場景。馬斯克曾表示：“特斯拉花了大約一個季度的時間完成了1000萬個視頻片段的訓練。訓練了100萬個視頻case，勉強可以工作；200萬個，稍好一些；300萬個，就會感到Wow；到了1000萬個，它的表現就變得難以置信了。”

其次，將海量數據喂給端到端大模型時，算力是不可或缺的資源。智算中心需要進行擴建，才能滿足日益增長的算力需求。

最后，當云端的大模型訓練完成后，需要對其進行精簡。云端服務器擁有大量高性能硬件資源，支持大規模并行處理數據并進行數據存儲。但車載計算資源有限，為了與之適配，需要對模型進行優化，并降低能耗。

特斯拉的端到端大模型與算力部署

特斯拉在端到端大模型領域中處于領先地位。2023年8月，馬斯克在直播中展示FSD V12 Beta版本，多次強調該版本使用海量視頻數據進行訓練，駕駛決策由AI算法生成。并且，他還在X上發布推文，表示V12 Beta版本大幅縮減了人工編程的C++控制代碼，從 30 萬行下降了2個數量級（變為3000行）。

今年3月，北美地區的特斯拉非員工用戶陸續收到FSD V12.3版本的推送。該版本在面對障礙物和變道博弈等復雜場景表現更出色，但在處理一些簡單場景時，例如在空曠的路面上行駛，會出現離譜的加速或減速問題。

在算力方面的規劃上，特斯拉在去年部署了超過10EFLOPS的算力，并預期將于今年末達到100EFLOPS。

造車新勢力的端到端大模型與算力部署

國內造車新勢力紛紛跟進FSD V12，但目前還沒有實現量產上車。在今年1月的全國智駕啟動發布會上，何小鵬表示，小鵬汽車將實現端到端大模型全面上車。據悉，理想的新模型也將在今年上線，而蔚來將于年內上線基于端到端的主動安全功能。

同時，三者在智算中心方面均有所布局。

小鵬與阿里云共建了扶搖智算中心，訓練算力為600PFLOPS（0.6EFLOPS）。

理想汽車和火山引擎共建的智算中心，訓練算力為1200PFLOPS（1.2EFLOPS）。

蔚來集成阿里云、英偉達等合作伙伴的技術資源，建設了蔚來云智算中心，算力為1400PFLOPS（1.4EFLOPS）。

結語

汽車端到端大模型展現出了不俗的潛力，但目前還不成熟，需要安全策略進行兜底。不過不用擔心，它的成長之旅才剛剛開始。隨著對算法和硬件的不斷優化，以及使用更多數據進行深度學習，端到端大模型將逐漸完善并在自動駕駛中得到廣泛應用。