當下，以AIGC技術為代表的新一輪人工智能蓬勃興起，用人工智能大模型作畫、寫詩你也許已經不那么陌生，但這些只是人工智能大模型應用中的冰山一角。未來，金融、制造、交通等各行業都將可能實現更具針對性、落地垂直場景的行業大模型。

北京智源人工智能研究院(簡稱“智源研究院”)是國內最早開展大模型研究的科研機構之一，匯集了國際頂尖人工智能學者，聚焦核心技術與原始創新，一直致力于搭建高效、有活力的 AI 研發平臺。

宏杉科技深度參與建設智源研究院超大規模人工智能模型訓練平臺，以120節點的宏杉科技萬象全閃分布式存儲，打造高性能數據存儲系統，全閃容量達16PB，為智源大模型訓練提供海納數據、超高性能的存儲服務。

為大規模數據提供超大容量、高擴展性支持

當前，用戶在美團App應用中搜索【登記照】時，App會出現【婚紗照服務】推薦，這是智源AI大模型NLP自然語言處理能力的實際應用。通過對用戶檢索詞進行“智能分析”，智源大模型可實現消費者需求的精準匹配，每天為7億美團用戶提供便捷服務。

大模型的“精準分析”能力從何而來？百億規模參數的學習必不可缺。

宏杉科技萬象分布式存儲系統擁有強大的擴展能力，能夠容納大模型百億規模參數以及訓練中所產生的海量過程數據。用戶可以根據需要，隨時增加配置，通過擴展萬象分布式存儲節點或擴展分布式存儲集群規模的方式，增加整體容量與性能，整體系統容量可擴展到數百PB，為大模型數據提供完美的“容身之所”。

為海量混合數據存儲實現性能加持

在人工智能生成應用方面，智源研究院文圖生成模型變身「寫實主義畫家」，畫面生成真實如同攝影直拍；視頻生成亦不在話下，一句話，為你展現經典電影畫面，也可讓世界名畫動起來。

AI通過學習圖文、交錯圖文、交錯視頻文本等海量多模態序列，實現在圖像、文本和視頻等不同模態間的理解、推理和生成。而這個工作過程中，數據的類型及大小處于一種“混合狀態”，針對大、小文件隨機存儲產生延遲較高的問題，如何才能確保存儲系統的高性能？

架構方面，宏杉科技選用萬象全閃分布式存儲為智源大模型打造高性能存儲底座，全閃性能達到200W級別IOPS，帶寬逾百GB/s，集群文件數量超百億。萬象分布式存儲以領先的元數據集群技術，打造元數據集群存儲系統架構，實現存儲系統整體性能躍升——所有元數據服務器同時參與文件檢索與定位工作，為智源大模型提供了近乎無限的文件存儲數量和高效的文件檢索服務，并且達到即插即用，性能與容量線性增長的效果。

針對智源大模型海量小文件讀寫場景，萬象分布式存儲不再進行低效的單個小文件的切片傳輸，而是以目錄為單位進行小文件聚合傳輸，大幅提高網絡傳輸和磁盤使用效率。在順序讀取大量小文件時，內存命中率超過96%，有效縮短了IO路徑，降低了磁盤操作次數及數據訪問延遲。

此外，萬象分布式存儲還支持RDMA技術，有效提升了大文件讀寫以及整體存儲系統性能——數據能夠繞過CPU，直接傳到對端內存，避免多次的數據拷貝，同時減少了CPU占用，提升吞吐量，降低延時。

2022年，科技部發布了《關于支持建設新一代人工智能示范應用場景的通知》，越來越多的人工智能應用在中國落地開花。宏杉科技作為一站式數據存儲專家，深度參與了北京智源人工智能研究院、青田聯合創新賦能中心等AI項目建設。未來，宏杉科技將持續創新、發力AI行業，以更高性能、更低時延、更強擴展性的存儲，助力人工智能產業研究，促進智能經濟高效發展，與更多專家學者共同探索人工智能的星辰大海。