葡京娱乐场-富盈娱乐场开户_百家乐试玩_sz全讯网网址xb112 (中国)·官方网站

成果介紹“衛(wèi)星與無(wú)線通信融合系統(tǒng)研發(fā)及產(chǎn)業(yè)化”就是由東南大學(xué)、南京中網(wǎng)衛(wèi)星通信股份有限公司和江蘇大學(xué)三家單位合作完成。衛(wèi)星通信具有覆蓋廣和不受地域限制的優(yōu)勢(shì)，但是受到遮擋以后，信號(hào)就會(huì)不好，而且通信的成本太高，2M帶寬每小時(shí)就要花費(fèi)幾千元。而隨著3G、4G的普及，地面無(wú)線通信已經(jīng)發(fā)展得相當(dāng)完善，但是在地面基站未覆蓋區(qū)域，或基站一旦受到洪水、臺(tái)風(fēng)、地震等自然災(zāi)害破壞時(shí)，就無(wú)法通信了。正是基于這兩個(gè)通信系統(tǒng)的特點(diǎn)，我們‘取長(zhǎng)補(bǔ)短’，巧妙地將兩種通信系統(tǒng)融合起來(lái)，研制完成的系統(tǒng)可以根據(jù)不同策略自適應(yīng)地選擇地面通信鏈路或衛(wèi)星鏈路”技術(shù)創(chuàng)新點(diǎn)及參數(shù)他和團(tuán)隊(duì)成員克服了很多困難，提出了多項(xiàng)獨(dú)創(chuàng)性的方法，目前已申請(qǐng)國(guó)家發(fā)明專利40項(xiàng)（其中24項(xiàng)已經(jīng)獲得授權(quán)），編制國(guó)家標(biāo)準(zhǔn)3項(xiàng)，發(fā)表國(guó)內(nèi)外核心期刊論文61篇（其中SCI收錄16篇）。項(xiàng)目研制的衛(wèi)星與無(wú)線通信融合系統(tǒng)實(shí)現(xiàn)了規(guī)模產(chǎn)業(yè)化，部分性能指標(biāo)處于國(guó)際領(lǐng)先水平，并在氣象、安監(jiān)、環(huán)保和軍隊(duì)等諸多行業(yè)得到極其廣泛的應(yīng)用，得到了政府有關(guān)部門(mén)和客戶的一致好評(píng)。市場(chǎng)前景目前本項(xiàng)目的產(chǎn)品已經(jīng)應(yīng)用到全國(guó)26個(gè)省市的18個(gè)行業(yè)。其中，氣象和安監(jiān)市場(chǎng)占有率達(dá)到70[%]，環(huán)保市場(chǎng)占有率達(dá)到60[%]。產(chǎn)品曾為“神舟系列”飛船的發(fā)射和回收提供氣象保障，為汶川地震、雅安地震和甘肅舟曲特大泥石流等提供了應(yīng)急通信服務(wù)，為上海世博會(huì)和深圳大運(yùn)會(huì)等重大活動(dòng)提供了氣象保障和視頻直播服務(wù)。產(chǎn)品已經(jīng)實(shí)現(xiàn)直接銷(xiāo)售收入8.3億元，產(chǎn)生的間接經(jīng)濟(jì)效益數(shù)百億計(jì)。

大數(shù)據(jù)應(yīng)用的多樣化 需要的計(jì)算模型、數(shù)據(jù)模型多樣化； 目前每類模型需要單獨(dú)的開(kāi)源系統(tǒng)來(lái)支持（如HDFS、HBase、Neo4j、MongoDB，F(xiàn)link，Spark，Tensorflow等）。 多系統(tǒng)導(dǎo)致大數(shù)據(jù)分析平臺(tái)非常復(fù)雜、效率低下。研究目標(biāo)：研究和開(kāi)發(fā)面向新型多計(jì)算模型融合架構(gòu)的、高時(shí)效、可擴(kuò)展的新 一代大數(shù)據(jù)分析支撐系統(tǒng)與工具平臺(tái)FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。針對(duì)目前大數(shù)據(jù)分析平臺(tái)復(fù)雜、效率低下的痛點(diǎn)，該系統(tǒng)具有三個(gè) 方面的優(yōu)勢(shì)：首先，這套系統(tǒng)采用融合架構(gòu)，一方面實(shí)現(xiàn)關(guān)系、圖、鍵 值、文檔等多種數(shù)據(jù)模型的高效融合，另一方面實(shí)現(xiàn)批處理計(jì)算、流計(jì) 算的深度融合，并可以通過(guò)SQL擴(kuò)展語(yǔ)言來(lái)進(jìn)行多模型的統(tǒng)一查詢，實(shí)現(xiàn)高效的跨模型查詢。其次，對(duì)于復(fù)雜系統(tǒng)來(lái)說(shuō)，時(shí)效性非常重要，這 套系統(tǒng)采用融合架構(gòu)提高效率是實(shí)現(xiàn)高時(shí)效的基礎(chǔ)，更重要的是，我們 對(duì)大數(shù)據(jù)分析從數(shù)據(jù)到用戶進(jìn)行了端到端的全棧時(shí)效優(yōu)化。最后，對(duì)于 大數(shù)據(jù)應(yīng)用來(lái)說(shuō)，系統(tǒng)擴(kuò)展性非常重要，本系統(tǒng)在資源層、存儲(chǔ)層和計(jì) 算層進(jìn)行了全面的擴(kuò)展性優(yōu)化。下面在融合架構(gòu)、高時(shí)效和可擴(kuò)展這三 個(gè)方面，分別詳細(xì)介紹FAST系統(tǒng)的三個(gè)主要亮點(diǎn)。融合架構(gòu)FAST系統(tǒng)的第一個(gè)亮點(diǎn)是融合架構(gòu)，我們?cè)诩夹g(shù)方面的創(chuàng)新主要包 括多數(shù)據(jù)模型融合和多計(jì)算模型融合兩方面。多數(shù)據(jù)模型融合：設(shè)計(jì)和研發(fā)了多模型數(shù)據(jù)管理與查詢引擎，支持關(guān)系、圖、鍵值、 文檔等多種數(shù)據(jù)模型，實(shí)現(xiàn)了查詢解析、查詢優(yōu)化、元數(shù)據(jù)管理、數(shù)據(jù) 分布等功能，將多種數(shù)據(jù)模型進(jìn)行統(tǒng)一管理和深度融合。同時(shí)擴(kuò)展了SQL語(yǔ)言，通過(guò)統(tǒng)一的查詢接口支持對(duì)關(guān)系、鍵值、圖、文檔等數(shù)據(jù)進(jìn)行獨(dú)立訪問(wèn)或者跨模型查詢。經(jīng)過(guò)試驗(yàn)，多模型數(shù)據(jù)融合查詢，比Spark 2.3.4的查詢時(shí)間能平均減少70.7%。目前spark等現(xiàn)有系統(tǒng)還需要手工編程方式來(lái)實(shí)現(xiàn)跨模型查 詢，所以FAST系統(tǒng)在易用性上也表現(xiàn)良好，降低使用門(mén)檻，提高開(kāi)發(fā)效率。多計(jì)算模型融合：在計(jì)算層實(shí)現(xiàn)了最常見(jiàn)的批處理計(jì)算和流計(jì)算深度融合，批流融合的核心方法是在系統(tǒng)內(nèi)部實(shí)現(xiàn)批和流的統(tǒng)一表達(dá)，批是對(duì)有限數(shù)據(jù)集 的運(yùn)算，流是對(duì)無(wú)限數(shù)據(jù)流的計(jì)算，我們?cè)O(shè)計(jì)了UCollection結(jié)構(gòu)對(duì)批和 流數(shù)據(jù)進(jìn)行統(tǒng)一表達(dá)，通過(guò)識(shí)別的bounded標(biāo)志，來(lái)確定是批、流、或批流融合。有了統(tǒng)一表達(dá)，可以開(kāi)展一系列融合優(yōu)化來(lái)提升系統(tǒng)性能。 并且對(duì)上通過(guò)Unified API統(tǒng)一用戶的批、流接口，實(shí)現(xiàn)二者在編程范式上的統(tǒng)一表達(dá)。對(duì)于批流混合的計(jì)算，融合架構(gòu)系統(tǒng)的查詢延遲比Flink 1.4.2能減少57%，吞吐量平均可以提升到6.72倍。高時(shí)效FAST系統(tǒng)的第二個(gè)亮點(diǎn)是高時(shí)效，即縮短大數(shù)據(jù)分析的時(shí)間消耗， 提高效率。由于大數(shù)據(jù)分析平臺(tái)是一個(gè)非常復(fù)雜的系統(tǒng)，為了做到高時(shí)效，系統(tǒng)不能存在性能短板，因此需要對(duì)大數(shù)據(jù)分析的整個(gè)過(guò)程進(jìn)行端到端的全棧時(shí)效優(yōu)化。如圖中所示，自下而上，需要在多模態(tài)存儲(chǔ)、批流融合、機(jī)器學(xué)習(xí)、人工操作各層都進(jìn)行優(yōu)化。對(duì)于多模態(tài)存儲(chǔ)，面向應(yīng)用負(fù)載和異構(gòu)硬件特征進(jìn)行自適應(yīng)優(yōu)化；對(duì)于批流融合計(jì)算，在統(tǒng)一表達(dá)基礎(chǔ)上，進(jìn)行系列融合優(yōu)化技術(shù)， 包括DAG優(yōu)化、迭代優(yōu)化、部署優(yōu)化、操作符優(yōu)化等；在機(jī)器學(xué)習(xí)層面，進(jìn)行模型優(yōu)化、消息優(yōu)化、梯度優(yōu)化、概率優(yōu)化 等來(lái)提高時(shí)效；而且我們也考慮到大數(shù)據(jù)分析過(guò)程中用戶人工操作的時(shí)效性問(wèn)題， 通過(guò)智能地進(jìn)行大數(shù)據(jù)分析方法和模型的推薦，來(lái)縮減人工操作的 時(shí)間。可擴(kuò)展FAST系統(tǒng)的第三個(gè)亮點(diǎn)是可擴(kuò)展，由于大數(shù)據(jù)應(yīng)用規(guī)模很大，數(shù)據(jù)增速快，對(duì)系統(tǒng)可擴(kuò)展性的要求非常高，為此我們?cè)谙到y(tǒng)的資源層、 存儲(chǔ)層和計(jì)算層進(jìn)行了全面的擴(kuò)展性優(yōu)化。在資源層，系統(tǒng)都部署在云計(jì)算的虛擬化資源之上，利用了云計(jì)算資源的彈性機(jī)制進(jìn)行系統(tǒng)擴(kuò)展。并在系統(tǒng)中實(shí)現(xiàn)了可伸縮調(diào)整模塊， 能實(shí)時(shí)監(jiān)控軟硬件系統(tǒng)的狀態(tài)，按照應(yīng)用需求來(lái)自適應(yīng)地進(jìn)行彈性伸縮。在存儲(chǔ)層，分布式存儲(chǔ)系統(tǒng)擴(kuò)展性的關(guān)鍵在于分布式共識(shí)和一致性 協(xié)議（Raft），因此提出了KV-Raft、vRaft等進(jìn)行Raft的擴(kuò)展優(yōu)化。在計(jì)算層，我們擴(kuò)展了機(jī)器學(xué)習(xí)模型的參數(shù)規(guī)模，使系統(tǒng)可以支持 到百億級(jí)別的超大規(guī)模機(jī)器學(xué)習(xí)模型訓(xùn)練，并且性能方面有明顯提 升。亮點(diǎn)成果：融合架構(gòu)大數(shù)據(jù)分析平臺(tái)目前已經(jīng)在阿里巴巴雙十一進(jìn)行示范應(yīng)用。 從2020年11月10日至11月16日一周的時(shí)間，在阿里的生產(chǎn)環(huán)境中，研發(fā) 的系統(tǒng)一直連續(xù)穩(wěn)定運(yùn)行，基于淘寶和天貓的實(shí)際用戶信息進(jìn)行大數(shù)據(jù) 分析，綜合運(yùn)用了本系統(tǒng)的存儲(chǔ)、計(jì)算、機(jī)器學(xué)習(xí)等多個(gè)模塊的能力， 累計(jì)進(jìn)行了184億件商品推薦。同時(shí)在雙十一期間，基于智能交互向?qū)Ъ夹g(shù)，也面向電子商務(wù)應(yīng)用 的賣(mài)家提供了“生意參謀”應(yīng)用，基于大數(shù)據(jù)分析，幫助賣(mài)家分析產(chǎn)品 銷(xiāo)量變化的原因，以及促銷(xiāo)的有效手段等。

流立方在技術(shù)流派里屬于流式大數(shù)據(jù)實(shí)時(shí)處理領(lǐng)域，但兼顧了批式數(shù)據(jù)處理技術(shù)的優(yōu)勢(shì)，一定程度的做到了混合時(shí)態(tài)的實(shí)時(shí)處理。流立方通過(guò)在數(shù)據(jù)流水過(guò)程中嵌入流處理引擎將所有流過(guò)的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理, 并生成多維度的可計(jì)算數(shù)據(jù)魔方。1）超高并發(fā)性：“流立方”產(chǎn)品擁有每秒處理百萬(wàn)筆交易流水復(fù)雜分析的能力。而達(dá)到這樣的性能僅需要 8 臺(tái)普通的 pc 服務(wù)器搭建的集群。2）超低時(shí)效性：流立方對(duì)每筆流水處理的延時(shí)嚴(yán)格控制在毫秒級(jí)，實(shí)際生產(chǎn)中平均延時(shí)穩(wěn)定在 10 毫秒左右。形象一點(diǎn)來(lái)說(shuō)，也就是在海水涌進(jìn)海洋的幾乎同一時(shí)刻，數(shù)據(jù)就被分析完成了，遠(yuǎn)遠(yuǎn)低于人類學(xué)上 0.1 秒即有所感知的時(shí)間節(jié)點(diǎn)，處理速度比一眨眼快了很多倍。最近一年，流立方的高級(jí)版本更是提升到了微秒級(jí)的處理延時(shí)，將被用在春運(yùn)票務(wù)、軍工、反恐等要求更加極致的場(chǎng)景。3）高可靠性、高擴(kuò)展性、高兼容性：流立方自帶的可計(jì)算分布式緩存高性能、高可靠、高可擴(kuò)展。在內(nèi)存不足時(shí), 能夠平滑擴(kuò)展到多節(jié)點(diǎn)。流立方平臺(tái)內(nèi)支持算法數(shù)量達(dá)到幾十個(gè)。計(jì)算模型、腳本獨(dú)立管理,在線編寫(xiě)、即時(shí)部署即時(shí)生效, 大大節(jié)約上線時(shí)間。

中國(guó)傳媒大學(xué)融合門(mén)戶平臺(tái)競(jìng)爭(zhēng)性磋商