大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲(chǔ)、虛擬化技術(shù)。
大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。所以是數(shù)學(xué)一類的專業(yè),現(xiàn)在本科數(shù)學(xué)類下轄子專業(yè)有(信息與計(jì)算科學(xué)),(數(shù)學(xué)與用用數(shù)學(xué)),(統(tǒng)計(jì)學(xué))等。所以大學(xué)里開設(shè)了(統(tǒng)計(jì)學(xué))、(信息與計(jì)算科學(xué))原則上都可以建議大數(shù)據(jù)實(shí)驗(yàn)室,然而這兩個(gè)專業(yè)必須是比較強(qiáng)的。這只是基礎(chǔ),國內(nèi)能稱為大數(shù)據(jù)教材的書共有兩本,一是廈門大學(xué)林子雨編著的《大數(shù)據(jù)技術(shù)原理與應(yīng)用》和河南大學(xué)張重生編著的《大數(shù)據(jù)分析:數(shù)據(jù)挖掘必備算法示例詳解》??上攵含F(xiàn)在大學(xué)里關(guān)于 大數(shù)據(jù)教學(xué)資源比較匱乏的。
根據(jù)以往的經(jīng)驗(yàn),每項(xiàng)技術(shù)從廣泛應(yīng)用到最終進(jìn)入高校教學(xué)體系都會(huì)經(jīng)歷漫長時(shí)間。大數(shù)據(jù)技術(shù)早在八年前就已經(jīng)開始被企業(yè)廣泛應(yīng)用,去年才真正開始進(jìn)入高校課程體系,在教育部相關(guān)政策的扶持下,迄今為止,成功開展大數(shù)據(jù)教學(xué)活動(dòng)的高校寥寥無幾,其中重要的原因之一便是大數(shù)據(jù)實(shí)驗(yàn)室教學(xué)環(huán)境缺少的問題。
大數(shù)據(jù)實(shí)驗(yàn)室依據(jù)業(yè)務(wù)屬性,共分為3個(gè)功能區(qū):
1)實(shí)驗(yàn)區(qū):學(xué)生學(xué)習(xí)大數(shù)據(jù)課程內(nèi)容和實(shí)際操作實(shí)驗(yàn)課程的區(qū)域,根據(jù)每組學(xué)生數(shù)量配置終端(PC);
2)實(shí)驗(yàn)設(shè)備區(qū):放置大數(shù)據(jù)室實(shí)驗(yàn)設(shè)備的區(qū)域,包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備和虛擬化軟件,所有的實(shí)驗(yàn)內(nèi)容均運(yùn)行在該實(shí)驗(yàn)設(shè)備區(qū)內(nèi);
3)實(shí)驗(yàn)管理區(qū):老師管理區(qū)和演示區(qū),負(fù)責(zé)演示實(shí)驗(yàn)課程內(nèi)容并對(duì)所有實(shí)驗(yàn)組的實(shí)驗(yàn)設(shè)備做監(jiān)控和管理;
大數(shù)據(jù)科研進(jìn)度緩慢
目前,全世界每天產(chǎn)生的數(shù)據(jù)總量大概是22PB(約2300萬GB)。這些數(shù)據(jù)對(duì)于研究改善健康,安全,氣候和資源能效,城市管理等領(lǐng)域具有非常大的價(jià)值。但國內(nèi)多數(shù)科研機(jī)構(gòu)對(duì)于這些數(shù)據(jù)還在沿用傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析形式,對(duì) 大數(shù)據(jù) 的新型算法和處理方法研究進(jìn)程普遍落后于美國、日本等。
在校師生每年都會(huì)產(chǎn)生大量數(shù)據(jù),大部分?jǐn)?shù)據(jù)無法存儲(chǔ),即便可以存儲(chǔ),對(duì)其利用率也極低。我們知道大數(shù)據(jù)的價(jià)值在于,通過對(duì)數(shù)據(jù)挖掘分析,總結(jié)事物規(guī)律,用以改善決策。大量的數(shù)據(jù)遺失和浪費(fèi)對(duì)于教學(xué)體系改革而言,無疑是重大的損失。
在數(shù)學(xué)上來看,計(jì)算機(jī)中存在不斷變大的數(shù)據(jù)集,不存在絕對(duì)的大數(shù)據(jù),計(jì)算機(jī)中的全部數(shù)據(jù)集都是有限集合。
大數(shù)據(jù)採樣——把大數(shù)據(jù)變小、找到與算法相適應(yīng)的極小樣本集、採樣對(duì)算法誤差的影響
大數(shù)據(jù)表示——表示決定存儲(chǔ)、表示影響算法效率
大數(shù)據(jù)不一致問題——導(dǎo)致算法失效和無解、怎樣消解不一致
大數(shù)據(jù)中的超高維問題——超高維導(dǎo)致數(shù)據(jù)稀疏、算法復(fù)雜度添加
大數(shù)據(jù)中的不確定維問題——多維度數(shù)據(jù)并存、按任務(wù)定維難
大數(shù)據(jù)中的不適定性問題——高維導(dǎo)致問題的解太多難以抉擇
明確大數(shù)據(jù)建設(shè)的基本理念
大數(shù)據(jù)實(shí)驗(yàn)室的設(shè)計(jì)全面落實(shí)“產(chǎn)、學(xué)、研、用”一體化的思想和模式,從教學(xué)、實(shí)踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng)。
利用虛擬化教學(xué)資源,搭建實(shí)訓(xùn)平臺(tái)和實(shí)戰(zhàn)平臺(tái),將理論學(xué)習(xí)、實(shí)踐教學(xué)和大數(shù)據(jù)分析實(shí)戰(zhàn)融為一體,由難而易、循序漸進(jìn),逐步提升學(xué)生的學(xué)習(xí)技能和實(shí)踐水平,提高“學(xué)”的質(zhì)量和成效。
利用大數(shù)據(jù)融合框架,搭建與業(yè)界主要用戶一致的實(shí)驗(yàn)與科研環(huán)境,將理論課程中學(xué)到的數(shù)據(jù)挖掘算法運(yùn)用到實(shí)際的數(shù)據(jù)分析過程中,提升學(xué)生的動(dòng)手操作和項(xiàng)目實(shí)踐能力。使得學(xué)生所學(xué)與企業(yè)項(xiàng)目人才需求無縫銜接,與教師的科研工作緊密配合。 通過專業(yè)的大數(shù)據(jù)融合資源搭建的開放式大數(shù)據(jù)融合平臺(tái),可以充分的融合教師的科研需求,教師可以在開放的平臺(tái)
實(shí)踐實(shí)訓(xùn)平臺(tái)將按照國家實(shí)踐實(shí)驗(yàn)教學(xué)示范中心建設(shè)要求,在實(shí)踐實(shí)驗(yàn)教學(xué)理念、實(shí)踐實(shí)驗(yàn)管理模式、實(shí)踐實(shí)驗(yàn)教學(xué)體系和師資隊(duì)伍的培養(yǎng)上不斷進(jìn)行探索和改革。
以高校重點(diǎn)科學(xué)與技術(shù)重點(diǎn)學(xué)科為依托,使專業(yè)建設(shè)、學(xué)科建設(shè)與實(shí)訓(xùn)實(shí)驗(yàn)室建設(shè)相協(xié)調(diào)。繼續(xù)堅(jiān)持以“應(yīng)用型、高品質(zhì)、創(chuàng)新型”作為現(xiàn)代信息化人才培養(yǎng)目標(biāo),以學(xué)生為本,完善以知識(shí)傳授、能力培養(yǎng)、素質(zhì)提高為核心,以大數(shù)據(jù)國家安全戰(zhàn)略的視野,在實(shí)訓(xùn)實(shí)驗(yàn)內(nèi)容、實(shí)訓(xùn)實(shí)驗(yàn)方法、實(shí)訓(xùn)實(shí)驗(yàn)設(shè)備和實(shí)訓(xùn)實(shí)驗(yàn)技術(shù)等方面緊密跟蹤學(xué)科發(fā)展前沿,不斷提高和完善。
大數(shù)據(jù)專業(yè)是一個(gè)重視操作、技術(shù)為先的實(shí)用性工科專業(yè),實(shí)踐實(shí)訓(xùn)教學(xué)是培養(yǎng)互聯(lián)網(wǎng)人才的重要環(huán)節(jié),也是保證學(xué)生就業(yè)質(zhì)量、提高學(xué)生就業(yè)能力的必不可少的基礎(chǔ)。實(shí)踐實(shí)訓(xùn)室教學(xué)中心的建立將會(huì)使相關(guān)院校信息化相關(guān)的眾多專業(yè)的學(xué)生得到多方面的幫助:
大數(shù)據(jù)實(shí)驗(yàn)室教學(xué)中心的建立將會(huì)進(jìn)一步規(guī)范互聯(lián)網(wǎng)工程相關(guān)專業(yè)的實(shí)踐實(shí)驗(yàn)實(shí)習(xí)教學(xué),使老師和學(xué)生都在現(xiàn)代互聯(lián)網(wǎng)技術(shù)的應(yīng)用方面得到更大提高,為申報(bào)更高級(jí)別的教學(xué)成果獎(jiǎng)奠定基礎(chǔ)。
使學(xué)院實(shí)現(xiàn)產(chǎn)學(xué)研結(jié)合的辦學(xué)方針,承擔(dān)互聯(lián)網(wǎng)技術(shù)和科研任務(wù)。在這一工程中,所有相關(guān)的學(xué)生都參與其中,一方面增強(qiáng)學(xué)生的實(shí)際工作能力,得到了大量用人單位的好評(píng),另方面也為地方的經(jīng)濟(jì)建設(shè)做出了應(yīng)有的貢獻(xiàn),創(chuàng)造了巨大的經(jīng)濟(jì)效益。
提供大數(shù)據(jù)科研環(huán)境大數(shù)據(jù)科研環(huán)境要求上比教學(xué)環(huán)境要苛刻,除了對(duì)硬軟件本身的要求,還有就是科研項(xiàng)目資源的要求。如果說大數(shù)據(jù)教學(xué)案例在當(dāng)下是稀有資源,那么大數(shù)據(jù)的科研項(xiàng)目資源就更是如此,其中數(shù)據(jù)源的質(zhì)量會(huì)直接關(guān)系到研究成果。
互聯(lián)網(wǎng)相關(guān)工程專業(yè)是一個(gè)重視操作、技術(shù)為先的實(shí)用性工科專業(yè),實(shí)踐實(shí)訓(xùn)教學(xué)是培養(yǎng)互聯(lián)網(wǎng)人才的重要環(huán)節(jié),也是保證學(xué)生就業(yè)質(zhì)量、提高學(xué)生就業(yè)能力的必不可少的基礎(chǔ)。實(shí)踐實(shí)訓(xùn)室教學(xué)中心的建立將會(huì)使相關(guān)院校信息化相關(guān)的眾多專業(yè)的學(xué)生得到多方面的幫助:
1.在高校大數(shù)據(jù)類實(shí)訓(xùn)實(shí)驗(yàn)教學(xué)中起到引領(lǐng)和示范作用
2.擴(kuò)大資源共享,提高設(shè)備使用率,共同促進(jìn)發(fā)展
3.建立周邊地區(qū)互聯(lián)網(wǎng)職業(yè)技能培訓(xùn)和考試基地
4.規(guī)范實(shí)習(xí)實(shí)訓(xùn)實(shí)驗(yàn)教學(xué),力爭取省部級(jí)、國家級(jí)教學(xué)成果獲獎(jiǎng)
5.擴(kuò)大社會(huì)經(jīng)濟(jì)服務(wù),創(chuàng)造更大經(jīng)濟(jì)效益