大數(shù)據(jù)

【培訓對象】
技術(shù)人員

【培訓收益】
了解大數(shù)據(jù)概念及應(yīng)用

 課時一：概念綜述

1、 大數(shù)據(jù)的定義由來和原因

2、 大數(shù)據(jù)的6V特征

3、 從數(shù)據(jù)庫，數(shù)據(jù)倉庫到大數(shù)據(jù)

4、 大數(shù)據(jù)相關(guān)技術(shù)和處理

 

課時二：Hadoop生態(tài)圈、spark生態(tài)圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并發(fā)的機器學習工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

課時三：存儲在hbase中的數(shù)據(jù)

1、 NoSQL（key-value）

2、 Hbase：安裝

3、 行鍵與列簇

4、 如何利用Hbase的特點存儲數(shù)據(jù)

5、 應(yīng)用程序如何訪問Hbase中的數(shù)據(jù)

6、 數(shù)據(jù)遷移：sqoop

7、 Hbase的應(yīng)用場景

 

課時四：Hive：為用SQL的開發(fā)者留的活路

1、 Hive：安裝（單用戶與多用戶）

2、 Hive：基本操作

3、 Hive：與典型的關(guān)系型數(shù)據(jù)庫的區(qū)別

4、 如果“想慢”，你可以這樣…（不恰當使用hive的案例介紹）

5、 Hive的應(yīng)用場景

 

課時五：Spark各組件在衛(wèi)生領(lǐng)域的應(yīng)用

1、 Hadoop最大的特點是什么？

2、 Spark概述與安裝

3、 Scala：你可以一直“點”下去

4、 RDD：“映射”、“轉(zhuǎn)換”解決一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他組件

8、 應(yīng)用場景

 

課時六：機器學習算法介紹—I

1、 綜述（人工智能、數(shù)據(jù)挖掘、機器學習、機器智能、大數(shù)據(jù)：這些詞的確切含義）

2、 監(jiān)督學習、無監(jiān)督學習與強化學習

3、 工具：R、Python等

4、 決策樹詳解（熵、貪心法、連續(xù)的和離散的）

5、 神經(jīng)網(wǎng)絡(luò)詳解（神經(jīng)元、激勵函數(shù)、前饋神經(jīng)網(wǎng)絡(luò)的BP算法，其他神經(jīng)網(wǎng)絡(luò)）

 

課時七：機器學習算法介紹—II

1、 關(guān)聯(lián)規(guī)則詳解（頻繁項集、Apriori、支持度、置信度）

2、 聚類詳解（k-means、k-medoid）

常見算法的簡述（Naïve-Bayes、k-NN、HMM、SVM等）

 

葉梓，上海交通大學計算機專業(yè)博士畢業(yè)，高級工程師。主研方向：數(shù)據(jù)挖掘、機器學習、人工智能。歷任國內(nèi)知名上市IT企業(yè)的AI技術(shù)總監(jiān)、資深技術(shù)專家，市級行業(yè)大數(shù)據(jù)平臺技術(shù)負責人。

 

長期負責城市信息化智能平臺的建設(shè)工作，開展行業(yè)數(shù)據(jù)的智能化應(yīng)用研發(fā)工作，牽頭多個省級、市級行業(yè)智能化信息系統(tǒng)的建設(shè)，主持設(shè)計并搭建多個省級、市級行業(yè)大數(shù)據(jù)平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應(yīng)用課題研究。

 

帶領(lǐng)團隊在相關(guān)行業(yè)領(lǐng)域研發(fā)多款人工智能創(chuàng)新產(chǎn)品，成功落地多項大數(shù)據(jù)、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術(shù)優(yōu)秀應(yīng)用成果獎”。帶領(lǐng)團隊在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數(shù)據(jù)技術(shù)標準的制定，曾獲省部級以上的科技創(chuàng)新一等獎。

 

1.      論文發(fā)表/項目經(jīng)歷

在國內(nèi)外期刊、會議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項目經(jīng)歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發(fā)智能服務(wù)系統(tǒng)，包括：元宇宙與虛擬數(shù)字人、基于人工智能的內(nèi)容生成（AIGC）、基于NLP技術(shù)的對話系統(tǒng)、基于深度學習的圖像識別系統(tǒng)、基于智能推理的行業(yè)推薦系統(tǒng)。

相關(guān)工作：

作為項目總負責，負責項目管理、產(chǎn)品研發(fā)、系統(tǒng)分析、技術(shù)指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數(shù)據(jù)技術(shù)，建設(shè)市級信息平臺，完成試點單位接入并采集居民相關(guān)信息，實現(xiàn)市級平臺檔案等服務(wù)，并實現(xiàn)所有單位的全面接入。

ü  為解決超量數(shù)據(jù)的存儲與計算的問題，搭建了存儲全市數(shù)據(jù)的云計算平臺，并在其上進行了基于大數(shù)據(jù)的分析和挖掘工作。

相關(guān)工作：

作為總工程師，負責技術(shù)管理、系統(tǒng)分析、云平臺數(shù)據(jù)存儲設(shè)計、數(shù)據(jù)分析與挖掘指導、開發(fā)指導。

 

l  上海市城市信息化領(lǐng)域智能聯(lián)網(wǎng)工程 技術(shù)經(jīng)理

ü  建設(shè)內(nèi)容包括：接入單位的聯(lián)網(wǎng)；智能卡的實現(xiàn)；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統(tǒng)；評估體系的展示設(shè)計；短信平臺的實現(xiàn)；違規(guī)操作的提醒；協(xié)同智能服務(wù)平臺的實現(xiàn)等。

相關(guān)工作：

作為技術(shù)經(jīng)理負責總體架構(gòu)設(shè)計、接口設(shè)計、大數(shù)據(jù)平臺設(shè)計、AI技術(shù)指導等。

 

 

3. 主攻方向

具有扎實的數(shù)據(jù)挖掘、機器學習、深度學習等人工智能理論基礎(chǔ)；了解AIGC等技術(shù)前沿動態(tài)。

精通機器學習、深度學習的理論、模型、算法、調(diào)優(yōu)等；精通算法設(shè)計；

熟悉深度學習在自然語言處理、計算機視覺兩大核心領(lǐng)域的實用技巧；

15年以上的程序開發(fā)經(jīng)驗，熟悉常用程序開發(fā)架構(gòu)，獨立完成多個產(chǎn)品級軟件的設(shè)計與開發(fā)。

 

• 大數(shù)據(jù)及人工智能背景下消費和小微信貸線上獲客、產(chǎn)品設(shè)計、風控應(yīng)對策略

   

  第一部分：金融科技發(fā)展狀況的介紹一、金融科技的現(xiàn)狀與發(fā)展趨勢（一）宏觀背景1、金融科技（支付寶人臉識別技術(shù)、APPLEPAY、虹膜技術(shù)、二維碼支付技術(shù)）2、利率市場化3、金融脫媒（二）移動互聯(lián)技術(shù)的發(fā)展使互聯(lián)網(wǎng)金融成為可能1、移動互聯(lián)網(wǎng)技術(shù)2、移動支付技術(shù)3、H5、APP（三）互聯(lián)網(wǎng)金融對傳統(tǒng)銀行資產(chǎn)業(yè)務(wù)的顛覆和沖..

  ￥   元/ 天

  人氣：767  

  

• 大數(shù)據(jù)時代——提升患者管理，構(gòu)建專業(yè)藥房

   

  【課程導言】：移動互聯(lián)時代下，實體門店面臨巨大的挑戰(zhàn)，同時也是一種機會。馬云說：不是實體門店不行了，而是你的實體門店不行了。面臨新的沖擊實體店如何進行創(chuàng)新，如何守住老陣地，如何利用新武器，這是所有實體連鎖共同面臨的問題。課程從互聯(lián)網(wǎng)環(huán)境對我們的實體店挑戰(zhàn)和我們面臨的消費者消費習慣和方式的的變化入手，通過分析新零售良品鋪子，海瀾之家，名創(chuàng)優(yōu)品的..

  ￥   元/ 天

  人氣：650  

  

• 電商互聯(lián)網(wǎng)大數(shù)據(jù)營銷之落地實踐鐵律

   

  課程背景：未來人貨場一切數(shù)字化，數(shù)據(jù)將成為一種資源，沒有數(shù)據(jù)沒有未來，企業(yè)如何構(gòu)建自己的大數(shù)據(jù)未來？人工智能已經(jīng)來臨，人工智能在營銷板塊的應(yīng)用本質(zhì)就是大數(shù)據(jù)營銷！企業(yè)的ERP、CRM、報表等等僅僅是零散的死數(shù)據(jù)，如何激活流動產(chǎn)生閉環(huán)，產(chǎn)生效益？經(jīng)驗將成為負債，未來將利用數(shù)據(jù)產(chǎn)品規(guī)劃、定位、策劃、人群分析、活動策劃，數(shù)據(jù)成為商業(yè)的起點！人為..

  ￥19,100   元/ 天

  人氣：1104  

  

• 電商互聯(lián)網(wǎng)智能商業(yè)：大數(shù)據(jù)營銷分析與落地實踐

   

  課程背景：數(shù)據(jù)是未來企業(yè)唯一資源，大數(shù)據(jù)營銷意味著高效、精準、成本低、全自動化，讓企業(yè)從人海戰(zhàn)、廣告戰(zhàn)、渠道戰(zhàn)的泥潭中拔出來為什么搜索廣告效果差了？為什么團購效果也差了？為什么傳統(tǒng)的用戶細分、STP在大數(shù)據(jù)提出的用戶畫像面前蒼白了？為什么獨角獸全靠增長黑客模式崛起？企業(yè)未來如何搭建科學的大數(shù)據(jù)營銷隊伍，建立科學的數(shù)字營銷體！通過互動獲取數(shù)據(jù)，..

  ￥19,100   元/ 天

  人氣：1150  

  

• 大數(shù)據(jù)基礎(chǔ)原理與應(yīng)用

   

  一、運營商網(wǎng)絡(luò)架構(gòu)和技術(shù)選擇1.運營商網(wǎng)絡(luò)架構(gòu)2.運營商業(yè)務(wù)類型3.接入網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實現(xiàn)二、全業(yè)務(wù)運營技術(shù)實現(xiàn)1.集團業(yè)務(wù)分類及特點2.集團高等級業(yè)務(wù)特點及業(yè)務(wù)場景3.集團低等級業(yè)務(wù)特點及業(yè)務(wù)場景4.集團高、低等級業(yè)務(wù)要求及技術(shù)選擇5.數(shù)據(jù)專線業(yè)務(wù)及技術(shù)實現(xiàn)6.互聯(lián)網(wǎng)專線業(yè)務(wù)及技術(shù)實現(xiàn)7.集..

  ￥   元/ 天

  人氣：952  

  

• 大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算行業(yè)應(yīng)用及發(fā)展趨勢

   

  一、信息通信產(chǎn)業(yè)發(fā)展的背景和趨勢1、信息通信產(chǎn)業(yè)用戶現(xiàn)狀和發(fā)展趨勢2、國內(nèi)外信息化發(fā)展戰(zhàn)略3、中國信息化發(fā)展現(xiàn)狀和趨勢4、信息通信網(wǎng)絡(luò)發(fā)展趨勢5、電信業(yè)轉(zhuǎn)型新趨勢二、ICT前沿技術(shù)(一)云計算1、云計算發(fā)展的商業(yè)動力與技術(shù)趨勢1.1云計算基本概念1.2云計算的商業(yè)動力：企業(yè)ICT轉(zhuǎn)型1.3云計算特點..

  ￥   元/ 天

  人氣：1037