首頁最新資訊

全部 新聞動(dòng)態(tài) 技術(shù)文章 常見問題 技術(shù)問答

    • 反爬蟲系統(tǒng)實(shí)戰(zhàn)教程【大數(shù)據(jù)培訓(xùn)】

      通過不斷的訂座但不支付，利用這些虛占的座位進(jìn)行非法盈利，通過系統(tǒng)日志分析等，發(fā)現(xiàn)官網(wǎng)存在大量的非法占座會員及非會員手機(jī)號用戶。 為了限制偽裝技術(shù)越來越強(qiáng)的爬蟲訪問和惡意占座行為，需要開發(fā)大數(shù)據(jù)防爬工具。 項(xiàng)目采用Lua+Spark+Redis+Hadoop框架搭建,包含狀態(tài)監(jiān)控,反爬指標(biāo)配置,運(yùn)營指標(biāo)監(jiān)控展示等功能。查看全文>>

      技術(shù)文章2020-06-02 |黑馬程序員 |反爬蟲系統(tǒng)

    • Spark Streaming是什么？有什么特點(diǎn)？

      ? Spark Streaming是構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，且是對Spark Core API的一個(gè)擴(kuò)展，它能夠?qū)崿F(xiàn)對流數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并具有很好的可擴(kuò)展性、高吞吐量和容錯(cuò)性。Spark Streaming具有如下顯著特點(diǎn)。查看全文>>

      技術(shù)文章2020-05-29 |黑馬程序員 |Spark Streaming

    • 什么是實(shí)時(shí)計(jì)算？常用的實(shí)計(jì)算框架有哪些？【大數(shù)據(jù)培訓(xùn)】

      近年來，Web應(yīng)用、網(wǎng)絡(luò)監(jiān)控、傳感監(jiān)測、電信金融、生產(chǎn)制造等領(lǐng)域,對數(shù)據(jù)實(shí)時(shí)處理的需求不斷增強(qiáng)，而Spark中的SparkStreaming實(shí)時(shí)計(jì)算框架就是為了實(shí)現(xiàn)對數(shù)據(jù)實(shí)時(shí)處理的需求而設(shè)計(jì)的。在電子商務(wù)中，淘寶、京東等網(wǎng)站從用戶點(diǎn)擊的行為(如加入購物車)和瀏覽的歷史記錄中發(fā)現(xiàn)用戶的購買意圖和興趣，然后通過Sparkstreaming實(shí)時(shí)計(jì)算框架分析處理,為之推薦相關(guān)商品,從而有效地提高商品的銷售量，同時(shí)也增加了用戶的滿意度，可謂是“一舉兩得”。查看全文>>

      技術(shù)文章2020-05-29 |黑馬程序員 |實(shí)時(shí)計(jì)算

    • Kafka是什么？kafka有什么優(yōu)點(diǎn)？

      Kafka是一個(gè)高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它在實(shí)時(shí)計(jì)算系統(tǒng)中有著非常強(qiáng)大的功能。通常情況下，使用Kafka構(gòu)建系統(tǒng)或應(yīng)用程序之間的數(shù)據(jù)管道，用來轉(zhuǎn)換或響應(yīng)實(shí)時(shí)數(shù)據(jù)，使數(shù)據(jù)能夠及時(shí)地進(jìn)行業(yè)務(wù)計(jì)算，得出相應(yīng)結(jié)果。查看全文>>

      技術(shù)文章2020-05-29 |黑馬程序員 |kafka有什么優(yōu)點(diǎn)

    • 大數(shù)據(jù)系統(tǒng)中的消息傳遞模式【大數(shù)據(jù)培訓(xùn)】

      大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進(jìn)行傳輸。為了解決大數(shù)據(jù)集的傳輸困難，就必須要構(gòu)建一個(gè)消息系統(tǒng)。一個(gè)消息系統(tǒng)負(fù)責(zé)將數(shù)據(jù)從一個(gè)應(yīng)用程序傳遞到另外一個(gè)應(yīng)用程序中，應(yīng)用程序只關(guān)注數(shù)據(jù)，無須關(guān)注數(shù)據(jù)在多個(gè)應(yīng)用之間是如何傳遞的，分布式消息傳遞基于可靠的消息隊(duì)列，在客戶端應(yīng)用和消息系統(tǒng)之間異步傳遞消息。查看全文>>

      技術(shù)文章2020-05-29 |黑馬程序員 |大數(shù)據(jù),消息傳遞模式

    • 大數(shù)據(jù)培訓(xùn)之flink從入門到精通視頻教程【黑馬程序員】

      了解Flink，了解集群環(huán)境搭建運(yùn)維，學(xué)習(xí)Flink中重要概念、原理和API的用法，通過知識點(diǎn) + 案例教學(xué)法幫助小白快速掌握Flink。查看全文>>

      技術(shù)文章2020-05-14 |黑馬程序員 |flink
和我們在線交談！