搜尋結果
2016年9月21日 · 文中將講述透過大數據的預測性分析，降低犯罪的發生率，期望台灣警政系統也能結合犯罪數據分析，不讓能提前防範的事件不斷上演。 （本文出處：轉自大數據文摘，bigdatadigest。
- 引言
- 目錄表
- 如何開始？
- 在大數據行業有哪些職業需求？
- 你的領域是什麼，適合什麼方向？
- 根據領域規劃你的角色
- 如何成為一名大數據工程師
- 大數據學習路徑
- 資源
大數據的領域非常廣泛，往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多，這同樣使得初學者難以選擇從何處下手。 這正是我想要撰寫本文的原因。本文將為你開始學習大數據的征程以及在大數據產業領域找到工作指明道路，提供幫助。目前我們面臨的最大挑戰就是根據我們的興趣和技能選定正確的角色。 為了解決這個問題，我在本文詳細闡述了每個與大數據有關的角色，同時考量了工程師以及計算機科學畢業生的不同職位角色。 我盡量詳細地回答了每一項人們在學習大數據過程中遇到或可能會遇到的問題。為幫助你根據興趣選擇發展途徑，我添加了一組樹圖，相信會對你找到正確的途徑有所幫助。 在這個樹狀圖的幫助下，你可以根據你的興趣和目標選擇路徑。然後，你可以開始學習大數據的旅程了。
1. 如何開始？ 2. 在大數據領域有哪些職位需求？ 3. 你的領域是什麼，適合什麼方向？ 4. 勾勒你在大數據領域的角色 5. 如何成為一名大數據工程師？ o 什麼是大數據行業術語？ o 你需要了解的系統和結構 o 學習去設計解決方案並且學習相關技術 6. 大數據學習路徑 7. 資源
人們想開始學習大數據的時候，最常問我的問題是，「我應該學 Hadoop（hadoop是一款開源軟體，主要用於分佈式存儲和計算，他由 HDFS 和 MapReduce 計算框架組成的，他們分別是 Google 的 GFS 和 MapReduce 的開源實現。由於 hadoop的易用性和可擴展性，因此成為最近流行的海量數據處理框架。hadoop 這個單詞來源於其發明者的兒子為一個玩具大象起的名字。）, 分佈式計算，Kafka（Kafka 是由LinkedIn 開發的一個分佈式基於發布/訂閱的消息系統）, NoSQL（泛指非關係型的數據庫）還是 Spark（Spark 是一種與Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處）？」 而我通常只有一個答案：「這取決於你究竟想做什麼...
在大數據行業中有很多領域。通常來說它們可以被分為兩類： 1. 大數據工程 2. 大數據分析 這些領域互相獨立又互相關聯。 大數據工程涉及大量數據的設計，部署，獲取以及維護（保存）。大數據工程師需要去設計和部署這樣一個系統，使相關數據能面向不同的消費者及內部應用。 而大數據分析的工作則是利用大數據工程師設計的系統所提供的大量數據。大數據分析包括趨勢、圖樣分析以及開發不同的分類、預測預報系統。 因此，簡而言之，大數據分析是對數據的高級計算。而大數據工程則是進行系統設計、部署以及計算運行平台的頂層構建。
現在我們已經了解了行業中可供選擇的職業種類，讓我們想辦法來確定哪個領域適合你。這樣，我們才能確定你在這個行業中的位置。 通常來說，基於你的教育背景和行業經驗我們可以進行如下分類： 1. 教育背景（包括興趣，而不一定與你的大學教育有關） 2. 計算機科學 3. 數學 4. 行業經驗 5. 新人 6. 數據學家 7. 計算機工程師（在數據相關領域工作） 因此，通過上面的分類，你可以把自己的領域定位如下： 例 1：「我是一名計算機科學畢業生，不過沒有堅實的數學技巧。」 你對計算機科學或者數學有興趣，但是之前沒有相關經驗，你將被定義為一個新人。 例 2：「我是一個計算機科學畢業生，目前正從事數據庫開發工作。」 你的興趣在計算機科學方向，你適合計算機工程師（數據相關工程）的角色。 例 3：「我正作為數...
現在你已經確定了你的領域，下一步，讓我們規劃出你要努力的目標職位吧。 如果你有卓越的編程技巧並理解計算機如何在網路（基礎）上運作，而你對數學和統計學毫無興趣，在這種情況下，你應該朝著大數據工程職位努力。 如果你擅長編程同時有數學或者統計學的教育背景或興趣，你應該朝著大數據分析師職位努力。
讓我們先定義一下，一名受到行業承認的大數據工程師都需要學習和了解什麼。首先以及最重要的一步是確認你的需求。你不能在不清楚個人需求的情況下直接開始學習大數據。否則，你將一直盲人摸象。 為了明確你的需求，你必須了解常用的大數據術語。所以讓我們來看一下大數據到底意味著什麼？ 5.1 大數據術語 大數據工程通常包括兩個方面– 數據需求以及處理需求。 5.1.1 數據需求術語 結構：你應該知道數據可以儲存在表中或者文件中。儲存在一個預定義的數據模型（即擁有架構）中的數據稱為結構化數據。如果數據儲存在文件中且沒有預定義模型，則稱為非結構化數據。（種類：結構化/非結構化）。 容量：我們用容量來定義數據的數量。（種類：S/M/L/XL/XXL/流） Sink 吞吐量：用系統所能接受的數據率來定義 Sink ...
現在，你已經對大數據行業，大數據從業人員的不同角色和要求有所了解。我們來看看你應該遵循哪條路來成為一名大數據工程師。 我們知道大數據領域充斥著多種技術。因此，你學習與你的大數據工作角色相關的技術非常重要。這與任何常規領域有點不同，如數據科學和機器學習中，你可以從某些地方開始並努力完成這一領域內的所有工作。 下面你會發現一個你應該通過的樹狀圖，以找到你自己的路。即使樹狀圖中的一些技術被指向是數據科學家的強項，但是如果你走上一條路，知道所有的技術直到「樹葉節點」總是很好的。該樹狀圖源自 lambda 架構範例。 任何想要調配應用程序的工程師必須知道的基本概念之一是 Bash 腳本編程。你必須對 linux 和 bash 腳本編程感到舒適。這是處理大數據的基本要求。 核心是，大部分大數據技術都是用...
初學者的 Bash 指南，來自 Machtelt Garrels 1. Python 1. 讓每個人變成python專家，來自Coursera 2. 用Python學數據科學之路，來自Coursera 2. Java的 1. Java 編程簡介1：開始使用 Java編碼，來自Udemy 2. 中級和高級 Java 編程，來自 Udemy 3. Java 編程介紹2，來自 Udemy 4. 面向對象 Java 編程：數據結構和超越專業化，來自 Coursera 3. 雲 1. 大數據技術基礎，來自亞馬遜網絡服務 2. AWS上的大數據，來自亞馬遜網絡服務 4. HDFS 1. 大數據和 Hadoop 要點，來自 Udemy 2. 大數據基礎，來自大數據大學 3. Hadoop 入門工具包 4....
2020年6月17日 · 2020-06-17. 分享本文. 【我們為什麼挑選這篇文章】在外界眼中，數據科學與數據分析乍聽之下可能有些相似，事實上兩者的確有共通點，不過數據科學更可說是數據分析的二轉。 本文除了分析數據科學與數據分析之異同，更說明為何數據科學更勝一籌。 （責任編輯：周庭羽） 數據分析. 首先講到數據分析，數據分析師、業務分析師、商業情報分析師，甚至 Tableau 開發人員都可算是數據分析的其中一員。 數據分析的重點是描述和可視化數據所包含的訊息，再向非技術用戶傳達並做進一步的解釋說明。 而數據分析與數據科學家雖有許多相似之處，但關鍵就是 數據分析並不是透過自動化、演算法化的方法來進行預測。 SQL. 前文提到過數據科學家如何使用 SQL，數據分析師也會進行類似的操作。
2019年3月5日 · 2019-03-05. 分享本文. 【為什麼我們要挑選這篇文章】現在是大數據時代，數據的重要性勝過以往，行銷、投資、 AI 都靠數據優化，數據科學家因此成為炙手可熱的職位，年薪至少 150 萬的誘惑下，現代人飛蛾撲火般地闖入學習數據科學的熱潮。 但反向思考，越來越多人的加入，會不會造成泡沫現象呢？ 媒體炒作下的「夯」，會不會在等我們拿到學位、上完昂貴的訓練班後，這個「數據科學」的技能，已經是人人在手，造成供過於求的現象？ 這篇文章作者整理了未來數據科學將面臨的難題，並提供入門數據科學家三種必學的技能，讓你自由走跳數據科學界。 （責任編輯：黃穗懷） 對 2018 年 4 月份招聘廣告的研究發現，美國有超過 10000 個職位空缺，傾向有人工智能或機器學習技能的人。
2019年2月12日 · 最新「數據科學」自學清單：六個月無師自通，菜鳥新手趕快存起來. 大數據文摘. 2019-02-12. 分享本文. 【為什麼我們要挑選這篇文章】學習數據科學永遠沒有盡頭，想無師自學精通數據科學嗎？. 本文作者整理了一份數據科學自學手冊，源源不絕的學習 ...
2021年2月19日 · 2021-02-19. 分享本文. TechOrange 編輯部推薦好書：《 數商：向阿里巴巴前副總裁學習數據時代的生存商數 》 「數據」時常被形容為「冷冰冰的數字」，但如今已經越來越重要，有許多企業都有「數據文化」存在，例如 Airbnb 就有 透過數據進行任何決策 的文化，在 Airbnb 內部甚至還擁有世界第一個數據科學團隊。 對，數據很重要，負責整理數據的人都知道裡頭的意義有多重大，但，該如何「說服」他人——尤其是決策者——這是個令人頭大的問題。 本文摘錄自《 數商：向阿里巴巴前副總裁學習數據時代的生存商數 》，我們將透過下文了解，為什麼人們時常看不懂數據，以及若要說服他人，呈現數據時應該注重什麼？
2020年9月2日 · 本篇文章由聚集一群數據分析愛好者、專注數據分析的部落格 數據分析那些事 所撰，分享多個領域的開放資源平台。 （責任編輯：賴佩萱） 資料分析學習和從業人士常會遇到這個問題：想做資料分析、資料視覺化但是手上沒有高質量的資料。 為此，小編花了兩天時間整理了一些日常工作、學習、研究中可能會用到的資料來源網站和平台，希望能給大家一些幫助~~ 一、網際網路資料. 1. 世界網際網路統計資料. 網際網路世界統計（Internet World Stats，簡稱 IWS）是一個國際性的網際網路資料統計網站。 網際網路世界統計為全世界 233 個國家和世界區域提供最新的世界網際網路使用、人口統計、旅遊統計和網際網路市場調研資料等。 2.
