數據科學家的最佳數據科學工具

有說服力的人需要統一統計、分析數據、通過機器學習及其相關方法，以用數據理解和分析實際現象，從而導致了數據科學的誕生。

數據科學是一個綜合領域，它利用科學方法、過程、算法和系統從結構化和非結構化數據中提取知識和洞察力。 它利用了數學、統計學、計算機科學和信息科學背景下許多領域的技術和理論。

2015 年，美國統計協會將分佈式和並行系統、統計、機器學習和數據庫管理確定為數據科學的三個基礎和專業社區。 沒有工具，數據科學根本無法發揮作用。

那麼，我們今天擁有哪些數據科學工具？

下面列出了一些數據科學的最佳工具。

• 大機器學習

  這是我最喜歡的數據科學工具之一，我個人使用它來簡單地為我製作機器學習。 這個全球性工具設計用於在雲端或本地運行，用於在組織中實施機器學習，從而輕鬆解決和自動化分類和聚類分析。

• 散景

  該工具旨在構建用於演示的現代 Web 瀏覽器。 它還可以幫助用戶輕鬆創建儀表板、交互式圖表和數據應用程序。 最好的部分是它是完全免費的。

• Clojure

  Clojure 旨在將高效的基礎架構與用於多線程編程的腳本語言的交互式開發相結合。 這個工具是獨一無二的，因為它是一種編譯語言，在運行時支持的每個特性都保持動態。

• Excel

  這個微軟辦公包是一個非常熟悉的工具，科學家們依靠它來快速排序、過濾和處理他們的數據。 它幾乎存在於您遇到的每台計算機設備上，因此來自世界各地的數據科學家可以輕鬆地開始工作。

• 預測這裡

  預測這是數據科學家掌握的一個巨大工具，可以使預測模型選擇自動化。 該工具背後的公司不斷努力使深度學習與金融和經濟相關，使定量分析師、投資經理和數據科學家能夠利用他們自己的數據來生成穩健的預測和優化複雜的未來目標。

• 爪哇

  爪哇，哦，爪哇！ 舊但黃金。 該工具是一種具有非常廣泛的用戶群的語言。 它幫助數據科學家創建涉及分佈式系統、機器學習和數據分析的產品和框架。

  Java 非常方便人們使用。 這使它與其他出色的數據科學工具（如 R 和 Python）進行了比較。

• 木星

  顧名思義，木星被稱為木星，其設計目的是在世界各地發揮作用。 它為多語言交互式計算環境做了準備。

  它有一個筆記本，它是一個開源 Web 應用程序，允許數據科學家創建和共享包含實時代碼、可視化、方程式和解釋性測試的文檔。

• 邏輯膠

  Logical Glue 是一款屢獲殊榮的工具，使用戶能夠在人工智能平台上學習機器語言。 如果不是因為其通過將您的見解變為目標受眾的過程來提高組織的生產力和利潤的關鍵優勢，它就不可能獲得獎項。

• MySQL

  MySQL 是一個非常流行的開源數據庫。 有些人不知道的是，它也是數據科學家用來從他們的數據庫中訪問數據的好工具。 它已與 Java 一起使用以提高效率。

  它可以以非常有條理的方式存儲和構造您的數據，讓您完全沒有麻煩。 它支持生產系統的數據存儲需求。 它還啟用了在設計數據庫後查詢數據的功能。

• 敘事科學

  敘事科學是數據科學家的絕佳工具，它通過高級敘事語言生成 (NLG) 生成的智能和自動化敘事幫助組織最大限度地發揮數據的影響。

  該工具能夠將您的數據轉化為可操作且強大的資產，從而做出更有效的決策，從而使組織中的工作人員了解數據並根據數據採取行動。

• 數字貨幣

  NumPy 是一個非常適合科學用途的工具，因為它包含一個強大的 N 維數組對象和復雜的廣播功能，而且它是完全免費的。 它是一個基本包，只有與 Python 一起使用才能發揮其全部潛力。 它也是通用數據的多維容器。

• OpenRefine

  曾經是 Google Refine，Open Refine 現在是一個開源項目，任何人都願意支持和資助。 顧名思義，它是一個非常強大的工具，被數據科學家用來在將數據鏈接到數據庫之前通過 Web 服務清理、轉換和擴展數據。

  它還被設計為能夠協調和匹配數據，將數據集與一系列 Web 服務鏈接和擴展，並將清理後的數據上傳到中央數據庫。

• 熊貓

  Pandas 是一個偉大的數據科學工具，配備了一個開源庫，旨在為 python 編程語言提供高性能、易於使用的數據結構和數據分析工具。

  它靈活、快速且具有表現力的數據結構，使處理關係和標記數據變得簡單直觀。 它有一個數據分析和操作工具，支持多種語言。 還有什麼？ 這是免費的。

• 快速礦工

  據統計，當數據科學家使用 RapidMiner 時，他們的工作效率更高，因為它是一個用於機器學習、數據準備和模型部署的統一平台。 它可以使用 RapidMiner Radoop 在 Hadoop 中直接運行數據科學工作流。

• 雷迪斯

  該數據科學工具是數據科學家用作緩存、數據庫和消息代理的數據結構服務器。 它是一個開源的內存數據結構存儲，支持散列、字符串和列表等。

（下載白皮書：大規模數據科學）

• 級聯

  這個數據科學工具是一個應用程序開發平台，適用於在 Apache Hadoop 上構建大數據應用程序的數據科學家。 它具有獨特的計算引擎、系統集成框架、數據處理和調度能力，使用戶能夠解決簡單和復雜的數據問題。 它在 MapReduce、Apache Tea 和 Apache Flink 上運行並可移植。

• 數據機器人

  該工具是一個先進的機器學習自動化平台，DataRobot 使數據科學家能夠更快地構建更好的預測模型。 使用 DataRobot 時，可以輕鬆跟上不斷擴展的機器學習算法生態系統。

  DataRobot 不斷擴展，並擁有來自領先來源的大量多樣化、一流的算法。 您可以通過一行代碼或單擊一下來測試、訓練和比較數百種不同的模型。

  此外，它會自動識別每種建模技術的頂級預處理和特徵工程。 它甚至使用數百甚至數千台服務器以及每個服務器中的多個內核來並行化數據探索、模型構建和超參數調整。

• 阿帕奇風暴

  它是用於處理分佈式和容錯實時計算的數據科學家的工具。 它處理流處理、連續計算、分佈式 RPC 等。

  它是一個免費的開源工具，可以可靠地處理無限數據流以進行實時處理。 它可以與任何編程語言一起使用，甚至可以用於實時分析、在線機器學習、連續計算、分佈式 RPC、ETL 等案例。

  由於它與您現有的隊列和數據庫技術集成，因此它能夠處理每種模式每秒處理的超過一百萬個元組。

• 伊菲頓

  交互式 Python 工具是一個不斷發展的項目，它具有擴展的與語言無關的組件以及用於交互式計算的豐富架構。 它是面向數據科學家的開源工具，支持 Python 2.7 和 3.3 或更高版本。

  它是 Jupyter 的內核，支持交互式數據可視化和 GUI 工具包的使用。 它可以將靈活、可嵌入的解釋器加載到您自己的項目中，並具有易於使用的高性能並行計算工具。

• KNIME 分析平台。

  KNIME 是一個開放平台工具，用於自由導航複雜數據。 KNIME 分析平台是數據驅動創新的開放式解決方案，可幫助數據科學家發現數據的隱藏潛力、挖掘洞察力和預測未來。

  它可以快速部署並輕鬆擴展 1,000 多個模塊。 有數百個可立即運行的示例以及全面的集成工具。 它還提供最廣泛的可用高級算法選擇。

• 工作室

  這是面向數據科學家的開源工具和企業級工具。 這款高度專業的 R 社區軟件使 R 更易於使用，因為它包括代碼編輯器、調試和可視化工具、R 的集成開發環境 (IDE)、包括控制台、支持直接代碼執行的語法高亮編輯器和工具繪圖和工作空間管理。

  它提供開源和商業版本，可在桌面或連接到 RStudio Server 或 Studio Server Pro 的瀏覽器中運行。

• Pxyll.com

  Pxyll 是另一個開放平台工具，它是集成 Python 和 Excel 的最快方式。 您輸入的代碼在進程中運行，以確保工作簿的最佳性能。

• TIBCO噴火戰鬥機

  它通過實現更好的決策和更快、更智能的行動來推動數字業務。 Spotfire 解決方案是面向數據科學家的工具，可解決數據發現、數據爭論、預測分析等問題。

  TIBCO 是一個安全、受管控的企業級分析平台，具有內置數據整理功能，可以提供 AI 驅動的可視化、地理和流式分析。 它配備智能可視數據發現功能，縮短洞察時間，其數據準備功能使您能夠塑造、豐富和轉換數據，並為儀表板和操作創建功能和識別信號。

• TensorFlow

  它是一個靈活、快速、可擴展的開源機器學習庫，用於研究和生產。 數據科學家通常使用 TensorFlow 使用數據流圖進行數值計算。

  它具有靈活的架構，可使用一個 API 以及圖中表示數學運算的節點將計算部署到桌面、服務器或移動設備中的一個或多個 CPU 或 GPU。

  雖然圖邊表示它們之間通信的多維數據數組，它是進行機器學習和深度神經網絡的理想選擇，但適用於各種其他領域。

• 閃亮的

  它是 RStudio 的一個 Web 應用程序框架，數據科學家使用它來將分析轉換為交互式 Web 應用程序。 對於缺乏 Web 開發經驗的數據科學家來說，它是一個理想的工具。

  好處是不需要 HTML、CSS 或 JavaScript 知識，因為它是一個易於編寫的應用程序，可以將 R 的計算能力與現代網絡的交互性結合起來。 您可以使用自己的服務器或 RStudio 的託管服務。

• 科學派

  這個數據科學工具是一個基於 Python 的開源軟件生態系統，旨在用於數學、科學和工程應用。 它的堆棧包括 Python、NumPy、Matplotlib、Python、SciPy 庫等。 SciPy 庫提供了幾個數值例程。

• Scikit-學習

  該工具是一個易於使用的通用 Python 機器學習工具。 大多數數據科學家更喜歡 scikit-learn，因為它具有用於數據挖掘和數據分析的簡單、高效的工具。 每個人都可以訪問它，並且在某些情況下可以重複使用它。 它建立在 NumPy、SciPy 和 Matplotlib 之上。

• 斯卡拉

  Scala 是一個數據科學家的工具，他們希望構建優雅的類層次結構以最大化代碼重用和可擴展性。 該工具使用戶能夠使用高階函數來實現類層次結構的行為。

  它具有現代多範式編程語言，旨在簡潔優雅地表達常見的編程模式。 它平滑地集成了面向對象和函數式語言的特性。 它支持高階函數並允許函數嵌套。

• 八度

  這是一種科學編程語言，對於希望求解方程組或使用高級繪圖命令可視化數據的數據科學家來說是一種有用的工具。 Octave 的語法與 MATLAB 兼容，它的解釋器可以在 GUI 模式下運行、作為控制台或作為 shell 腳本的一部分調用。

• 網絡X

  它是面向數據科學家的 Python 打包工具。 您可以使用 NetworkX 創建、操作和研究複雜網絡的結構、動力學和功能。 它具有圖、有向圖和多重圖的數據結構以及豐富的標準圖算法。 您可以生成經典圖、隨機圖和合成網絡。

• 自然語言工具包

  它是構建 Python 程序的領先平台，因為它是處理人類語言數據的工具。 該工具對使用 Python 從事計算語言學工作的缺乏經驗的數據科學家和數據科學學生很有幫助。 它為 50 多個語料庫和詞彙資源提供了易於使用的接口。

• MLBase

  加州大學伯克利分校的 AMPLab 將 MLBase 開發為一個開源項目，使數據科學家更容易進行分佈式機器學習。 它由三個組件組成，即 MLib、MLI 和 ML Optimizer。 MLBase 可以更輕鬆地大規模實施和使用機器學習。

• Matplotlib

  這個數據科學工具是一個 Python 2D 繪圖庫，它以各種硬拷貝格式和跨平台的交互式環境生成出版質量的圖形。 數據科學家在 Python 腳本、Python 和 IPython 外殼、Jupyter Notebook、Web 應用程序服務器和四個圖形用戶界面工具包中使用它。

  

  它能夠通過幾行代碼生成繪圖、直方圖、功率譜、條形圖、誤差圖、散點圖等。

（另請閱讀：為什麼數據科學技術比大數據更大）

• MATLAB。

  這是用於數值計算、可視化和編程的高級高級語言和交互式環境。 它是數據科學家的強大工具，可作為技術計算語言，對數學、圖形和編程非常有用。

  它的設計非常直觀，因此您可以分析數據、開發算法和創建模型。 它將用於迭代分析和設計過程的桌面環境與能夠直接表達矩陣和數組數學的編程語言相結合。

• GraphLab 創建

  數據科學家和開發人員使用該工具通過機器學習構建最先進的數據產品。 該機器學習工具可幫助用戶在 Python 中構建端到端的智能應用程序，因為它簡化了機器學習模型的開發。

  它還結合了特定於應用程序的自動特徵工程、模型選擇和機器學習可視化。 您可以在對應於相同現實世界實體的數據源內或跨數據源識別和鏈接記錄。

• ggplot2

  ggplot2 由 Hadley Wickham 和 Winston Chang 開發，作為基於圖形語法的 R 繪圖系統。 使用 ggplot2，數據科學家可以避免許多繪圖的麻煩，同時保持基礎和點陣圖形的吸引人的部分，並輕鬆生成複雜的多層圖形。

  它可以幫助您創建適合您需求的新型圖形，這將幫助您和其他人了解您的數據，從而使您生成用於數據分析的優雅數據。

• 呆呆

  它是一種操作系統，使您能夠使用沒有“會踐踏您的自由”的軟件的計算機。 他們創建了 Gawk，這是一個解釋專用編程語言的 awk 實用程序。

  它使用戶能夠僅使用幾行代碼來處理簡單的數據重新格式化工作。 它允許您在文件中搜索包含一個或多個模式的行或其他文本單元。 它是數據驅動的，而不是程序驅動的，因此易於閱讀和編寫程序。

• 融合表

  Fusion Tables 是一項基於雲的數據管理服務，專注於協作、易用性和可視化。 由於它是一個實驗性應用程序，Fusion Tables 是一個面向數據科學家的數據可視化 Web 應用程序工具，使您能夠收集、可視化和共享數據表。

  您可以在幾分鐘內製作地圖並從 Web 中搜索數以千計的公共 Fusion Tables 或數百萬個可以導入到 Fusion Tables 的公共表格。 最後，您可以導入自己的數據並立即將其可視化，從而在其他網絡資產上發布您的可視化。

• 特色實驗室

  Feature Labs 旨在為您的數據開發和部署智能產品和服務。 他們主要與數據科學家合作。 它與您的數據集成，幫助科學家、開發人員、分析師、經理和高管發現新的見解，並更好地了解您的數據如何預測您的業務的未來。 它具有針對您的數據和用例量身定制的入職培訓課程，可幫助您高效起步。

• 數據轉

  這個數據科學工具是“業界第一個也是唯一一個用於工業物聯網的認知預測維護平台。 DataRPM 獲得了 Frost & Sullivan 頒發的 2017 年汽車製造認知預測維護技術領導獎。

  它使用正在申請專利的元學習技術（人工智能的一個組成部分）來自動預測資產故障，並在數據集上運行多個實時自動化機器學習實驗。

• D3.js

  D3.js 由 Mike Bostock 創建。 它被數據科學家用作 JavaScript 庫，用於根據數據操作文檔，使用 SVG、Canvas 和 HTML 為他們的數據添加生命。 它強調 Web 標準以獲得現代瀏覽器的全部功能，而不受專有框架的束縛，並結合了強大的可視化組件和數據驅動的文檔對像模型 (DOM) 操作方法。 它還可以將任意數據綁定到 DOM，然後將數據驅動的轉換應用於文檔。

• 阿帕奇星火

  它提供“閃電般快速的集群計算”。 非常廣泛的大型組織使用 Spark 來處理大型數據集，而這個數據科學家工具可以訪問各種數據源，例如 HDFS、Cassandra、HBase 和 S3。

  它採用先進的 DAG 執行引擎設計，支持非循環數據流和內存計算，擁有 80 多個高級運算符，使構建並行應用程序變得簡單，可以從 Scale、Python 和 R shell 交互使用，它支持一系列庫，包括 SQL、DataFrames、MLlib、GraphX 和 Spark Streaming。

• 阿帕奇豬

  該工具是為分析大型數據集而設計的平台。 它由一種用於表達數據分析程序的高級語言以及用於評估此類程序的基礎設施組成。

  由於 Pig 程序的結構可以處理大量並行化，因此它們可以處理大型數據集。 該基礎設施由一個編譯器組成，該編譯器能夠生成已經存在大規模並行實現的 Map-Reduce 程序序列，以及一個語言層，包括一種稱為 Pig Latin 的文本語言。

• 阿帕奇梅索斯

  作為集群管理器，Apache Mesos 提供跨分佈式應用程序或框架的高效資源隔離和共享。 它將 CPU、內存、存儲和其他資源從物理或虛擬機中抽像出來，以使容錯、彈性的分佈式系統能夠輕鬆構建並有效運行。

  它使用類似於 Linux 內核的原理構建，但抽象級別不同，它運行在每台機器上，並為 Hadoop 和 Spark 等應用程序提供 API，用於完全跨數據中心和雲環境進行資源管理和調度。 它具有高可用性的無中斷升級。

• Apache Mahout

  一個開源工具。 Apache Mahout 旨在實現可擴展的機器學習和數據挖掘。 具體來說，該項目的目標是“為快速創建可擴展的高性能機器學習應用程序構建環境”。 它具有用於構建可擴展算法的簡單、可擴展的編程環境和框架，包括用於 Scala + Apache Spark、H2O 和 Apache Flink 的各種預製算法。

• 阿帕奇卡夫卡

  Apache Kafka 旨在高效地實時處理數據流。 數據科學家利用此工具構建實時數據管道和流式應用程序，因為它使他們能夠發布和訂閱記錄流，以容錯方式存儲記錄流，並在記錄流發生時對其進行處理。 它在一台或多台服務器上作為集群運行，集群將記錄流存儲在稱為主題的類別中。

• 阿帕奇蜂巢

  Apache Hive 最初是 Apache Hadoop 的一個子項目，現在本身就是一個頂級項目。 Apache Hive 是一種數據倉庫軟件，可幫助使用 SQL 讀取、寫入和管理駐留在分佈式存儲中的大型數據集。 它可以將結構投影到已經在存儲中的數據上，並提供了一個命令行工具來將用戶連接到 Hive。

• Apache HBase

  Apache HBase 是一個可擴展的分佈式大數據存儲。 當數據科學家需要對大數據進行隨機、實時的讀/寫訪問時，他們會使用這個開源工具。 Apache HBase 在 Hadoop 和 HDFS 之上提供類似於 Bigtable 的功能。 它是結構化數據的分佈式存儲系統，具有線性和模塊化的可擴展性。 它嚴格且一致地讀寫。

• 阿帕奇Hadoop

  這個數據科學工具是一個開源軟件，用於可靠、分佈式、可擴展的計算。 一個允許跨計算機集群分佈式處理大型數據集的框架，軟件庫使用簡單的編程模型。

  它適用於研究和生產。 它旨在從單個服務器擴展到數千台機器。 該庫可以在應用層檢測和處理故障，而不是依賴硬件來提供高可用性。

• 阿帕奇吉拉夫

  Giraph 是一個迭代圖形處理系統，專為高可擴展性而設計。 它最初是 Pregel 的開源對應物，但在基本 Pregel 模型之外添加了多個功能。 數據科學家使用它來“大規模釋放結構化數據集的潛力”。

  它具有主計算、分片聚合器、面向邊緣的輸入、核外計算、穩定的開發週期和不斷增長的用戶社區。

• 算法.io

  該工具是 LumenData 公司，提供機器學習服務，用於從連接的設備流式傳輸數據。 該工具將原始數據轉化為實時洞察力和可操作事件，以便公司能夠更好地部署機器學習來處理流數據。

  它簡化了使使用連接設備的公司和開發人員可以訪問機器學習的過程。 其云平台還解決了部署機器數據時出現的基礎設施、規模和安全性方面的常見挑戰。

• 三葉草

  Trifacta 為數據整理和數據準備提供了三種產品。 個人、團隊和組織都可以使用它，因為它有助於探索、轉換、清理和連接桌面文件。 它是一個先進的數據準備自助服務平台。

• 奧特里克斯

  這是另一個偉大的數據科學工具。 它提供了一個平台來發現、準備和分析數據。 此外，它還可以通過大規模部署和共享分析來幫助您找到更深入的見解。 它允許您發現數據並在整個組織中進行協作。

  它還具有準備和分析模型的功能。 Alteryx 將允許您集中管理用戶、工作流和數據資產，並將 R、Python 和 Alteryx 模型嵌入到您的流程中。

• H2O.ai

  H20.ai 社區擁有 130,000 名數據科學家和大約 14,000 個組織，正在以強勁的速度增長。 H20.ai 是一個開源工具，旨在簡化數據建模。

  它能夠實現大多數機器學習算法，包括廣義線性模型（GLM）、分類算法、增強機器學習等。 它為深度學習提供支持，還支持與 Apache Hadoop 集成以處理和分析大量數據。

• 畫面

  該工具是市場上最流行的數據可視化工具。 它使您能夠將原始的、未格式化的數據分解為可處理和可理解的格式。 使用 Tableau 創建的可視化可以輕鬆幫助您了解預測變量之間的依賴關係。

  這些工具非常實用且有效，所以為什麼不將它們包含在您的工作中並見證巨大的變化。

其他有用的資源：

塑造數據科學未來的 6 大因素

聯盟營銷中欺詐檢測背後的數據科學