近日，大數(shù)據(jù)軟件公司 Databricks 獲得 6000 萬美元 C 輪融資，由New Enterprise Associates 領(lǐng)投，Andreessen Horowitz 參投，本次投資有望幫助公司完成在數(shù)據(jù)的組織、計(jì)算和交付方面的一次跨躍。
Databricks 成立于 2013 年，總部設(shè)在舊金山，屬于 Spark 的商業(yè)化公司，由美國(guó)伯克利大學(xué) AMP 實(shí)驗(yàn)室著名的 Spark 大數(shù)據(jù)處理系統(tǒng)多位創(chuàng)始人聯(lián)合創(chuàng)立。Databricks 致力于提供基于 Spark 的云服務(wù)，可用于數(shù)據(jù)集成，數(shù)據(jù)管道等任務(wù)。
Databricks 曾在 2014 年獲得 3300 萬美元的投資，當(dāng)時(shí)他們推出了第一個(gè)產(chǎn)品 Databricks Cloud，這是一個(gè)通過將流程置于云端來簡(jiǎn)化大數(shù)據(jù)處理云平臺(tái)。
Databricks 公司的云解決方案由三部分組成：Databricks 平臺(tái)、Spark 和 Databricks 工作區(qū)。該產(chǎn)品背后的理念是提供處理數(shù)據(jù)的單獨(dú)空間，不受托管環(huán)境和 Hadoop 集群管理的影響，整個(gè)過程在云中完成。該產(chǎn)品有幾個(gè)核心概念：由 Notebooks 提供一種與數(shù)據(jù)交互并構(gòu)建圖形的方法，當(dāng)用戶了解了顯示數(shù)據(jù)的方式時(shí)，就可以開始構(gòu)建主控面板以監(jiān)視某些類型的數(shù)據(jù)。最后，用戶可以通過該平臺(tái)的任務(wù)啟動(dòng)器來規(guī)劃 Apache Spark 的運(yùn)行時(shí)間。
Spark 數(shù)據(jù)處理引擎據(jù)稱比 Cloudera 和 MapR 的 Apache Hadoop 要快。Coudera 公司在 2014 年籌集了大約 10 億美元高調(diào)入場(chǎng)，聲稱他們有比以前的基礎(chǔ)設(shè)施技術(shù)更好的方式來存儲(chǔ)和管理大量的數(shù)據(jù)。這是 Facebook 和 Google 等公司用來處理他們收集的數(shù)十億個(gè)數(shù)據(jù)的工具。Spark 關(guān)注的地方不再數(shù)據(jù)的存儲(chǔ)，而是如何最有效地管理數(shù)據(jù)。
Databricks 的 Spark 系統(tǒng)能使大量數(shù)據(jù)在下一代應(yīng)用中易于理解和使用，是數(shù)據(jù)科學(xué)家長(zhǎng)期努力的方向。數(shù)據(jù)處理的速度和容量在當(dāng)下具有許多應(yīng)用，能夠處理數(shù)據(jù)并使企業(yè)內(nèi)部人員可以有效地理解和使用數(shù)據(jù)并提供有效服務(wù)的公司將成為最大的贏家。作為 Hadoop 開源工具組合的一部分，Spark 項(xiàng)目已經(jīng)獲得了非?？捎^的收入。
去年，該公司就 Spark的 機(jī)器學(xué)習(xí)能力與 IBM 建立了合作伙伴關(guān)系。不少數(shù)據(jù)科學(xué)家正在涌向 Databricks 的項(xiàng)目。他們的社區(qū)有 288,000 名成員以及來自 250 個(gè)組織的 1,000 多名積極貢獻(xiàn)者。
截至目前，Databricks 累計(jì)融資超過 1 億美元。公司 CEO 兼聯(lián)合創(chuàng)始人 Ali Ghodsi 在一份聲明中表示：
Apache Spark 的高級(jí)分析解決方案幫助很多企業(yè)和早期用戶創(chuàng)造了商業(yè)價(jià)值。隨著市場(chǎng)對(duì) Spark 平臺(tái)的需求和認(rèn)可的不斷提升，這筆資金將幫助我們推進(jìn)計(jì)算機(jī)工程和市場(chǎng)戰(zhàn)略，解決客戶的痛點(diǎn)，同時(shí)繼續(xù)擴(kuò)大Spark社區(qū)。
2016 年 11 月，在“計(jì)算界奧運(yùn)會(huì)” Sort Benchmark 全球數(shù)據(jù)排序大賽公布的結(jié)果中, Databricks 公司和南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 PASA 大數(shù)據(jù)實(shí)驗(yàn)室以及阿里巴巴組成的參賽團(tuán)隊(duì) NADSort 榮獲 2016 年 CloudSort 大數(shù)據(jù)排序世界冠軍。該團(tuán)隊(duì)以 144 美元的成本完成 100TB 標(biāo)準(zhǔn)數(shù)據(jù)集的排序處理，將100 TB數(shù)據(jù)的排序價(jià)格從 2014 年的每 TB 4.51 美元的記錄降到了每 TB 1.44 美元，同時(shí)刷新了多項(xiàng)世界紀(jì)錄。
Sort Benchmark 是圖靈獎(jiǎng)獲得者 Jim Gray 發(fā)起組織的全球性數(shù)據(jù)排序基準(zhǔn)性能評(píng)測(cè)大賽，自 1987 年開始每年舉辦一次。CloudSort 評(píng)測(cè)競(jìng)賽項(xiàng)目又被稱為“云計(jì)算效率之爭(zhēng)”，旨降低云架構(gòu)的獲取成本，包括軟件堆棧、硬件堆棧等，鼓勵(lì)企業(yè)將大數(shù)據(jù)應(yīng)用程序部署到公共云上。
