今年10月，睿帆科技在“安博會”上對外發布了其大數據科學平台Europa。日前，小編針對大家所關心的Europa設計、研發和架構，以及大數據技術演進及應用實踐的問題，采訪了我司相關人員。
睿帆科技眼中的大數據
在整個信息化的方向上，有三大趨勢︰雲計算、大數據和物聯網。在這些趨勢中，大數據處于大腦的地位，主要負責把數據進行收集加工轉化成信息，甚至轉化成知識，最後再通過物聯網的技術反饋到現實世界中，不斷地產生更多的價值。
大數據最核心的技術跟人工智能緊密相關，包括知識表達、自然語言理解、機器學習，還有相關的圖象語音識別、機器人等，都屬于這個範圍，但是為了實現人工智能，特別是機器學習，要處理相當多的數據需要有一些足夠堅實的底層架構來支持。像Hadoop技術的誕生，原因就是在搜索相關的智能應用里，原有的技術不能支撐了，所以說，大數據的發展一定是跟著業務或者跟著智能化的技術發展的。
整個大數據的產業主要分成三個方面，第一是底層的基礎技術和基礎架構。第二是在基礎架構上構建各種分析的算法及模型等。第三層是在分析之上更多結合到行業和業務的應用。Europa主要偏向于基礎軟件的層次，但是包含了很多分析應用方面的工具及一些算法模型。
如今企業對于數據的需求已經不單單需要一個大數據底層和大數據存儲的方案，而是想要從數據獲取到大數據全鏈條端到端整體的解決方案。
因此，大數據將一定變的更加實用。具體體現在四個方面︰第一，是描述，比如在做一些基礎的監控等方面。第二個方面是診斷，發現里面的一些問題，把這些問題找出來。第三是做一些預測，預測未來整個的趨勢，是向好還是向壞，如果向壞的話可能問題發生在什麼地方。最高級是建議性的分析，不止是發現問題、發現趨勢，還要告訴企業和用戶應該怎麼適應這種變化。
低成本化一直是大數據的一個方向。
一個企業或者一個組織如果想真的應用大數據，必須具備如下條件︰
時代︰相關的時代必須要到來，即不僅有信息化系統的基礎、有很多客戶，還要進入到互聯網的時代，有較高數據化的程度。如今雖然已經步入互聯網時代很長時間，但仍有許多企業未重視數據的建設和作用。
理論︰從實際業務到建模，中間有非常大的鴻溝，這個鴻溝包括數據如何采集、如何建模以及如何把業務問題轉化成真正的數據問題，這需要具備一定的經驗和相關的人來完成這件事。只有業務變換成了數學問題，底層的技術才能實現。比如地震預測，數據界並沒有把它完全用理論解釋清楚，顯然沒有任何技術手段可以實現這件事。
技術︰理論問題解決完以後，要通過一些基礎的技術手段來落地。比如說有一些基礎架構，或者軟件包的形式來實現。
Europa就是解決理論及技術這兩方面問題的產品，其把用戶數據化並驅動企業數據化的經營。Europa是處于底層技術層，主要解決數據的采集獲取、數據如何分析建模以及數據如何運用到具體的業務上，並為此提供基本的接口。
為什麼需要大數據科學平台
睿帆科技的大數據理想是希望未來每一個普通人都具備使用和操作大數據的能力，能夠隨時利用大數據的能力解決自己的問題。大數據科學平台Europa是睿帆科技經驗精華的集成品。用戶只要按照這些經驗做數據采集、分析和數據接口，就能夠直接把應用跟技術對接起來。
人類對數據的管理挖掘和需求越來越旺盛，在解決問題的時候，牽扯到的數據量和維度也是不斷爆炸、不斷增長的，如何更好、更輕松地挖掘和管理數據是如今面臨的最大問題。研發大數據科學平台Europa想要解決的，一是數據從容量上橫向擴展的問題，二是在面臨不同的數據問題時需要使用不同數據技術的問題，包括使用底層的Hadoop、Spark等分布式技術。如今看來Europa已經很好的解決了這些問題，並做到即插即用地管理各種各樣的計算框架。
Europa把大數據底層技術標準化，並基于標準化提取出了一系列解決方案和接口，同時基于解決方案和接口建立起了一個完整的、可持續的中間交互層，這個中間交互層的具體落地，使得企業在使用平台時不用關心底下具體的某種技術和某種問題。
在大數據科學平台上通過結構化語言、可拖拽圖形交互界面，用戶可以自主實現定制基于數據生命周期管理的模板。整個大數據生命周期分為四個階段，從輸入接入整合到加工，最後到消費。用戶不用關心數據如何接入進來，如何擺放如何整合，如何挖掘加工，他只需要設計好數據邏輯從消費端拿到他想要的結果即可。
之前很多大數據平台主要以技術包裝的形態體現，大多數集中在存儲管理、人機交互和數據生命周期管理層面上。睿帆科技自主研發的大數據科學平台Europa明確了大數據科學平台的概念和定義，解決了大數據的技術問題，把各種各樣的開源技術打包，並在此基礎上注重企業在大數據方面的數據業務管理、整個企業內部全方位資源的管理以及企業組織架構的管理。
通過這樣的特點，Europa真正成為了一個企業級的大數據科學平台，而不是簡簡單單的數據開發工具。企業用戶使用Europa不僅僅可以解決技術問題，同時還可以幫助企業級用戶提高管理質量及管理效率。
大數據科學平台Europa是怎麼做的
大數據科學平台Europa按照可視化、智能化、系統化、協同化的理念設計，包括計算框架、資源管理、數據管理三個層面。
Europa內精挑細選了一組開源組件並將它們有機整合在一起，使得Europa可以同時支持高速流式處理和海量數據批量處理，真正做到PB級數據的實時分析挖掘和實時應用。同時，Europa 支持40多種數據源的接口，保證企業業務系統能極其簡單地與Europa集成。
大數據科學平台邏輯架構
Europa底層集成了Storm、Spark和Hadoop等計算框架，以及HDFS、Hbase、 MySQL和MongoDB等多種數據存儲命令，Europa支持將這些組件整合起來，形成特有的處理流程。
Europa的流程和模型設計能夠充分發揮這些開源組件的優點，讓數據處理真正加速再加速，在實際應用中，不同的場景盡管支持不同的上層應用，但使用Europa即可輕松完成。
Europa 的數據處理框架
在資源管理層，Europa則通過統一的資源管理機制，為企業提供了大數據的存儲和計算資源。
Europa涵蓋了采集、清洗、整合、分析挖掘和應用五個方面，支持標準的數據倉庫建模流程，以及多種機器學習算法和商業模型。
Europa支持的商業模型
據介紹，Europa可以實現任意一種異構系統的協同工作。例如某個業務，需要用幾百個Oracle、MySQL及七八個Hadoop、Spark集群，共同協作按照一定的規則才能完成一件事兒。
對于以上場景來說，想要達成業務必須要貫穿不同的Oracle集群、Spark集群或者Hadoop集群。在這些集群上寫一些邏輯相對簡單，但要真正地把它們串起來，協調一致地運作解決問題的時候，如果沒有Europa，就需要花很大的精力寫很多程序，而Europa只需要很輕松的畫張流程圖即可。
睿帆科技認為，對于數據建模、數據分析人員來說，他們需要利用一些數據分析的工具，但是他們沒有心思或者時間去搭載多元異構數據操作的一些組件，而Europa的這個特點，可以完美解決這個問題。
Europa未來展望
睿帆科技希望未來通過Europa這種標準化的產品，能夠更好地讓有價值的數據輸出它的價值。例如，企業用戶常用的20到30個大數據技術，可以通過Europa管理和配置，使得大數據應用輕松落地。