服務熱線：13011171997
MICAPS 4.0 全國業務化版本推出（上）：攜大數據應用 重磅來襲
中國氣象報記者黃彬 趙曉妮
MICAPS，即現代化人機交互氣象信息處理和天氣預報制作系統，系中國氣象部門氣象衛星、天氣雷達和數值預報、站點實況等產品綜合應用最強有力的業務技術支撐平臺。自1995年起至今，它已經歷過4個版本的嬗變。相比先前使用的系統，5月30日正式在全國氣象部門投入業務運行的MICAPS4.0有何創新之處？
MICAPS4.0啟動畫面。高嵩供圖
MICAPS4.0中的衛星紅外云圖與細網格風場疊加圖。高嵩供圖
MICAPS4.0中的動態衛星云圖。高嵩供圖
面對迫切需求 突破勢在必行
“4年前我們就已經處于氣象海量數據的時代，當時的MICAPS第三版(MICAPS3)亟待解決的兩大核心技術難題，就在于預報員使用平臺的體驗性能和預報員拿到數據的高時效性方面。”國家氣象中心MICAPS4.0開發團隊高性能服務器端首席架構師王若曈說。
自2010年開始，MICAPS3面對的數據規模陡增，服務器端加工處理數據能力已經跟不上數據產生速度，這個問題在隨后幾年一直長期凸顯。
現在，氣象數據的總量十分龐大，有時舊的數據還沒有完全瀏覽，新的數據就已“撲面而來”，這樣會直接造成部分數據很長時間都不會被使用，最終導致數據價值損失。如何在MICAPS的開發和完善中進一步深挖氣象大數據，使預報員在短時間內瀏覽更多的數據，將氣象數據保值甚至增值也成為重要課題之一。
環顧全球，自MICAPS1.0系統設計之初，世界范圍內的氣象部門幾乎都是采用文件來存儲氣象數據。但原生文件系統在面對海量數據時會有難以逾越的瓶頸——當數據達到千萬數量級規模時，操作系統就會撐不住數據帶來的壓力，預報員在使用過程中不可避免會感到卡頓。
此外，MICPAS3在功能上也有不少不足之處。比如預報員瀏覽數據或對數據進行操作的便捷度需要提高，系統的圖形渲染引擎需要優化甚至重構等。
“總而言之，MICPAS3在客戶端、服務器端以及中間的網絡連接部分體現出的問題，正是大數據時代天氣預報平臺發展過程中必須突破的障礙，所以跨層優化的MICAPS4.0開發勢在必行。”王若曈說。
雖然有外部團隊參與開發，但不管是客戶端還是MICAPS4.0服務器的核心技術，都是由國家氣象中心MICAPS團隊自主研發或合作研發的。針對用戶需求調研，系統設計，關鍵技術實驗、對比、選型，核心模塊實現、系統測試以及就產品模塊與預報員溝通……這一系列工作都是MICAPS4.0研發團隊自主進行的。這也使得研發團隊可以實現全系統貫通的跨層優化，把握系統的整體方向，更有針對性地對其架構進行調整，從而更好地滿足業務發展需求。
MICAPS4.0中的黃淮地區1小時降水自動站數據和地形疊加圖。高嵩供圖
突出技術革新 引領新版起航
相比前幾代系統，MICAPS4.0第一次使用純數據庫徹底取代傳統的文件系統，進行氣象數據實時存儲。
“這一點在世界范圍的氣象數據處理領域內都是首創性成果。”王若曈說。美國的AWIPS也用到了數據庫，但僅僅是存儲氣象數據索引，數據內容還是保存在文件系統中，所以僅能解決一部分性能問題，并不能完全突破文件系統的訪問瓶頸。
而MICAPS4.0采取的非關系型分布式數據庫則不同，相當于為氣象實時數據量身打造了一套集群存儲系統。這套存儲系統是專門針對MICAPS用戶的使用習慣而深度優化定制的，讀寫性能優異，從上億個數據中檢索一個用時僅為幾毫秒。相比于原來耗時4秒至5秒的表現，若將數據傳輸時間、網絡延遲等因素綜合考慮，總體性能也得到極大提升。
MICAPS4.0與MICAPS3.0對比。
MICAPS4.0第一次使用分布式數據庫來取代集中式文件系統。
原先的數據僅僅是存儲在一個磁盤陣列中，而且數據只存儲一份。王若曈舉例說：“如果有一百個預報員同時訪問這一塊磁盤中的數據，這臺機器就要面對一百份壓力。當這臺機器出現故障時，所有的預報員就都不能訪問其中的數據，會造成業務上的停機。”而采用分布式數據庫則可以有效地避免這個問題。“假設我把每種數據都存成三個副本放到十臺機器里面，這時預報員訪問數據的壓力就會均衡地分散到所有節點上去。”他補充道，在系統需要維護時，可以停機其中一臺，其他的仍然可以繼續工作。
除了分布式集群存儲，MICAPS 4.0服務器端的第二大法寶是采用了海量數據的分布式流式計算技術，就是在數據流動的過程中對其進行計算。
MICAPS4.0的分布式流式前處理系統能實現數據秒級計算、毫秒級寫入，使預報員需要的全部數據達到“產生即可見”的效果。“原先，數據從產生到能被預報員看到需要幾小時；現在幾分鐘甚至幾秒鐘就能看到，而且還是建立在數據量是原先幾十倍甚至上百倍的基礎上。”王若曈說。
此外，早在MICAPS4.0項目啟動初期，“對用戶行為進行徹底分析”便成了當時研發的首要任務。而“特定技術為了滿足特定需求”的理念也是決定MICAPS4.0技術選型的關鍵。
在這樣的開發思路引導下，MICAPS4.0版本最大化地保留了MICAPS1/2/3版的所有界面設計與操作方式，開發團隊邀請預報員直接參與MICAPS4.0的操作和界面設計，同時在項目的各個開發階段都與預報員及時溝通，請多名預報員對平臺進行反復操作。除此之外，MICAPS4.0開發組也認真梳理來自不同方向的用戶需求：為了減輕省/市級MICAPS平臺維護人員的工作負擔，MICAPS4.0開發了“在線升級”功能；為了減輕預報員長時間使用平臺后造成的視覺疲勞，同時兼顧會商PPT出圖的需求，MICAPS4.0專門提供了“會商模式”與“預報模式”兩套配色方案；為了能支持預報員更快捷使用系統，MICAPS4.0為預報員量身打造了很多鍵盤快捷方式以及產品輸出方式等。可以說，MICAPS4.0的任何細微變化都來自于需求。
MICAPS4.0中細網格10米風動態流線圖。高嵩供圖
眾創與集約化 貫穿開發始終
MICAPS4.0取得突破性創新，與開發模式中滲透著眾創合作和集約化思想密不可分。
“早在2007年MICAPS3正式發布之時，開發團隊就提出了一個想法，即可以讓用戶在系統上進行定制模塊、擴展開發。”國家氣象中心MICAPS4.0開發團隊客戶端核心開發人員高嵩說，“我們希望讓專業的人做專業的事，所以盡可能把開發的門檻降到最低。對于一個具備開發基礎的用戶，我們會專門為其提供開發環境，讓他得以擴展開發一些功能比較齊全的模塊。”
目前，開發團隊正在研發一個類似“APP商店”的功能，可以讓用戶把自主開發的成果放到MICAPS系統的“APP商店”中，方便有同樣需求的人將其下載到自己的MICAPS系統平臺中，便于其他用戶在別人開發成果的基礎上進行修改和反饋回傳。高嵩認為，這樣的良性循環可以促進MICAPS生態環境建設，從而實現用戶人人參與、共建和眾創。
除了鼓勵用戶積極參與自主開發外，強化與數據領域專家的合作也是眾創的思路之一。如果把一個系統比作木桶，那么它的最短板將決定其性能。高嵩說：“我們吸引不同領域的專家來共同完成這個‘木桶’，力爭把每一塊木板做到最好。”
與清華大學、國家氣象信息中心在數據存儲上的應用合作就印證了這一點。雙方的合作不是簡單的加法，開發團隊從清華大學專家身上學習數據處理的技術，并自主編寫核心數據代碼；清華大學專家也需要對氣象數據和業務領域進行深入理解后，才能進行深度合作。在最初合作的三個月里，雙方并沒有急于推進項目進展，而是加深了解，認真吃透了用戶需求，對雙方后續深度合作產生了事半功倍的影響。
同時，在MICAPS4.0的開發過程中，開發團隊在眾創研發的同時，也提倡集約化的思想。高嵩表示，集約化思想一方面體現在平臺功能的集約上，即系統已有的功能將便捷地提供給用戶使用，不需要用戶再浪費更多的時間和精力去開發重復內容；另一方面體現在數據環境的集約化上。
數據的多次重復性存儲看起來很雜亂，也會造成數據不一致，MICAPS3的文件服務器就存在這種問題。但當系統性能提升時，就能一定程度上解決數據重復存儲的問題，從而促進了整體數據環境的集約。
為了成功實現無障礙跨層優化的軟件工程組織，自2014年8月以來，國家氣象中心就與國家氣象信息中心成立了聯合工作組，積極推進CIMISS（全國綜合氣象信息共享平臺）與MICAPS系統的融合工作。同時，開發團隊借助局校合作平臺，積極引入清華大學技術力量，對CIMISS數據環境進行能力擴建，解決了數據讀取效率和資料服務時效等關鍵技術問題，有效提升了CIMISS整體性能，滿足了對MICAPS4.0的直接數據支撐需求。三方良好的深度合作也成為局校合作的典范案例。
MICAPS 4.0 全國業務化版本推出（下）：集眾人之智 成預報員之“器”
中國氣象報記者趙曉妮 黃彬 通訊員柳秀婷
5月23日，參加全國MICAPS4.0培訓的預報員準時抵京。迎接他們的，是最新的MICAPS4.0全國版本。
經過一年半的測試運行，MICAPS4.0系統穩定性良好，保持了便捷的操控界面、很高的讀寫性能、可靠的數據正確性、良好的可擴展性及可維護性，達到了實時業務系統的標準。5月30日，MICAPS4.0全國版本正式推出。
MICAPS4.0中的GRAPES相對濕度預報。高嵩供圖
利劍出鞘：MICAPS就是預報員的“器”
“工欲善其事，必先利其器，預報員做預報，工具好，對理清預報思路、理順流程和提高效率都會有很大的幫助，MICAPS就是我們預報員的‘器’。”中央氣象臺首席預報員孫軍在MICAPS4.0開發團隊成立之初就作為第一批用戶參與其中，積極提出問題和修改意見。
作為一名老預報員，他深感過去20年里，MICAPS系統從第一代發展到第四代，現代化人機交互氣象信息處理和天氣預報制作系統給氣象預報方式帶來了巨大的改變。
在MICAPS出現以前，預報員做預報的時候，需要在一張紙上畫出天氣圖，瀏覽數據和進行預報的效率非常低。而MICAPS將天氣預報從紙上制作變為電子制作，大部分預報員只要在MICAPS終端上輕輕點擊鼠標，即可直接在電腦上繪制天氣圖。
“這極大縮短了時間，提高了效率。”國家氣象中心MICAPS4.0開發團隊客戶端核心開發人員高嵩說，“同時，MICAPS也推進了預報的標準化，更便于數據共享。”
于2013年啟動研發的MICAPS4.0，歷經了“千錘百煉”的測試。自2015年1月8日起，MICAPS4.0客戶端中央氣象臺測試版先后在中央氣象臺的短期、中期、環境預報中心、強天氣預報中心、臺風海洋預報中心等多個預報崗位進行了安裝試用。今年2月1日，中央氣象臺正式亮出這柄“利劍”，MICAPS4.0版本全面進入業務應用。
“我們收到非常多的用戶反饋，主流反饋是MICAPS4.0比MICAPS3.0快得多，原來有些保守的預報員擔心新鮮事物有不完善的地方，現在也消除了疑慮。另外，很多預報產品都在MICAPS4.0上傳遞，逐漸把一批人‘拽’到系統中。”國家氣象中心MICAPS4.0開發團隊高性能服務器端首席架構師王若曈告訴記者。
同時，自去年11月底面向各省（自治區、直轄市）開展推廣測試，MICAPS4.0在天氣圖分析繪制、定量降水預報圖制作、早間天氣會商、氣象災害保障服務、臺風專題會商中逐漸顯示出強大的能力。
“目前，軟件已經比較成熟。去年做了測試版后，收集到很多反饋意見，在更加了解預報員關注點的基礎上，我們對系統功能進行了再梳理和開發，5月30日，MICAPS4.0全國版本正式推出。”高嵩告訴記者。
MICAPS4.0中的細網格降水預報圖（左），自動站溫度等值線分析圖（右）。高嵩供圖
驚喜不斷：更綠色、更快捷、更穩定
去年11月底，武漢中心氣象臺預報員董良鵬在結束MICAPS4.0培訓回到湖北后，便十分期待這個系統推廣開來。
由于MICAPS4.0是綠色軟件，不需要復雜的安裝過程，解壓縮即可運行且免配置，董良鵬在安裝使用系統時，并未遇到任何困難。
“所有客戶端的配置基本上是按照預報員最舒服的方式設置好的，需要頻繁修改的功能可以通過用戶界面實現，需要個性化的一次性修改的功能放到比較便捷修改的配置文件里面，需要深度修改的高級功能也放在系統級的配置文件里進行。用戶可根據習慣調整，比前幾版更便捷。”王若曈解釋說，“運行軟件后，不需要進行任何配置就可以查看數據，不需要掛載任何文件服務器。”
熟悉的用戶界面也幫助預報員迅速從MICAPS3.0轉換到MICAPS4.0。高嵩告訴記者：“很多預報員在大學學習天氣分析的時候就在用MICAPS，鼠標移動到哪個位置應該出現什么結果，甚至某個交互符號應該出現在面板某個位置，已經養成一定的習慣。我們保持了系統的延續性，當預報員打開界面以后，在新穎的體驗之外，對每個操作功能又非常熟悉，更易于接受，也減少了培訓成本。”
MICAPS4.0給預報員帶來的更大驚喜是其更快的速度。該系統包含分布式實時流式解析系統、分布式存儲系統兩大子系統。其中，實時解析系統直連原始數據分發系統，分布式存儲系統直連MICAPS4.0客戶端。自2015年1月20日運行至今，實時解析系統保證了對于原始數據的高效解析與寫入，單個數據平均解析與寫入時間小于1秒鐘；分布式存儲系統提供了MICAPS4.0客戶端的高性能訪問，單個數據的數據庫平均查詢時間小于20毫秒。
“以前數據結構是文件式的，文件特別多，調取文件的時候顯示速度比較慢，現在在數據庫結構上進行重大改變，使用效率更高，顯示更流暢，用戶體驗更好。”孫軍說出自己的切身感受。
實際上，MICAPS4.0不是單純的“表面功夫”，而是從后臺到前端都進行了升級，面對部分突發情況下的自我修復能力以及系統本身的健壯性也有很大提升。中國氣象局以及去年12月引進MICAPS4.0的湖北省氣象局，做過不少“暴力”測試，比如直接把一臺服務器關掉，從5臺服務器變成4臺持續運行；把5臺服務器內部連接的兩臺交換機其中一臺網線拔掉，只用一臺交換機工作；把5臺交換機電源都抽出來一塊；把硬盤抽出來一塊——結果是，系統運行正常。如今，MICAPS4.0系統已經在湖北省、市、縣三級推廣開來。
MICAPS4.0顯然已經展現出強大的生命力和系統穩定性。王若曈打了個比方：“飛機有4個引擎，如果一個引擎壞了，其他3個引擎工作仍然可以保證續航甚至續航很長時間直到達到更換引擎的條件。MICAPS4.0從大到小的每個軟硬件都是按照這種方式來設計的。”
良性互動：集聚眾人智慧和能量
MICAPS4.0反饋QQ群每天都在閃動——任何人提出問題，很快就有人來答疑解惑。
這一方面表明這個群的活躍度非常高；另一方面也說明用戶對MICAPS4.0充滿期待。“誰有問題都會去問，所有人都很愿意回答。”高嵩說，這也是眾創的一種形式。
“該系統抓住了技術前沿，將數據綜合表現出來，非常靈活。”武漢中心氣象臺預報員祝嬴認為，“系統開發團隊針對預報員需求做了很多工作。”
由于氣象數據種類繁多，系統運行過程中經常需要開發新的解碼器，并在不停機的情況下動態加載，實時解析系統設計時考慮了該需求。因此，在試運行過程中已實現了解析能力的熱擴充以及配置管理功能的熱加載。
高嵩說，希望未來能通過一定的評定或獎勵機制激勵大家把自己的應用放到系統中，讓大家參與進來，依托MICAPS4.0和氣象云來解決問題。
其實，系統與預報員的積極互動早在系統開發過程中就體現出來。比如，在實時解析系統及分布式數據存儲系統開發過程中，在氣象產品數據生成的正確性上投入了極高的人力成本，每一個模式數據、衛星雷達和實況數據的解析、產品生成，全部由若干資深預報員完成正確性檢查、單位調整以及等值線設定等工作，并且至少再由另外一名資深預報員完成交叉驗證，確保每一個數值的正確性。
王若曈舉例說：“模式數據需要顯示等值線，等值線有起始值、終止值和等差數列的步長值，每一種物理量的起始值、終止值和等差數列的步長值設置都是不一致的，現在所有模式約2000多個物理量加層次的數值全部由預報員逐一手工配置，并保證拖到系統里顯示美觀，保證數據單位的絕對正確性。”
在良性互動中，系統功能得到不斷完善。目前，MICAPS4.0已經具備了數據綜合可視化、預報交互制作、產品發布、自動化動畫、監視性的資料滾動等功能。在未來，系統功能還會進一步完善。“現在功能雖然比較多，具體到某些功能可能還會有進一步改進的空間，比如模式探空、集合預報使用等。”孫軍期待著，“在智能化方面，將來MICAPS4.0把預報員的思想放進去，想預報員所想，做預報員所做，將預報流程用更加智能化的方法體現出來，比如現在比較流行的虛擬現實技術或許就是一個可以探索的方向。”
MICAPS4.0正是大數據時代的產物。“我們看到的大數據系統有不少成功案例，但還有成千上萬的大數據系統的失敗被忽視，這些系統通常剛剛經歷項目初期熱鬧的炒作階段，因為不夠嚴謹、不夠扎實而曇花一現，一兩年后就被歷史淘汰了。”王若曈說，“我們更希望并且要保證，作為解決氣象大數據的典范平臺以及中國氣象局和國家氣象中心的旗艦產品，MICAPS4.0能真正成為歷史所存下來的較少的部分優秀系統之一。”
