揭秘NGSOC如何助力冬奧安全運營中心-標準化運營篇展示了冬奧安全運營中心如何進行標準化運營，本篇將介紹冬奧安全運營中心背后的安全運維保障及應急響應保障。
如果說冬奧安全運營中心是整個冬奧會網絡安全的保障，那么安全運維和應急響應就是安全運營中心的保障。
提前800天進場 打磨出標準化安全運維流程
“以往所有項目運維團隊往往是最后介入，而冬奧項目運維團隊在2019年12月份就開始介入進場了。”提起冬奧項目的安全運維工作，奇安信冬奧項目集成交付負責人曾慶表示。
“在這兩年多的過程中，我們要與規劃組對接目的和預期，負責所有產品的集成交付，這里的交付還包括了解冬奧組委和各個業務相關方的業務架構，服務對象、范圍等，賽前與所有團隊協同完成測試賽，還要負責賽后的場館資產有效撤離、設備清退和數據清退等全流程的工作。”
如何梳理安全運維工作流程？曾慶認為，制定安全運維流程要考慮的最關鍵因素，就是是否影響比賽。在冬奧會進行過程中，肯定會出現如由于配置或者設備本身的問題影響到正常的安全監測甚至影響到前端賽事，所以奇安信要清晰的知道冬奧組委在賽時階段的要求是什么，安全運維所有流程都是要符合賽時業務要求。如果出現重大事件影響到比賽賽事，我們整個的處理流程要確保在一個小時之內業務全部恢復，所以，冬奧項目的安全運維流程就是基于這樣的目標來做的。
由此，奇安信冬奧團隊為安全運維梳理制定了三級體系的SOP：其中一級是總冊，包括運行保障的范圍，組織架構、崗位定義、崗位職責等；二級是流程，比如巡檢流程、交接班流程、問題處置流程等；三級是具體的動作執行規范，即將二級流程做更細化的拆解和要求，每個動作要有明確的執行標準。在流程制定出來后，通過桌面推演、交叉驗證等手段，校驗合理性，還要組織培訓、考試、實操，讓運維隊伍更加熟悉流程。
舉個例子，冬奧項目中對于產品變更的管理要求是非常嚴格的。在提交變更申請的時候要清晰的解釋變更的必要性是什么？要解決什么的問題，通過變更能夠提升什么樣的能力？這些在變更申請中必須要告知，如果說不清楚不允許隨意變更。如果同意變更，需要進行的變更操作是什么？操作硬件還是軟件或者軟件中的某個組件、某個進程？怎么去操作？執行什么樣的命令？在操作過程中是否需要對這個組件所在服務器進行重啟？這種操作所帶來的風險和緩解措施是什么？一旦操作不成功回退方案是什么？這些要在變更操作手冊里把每個環節清晰地寫清楚，以便一線人員去執行。
此外，在變更之前，團隊還設計了三道防線，每道防線要有明確的測試報告。第一，產品要首先經過產品團隊的嚴格測試，要有明確的測試報告。第二，奇安信內部搭了一個跟冬奧1:1的環境，所有產品變更需要再在那個環境中做一遍回退測試，測試完沒問題之后才可以提交到一線團隊，一線團隊基于產品團隊給的操作手冊去執行。
“通過NGSOC（態勢感知與安全運營平臺）一個平臺可以監測整個冬奧的網絡安全態勢，當時比較擔心的是，大量數據的匯集，可能會影響數據的實時接入，比如，某幾個場館數據上不來，就好像我們的監控攝像頭壞掉了，無法實時感知攻擊，好在我們的運維團隊比較給力，全程保障我們的數據實時接入，保證了平臺的平穩運行，使得運營團隊可以實時監測攻擊。”奇安信冬奧保障團隊NGSOC產品專家表示。
標準化應急響應流程 將風險處置時間縮短到分鐘級
除了安全運營和安全運維標準化外，在奇安信安全中心專門成立了一支針對冬奧項目進行應急保障的團隊，即應急三線組。2021年9月，應急保障團隊成員在冬奧組委正式起草應急響應流程，從軟件、硬件故障等多維度，經過10余次深入討論，以及與一線監控、運維經理的密切溝通，最終輸出40多種針對NGSOC平臺的應急場景及應急響應SOP手冊初版。
制定了應急響應SOP初版手冊之后，還要進行詳細的演練和完善。應急演練的價值在于落實每一個組件的異常處理，NGSOC事業部冬奧項目組有3人參加了應急三線組，一旦出現緊急事件，這3人必須第一時間進行事件應急，保證產品穩定性。按照演練的要求，需針對40多種應急場景進行實操演練，前期由應急保障團隊模塊負責人操作具體步驟模擬具體場景，之后由應急三線組成員進行每個場景的模擬并逐步完善手冊。
NGSOC事業部冬奧項目工程師表示，“采用自己實操及交叉驗證的方式，經過N輪模擬演練，保證應急步驟正確性。應急三線組成員要詳細地記錄每個場景恢復的時間及風險點。為了一件偉大的事情，我們不放棄不拋棄，最終功夫不負有心人，在初版基礎上又輸出了一個版本。經過集團冬奧項目組領導、架構師與專家組的層層評審，以及N輪的完善與優化，最終形成了終版應急響應SOP手冊。”
以冬奧標準為理念，凡事做在前邊，NGSOC應急三線組為冬奧項目還做了備機備件及整套環境拷貝與備份。在備機備件中提前準備好快速恢復的安裝包，應急時可直接替換故障設備。 另外，還準備了一套與冬奧安全運營中心運行環境一模一樣的集群，配置完全一致，NGSOC應急三線組花了3天3夜完成了集群的備份。
應急響應SOP的培訓和落地是至關重要的環節。為了整個應急鏈路的完整性，要把應急響應SOP手冊對冬奧運維工程師進行應急培訓，推動驗證備機備件恢復的演練工作。NGSOC應急三線組協同監控經理、運維經理等各種一線人員進行培訓模擬演練，從發現事件、故障判斷、應急響應、故障確認和定級、信息同步機制、故障上報機制、處置審核取證、復驗等逐個環節落實執行情況，以充足的準備，做好應急響應工作，形成閉環。
在實際的處理現場應急事件過程中，標準化的應急響應SOP起到了重要作用，按照標準化流程實現了預期的效果。比如，由于其他業務系統的故障導致NGSOC平臺日志積壓超過三分鐘，EPS長時間高達80000以上且持續產生告警。當發現這個問題時，按照流程: 監控人員收到告警短信后，立即上報運維經理和應急三線組，應急三線組根據應急響應SOP做出判斷符合2級事件，立即按照應急響應SOP內的方法進行處理，同時找到到問題產生的根源，從源頭切斷影響，經過一系列標準化操作后，該問題快速得到解決。
十余次測試演練反復檢驗 錘煉出冬奧標準NGSOC
自2021年起，為了檢驗冬奧項目建設的情況，在半年多的時間里，共經歷了由不同主管機構組織的五次測試賽的校驗，十余次專門針對冬奧的攻防演練和滲透測試，其中一次的目標是將NGSOC平臺作為靶標系統去讓攻擊隊去打，最終NGSOC順利通過檢驗。
十余次的測試演練，也是對NGSOC牢固性的深刻檢驗，NGSOC產品團隊每一次都做好充足準備去面對。通過奇安信網絡安全部進行代碼審計、漏洞掃描、滲透測試，針對漏洞進行補丁修復，同奇安信內部專家團隊共同討論整理防護方案，并對暴露面、防護策略、訪問路徑、開放端口、用戶、密碼等全方位進行梳理，并進一步輸出加固方案。對異常訪問NGSOC創建規則及監控維護，并對訪問源排查及制定應急策略。每一次檢驗過程中針對不同場景優化規則，事后還要進行復盤總結，十余次不斷往復。
“在以往所有這些測試過程中，NGSOC平臺始終都是安全監控、分析中樞，針對這些過程不斷完善冬奧專屬的建模規則，把每一條日志，每一個告警都完整的記錄下來，為我們安全運維人員帶來了極大的便利性，也使得在多次測試賽、攻防演習中取得勝利。”冬奧項目網絡安全運維專家表示。
即便有十余次的測試演練，NGSOC產品團隊依然不斷強化自身的要求。為了達到NGSOC平臺7*24H“零事故”的目標，梳理出1000+項巡檢項，由安全運維經理每天2次巡檢，由NGSOC產品研發團隊進行確認，并給出確認結果。同時，NGSOC產品研發團隊每天針對EPS趨勢、告警量、日志量、磁盤、資源等指標進行監控分析，監測平臺運行狀態。
未來：冬奧標準NGSOC將帶來四大價值
首先是高并發和高可靠全面滿足大型企業安全運營需求。冬奧會的高并發和高可靠要求，對于大型企業客戶來說具備非常強的示范作用。目前，多個大型企業的安全運營團隊越來越大，已經從最開始完全沒有運營團隊，發展到十幾人、幾十人的規模，安全運營平臺需要支持越來越高的并發，才能滿足大型客戶的日常運營需求。在安全事件處置方面，部分企業已經建立的7*24H運營團隊，要求對緊急事件進行實時處置，因此平臺的持續穩定運行就至關重要。NGSOC實踐了200+人使用及50+并發使用的場景，對于HA（雙機集群）在冬奧項目中也做出了寶貴的探索和實踐，能夠保障持續安全運營。
其次，是NGSOC云化方案未來將滿足更多客戶要求。在冬奧項目中，NGSOC建立了一套完善的云端數據對接的方案以及高并發、高精準、高性能的對接程序，對云端海量日志可實現秒級同步，支持上百種數據異步對接，并針對不同種類的日志可進行實時分析。隨著云時代的演進，政企機構不斷完善數字化體系，業務系統逐步遷移至云端，海量的日志，多維度資產，不同種類的告警等信息如何對接安全產品，成為了各企業應該考慮的問題，NGSOC云化方案可快速獲取云上數據，并快速進行解析、分析、富化等一系列操作，可進一步實現了云上、云下協同聯動的戰略目標。
第三，強大的監測和威脅發現能力讓安全運營更得心應手。NGSOC在冬奧項目中已實現接入云上云下上千種數據源，上百種日志，設計了上千個威脅檢測場景，實現了與奇安信全體系產品的接入、聯動，每天處理各類日志達30多億，讓安全運營人員只需通過一個平臺完成監測、分析、處置、溯源等全流程工作，并通過告警處置和評論功能，大幅降低告警處置時間，提升安全運營效率。
最后，標準化流程對于常態化安全運營意義重大。安全運營中心先要建立安全運營團隊并制定安全運營目標和流程，再通過工具支撐流程落地。一套完整的安全運營中心SOP包括安全運營流程、安全運維流程、應急響應流程，這套流程可以解決絕大多數的安全事件處置問題。安全運營不是靠工具解決所有安全問題，而是人+工具+流程+數據的交互結合，并且不斷完善的動態體系，不等同于簡單的獨立加和。在實際運營過程中，用流程將人和工具貫穿起來，既能滿足常態化運營，又能輕松解決各種緊急事件。
總體來看，以NGSOC等為核心構建起的冬奧安全運營中心，經受住了“實際網絡戰”的檢驗，助力奇安信兌現了冬奧會網絡安全“零事故”的承諾，創更造了奧運會網絡安全的世界紀錄。未來，奇安信集團董事長齊向東表示，包括冬奧安全運營中心在內的 “零事故”奧運工作模式，將總結成為“奧運遺產”，為關鍵信息基礎設施和重大活動的網絡安全保障提供示范樣本和有益經驗。