the DevOps journey (3) - 為何需要開發流程『自動化』…

作者： -

對我來說，從傳統Waterfall專案管理方式移轉到敏捷開發，兩個最主要的關鍵就是『透明度』與『自動化』，我們前面談過了透明度，這一篇我要聊聊自動化。

我在課堂上曾說，如果你不確定要怎麼改善你的團隊，那設法提高整個專案(各項事情)的透明度，以及讓開發流程盡可能的自動化，幾乎可以確定對專案成果將帶來顯著的正面影響。

為何我們該在意『自動化』

有幾個顯而易見的理由:

  1. 回應真實世界所需的速度
           面對瞬息萬變的市場，你幾乎不可能像過去一樣，累積所有的bugs每三個月或半年固定上版更新一次。如今，所有已知的bugs，在一周內更新完畢應該算是最差的狀況了。對一些線上服務或是網站，如果是跟交易金額有關的bugs，沒有人會接受已知的bugs被放任不管。
           如今在技術上，我們絕對可以在程式設計師撰寫完程式碼(不管是修復bugs或是增加新功能)之後，自動進行伺服器端建置，建置完成後隨即進行非人工的自動化測試(用以確保這個更新不會改壞了其他原本是好的的功能)，如果自動化測試一切正常，則自動上版到測試機或是正式機。整個過程在技術上可以完全自動，並且在從開發人員Check-in code之後一小時內自動完成。
  2. 強迫品質提升
           為了讓上述的自動化可以實現，你必須建置自動測試流程，把過去系統從開發到上版之間，所有原先倚賴人力進行的流程，改為由電腦自動進行。在這個調整的過程當中，你的專案品質自然而然會被迫自動提升。
            因為你過去沒有自動化測試把關、過去沒有伺服器端自動建置、過去沒有上線後的錯誤警示…改為自動化之後這些全都要實現，如此一來，你的專案品質自然和過去以往不同檔次，將會有顯著的改善。
  3. 減少人為錯誤以及倚靠人力的SOP
           過去，在一個沒有自動化的開發流程當中，單一程式設計師把改過的程式碼在自己的電腦上撰寫完成，經過自己初步的測試，他就認為這段程式碼寫完了。然而真的是嗎?
           這段程式碼並沒有和其他人撰寫的程式碼一起運行過，沒有經過單元測試或整合測試，沒有經過壓力測試，沒有正式佈署到某一台網站上，因此你無法得知，改過的程式與正式機資料庫連線後是否可能發生問題(例如正式機的table schema沒有調整)，也無法得知上了正式環境之後，網路和硬體環境是否依舊能支撐這段改過的程式碼。
           在過去，這一整段After-Coding後的流程，都是透過人力(例如維運工程師)手動完成，但只要有人力介入，就有可能會出錯。哪怕企業明確訂定了上版SOP，只要有人，就會有錯。而這個流程的自動化，將會把可能發生人為錯誤的機率減到最低，並且讓機器來進行枯燥重複的procedure，我們也可以把人力使用在更有創意(例如設計、開發)的領域。

上面這幾個理由，還不足以讓你改變心意? 讓團隊的開發流程從手動改為自動化?

要如何進行自動化

我們看看底下幾張圖:

上面這張圖從需求的蒐集開始，我們透過VSTS/TFS來管理每一個requirement，並且勾稽串聯到開發人員的工項(Wotrk Items)，從開發人員將程式碼撰寫完Check In到Repository之後，一系列的自動化流程就被觸發。

下圖是程式碼Check-In之後的流程，如果導入CI，每一位開發人員的每一次程式碼的Check-In，在伺服器端都會有整合性的自動建置，並且透過自動化運行的code review/unit test來確保程式碼的品質:

如果建置成功，自動化測試也都通過，接下來可以進行自動佈署:

我們可以自動將最新的Build佈署到Release Candidate(RC)主機上，上版到RC的新版系統，可由Power User或tester進行人工測試，測試無誤之後，將系統切換到UAT或Production主機上，直接上版(這部分也可以整合簽核流程變成自動進行)

簡單的說，從開發人員Check-In程式碼開始，後續一連串的動作直到把最新版的系統上架，我們都可以自動化的方式來實現。

如果初期開發團隊擔心太自動，會不小心上錯不該上的code，也可以慢慢的、逐步的實現自動化，但不管如何，將這整個流程實現，所帶來的好處遠遠高於傳統倚賴人工進行的建置與上版流程，而這一切，我們只需要使用一套VSTS/TFS就可以實現。更別說這整個過程當中，每一個段落你都可以收到即時的信件或訊息通知，自動化流程搭配透明度的提升，將會讓你的開發團隊換骨脫胎。

好了，知道概念之後，我們後面就要具體的進入整個DevOps的自動化/透明度提升之旅了…

------------------------------
本系列文章索引位於 http://studyhost.blogspot.tw/2017/02/the-devops-journey-index.html
相關教育訓練: http://www.studyhost.tw/NewCourses/ALM 
若這篇文章對您有所幫助，請點選這裡加入FaceBook專頁按讚並追蹤，也歡迎您幫我們分享出去，謝謝您的支持。

留言

張貼留言

這個網誌中的熱門文章

在POC或迷你專案中使用 LiteDB

作者： -
圖片
3/24，我發了篇FB 貼文 ，提到我很久沒有在撰寫範例的時候使用關聯式資料庫了。這不是因為關聯式資料庫不好，而是使用場景和情境的問題。 大部分的教學文章或範例，為求讓主題專注不要失焦，我會讓範例盡可能地簡單。例如，用Console App 取代 Web 架構，用file取代DB。這樣學員的進入障礙會再降低一點，畢竟，我們不能假設每一位學員都對MVC框架或是資料庫存取的ORM有認識。 那篇貼文得到不少迴響，其中有位讀者建議，也可以考慮用 LiteDB ，我當時回覆說我會找個時間來試試看。既然說了出口，肯定是必須要測試一下的。 LiteDB 技術上來說，LiteDB 是一個嵌入式的 NoSQL 資料庫，特別是針對 .NET 開發者設計。其本質上是一個檔案，但它提供了類似於傳統關聯式資料庫管理系統的功能，包括存儲、檢索、更新和刪除資料操作。LiteDB 以單一檔案的形式儲存在專案資料夾中，這使得它非常適合於輕量級應用。不管是desktop app、mobile app或任何需要資料庫但又不希望安裝重量級資料庫伺服器的情境，都很適合。 你只需要針對專案安裝 NuGet 套件就可以使用： dotnet add package LiteDB 不需要伺服器、不用管帳號密碼、可以跨平台，所有的資料都存儲在單一檔案，便於管理和分發、佈署。簡單的說，當我寫好範例，在裡面放一些資料，丟上GitHub，你不管在哪一個平台(Windows, Linux)，Clone下來之後，無須任何配置、設定，就可使用，資料也不會消失，無須重建。 確實，這對做範例非常方便。 你可以看看我在GitHub上的這個範例： git clone https://github.com/isdaviddong/TestLiteDB.git 下載下來之後，無須任何設定，直接 dotnet run 就可以執行： 專案中，包含了一個MyData.db檔案，就是資料庫實際儲存的位置： 你可以透過底下這樣的程式碼，即可使用： var db = new LiteDatabase ( "MyData.db" ) var col = db . GetCollection < Person > ( "persons" ) ; 其
Read more »

使用 Airtable 在小型需求上取代傳統資料庫

作者： -
圖片
我好幾年沒有用傳統的關聯式資料庫了。 老實說，傳統的關聯式資料庫，其實對於教育訓練和小型的專案來說，是一種負擔。 如果你想讓學員清楚的掌握一門技術，就好比說，對談機器人的開發吧，在整個教學的過程中，若是範例用到SQL或MySQL資料庫，無疑是一種節外生枝，把問題變得更複雜。因為，在對談機器人當中，儲存只是一種迫不得已的額外需求，是枝微末節，而非對談機器人技術的主體。 同樣的，如果你做一個小型專案或POC的話，『儲存』也往往不是重點，儲存只是『必要之惡』。其實，若是從這個角度廣義的來說，軟體開發的GUI、資料庫，都只是細節(枝微末節)，都應該要是可以隨時被抽換或取代的部分，而非系統核心。 一套軟體或解決方案的真正核心，是商業邏輯。它(商業邏輯)才是一個應用程式真正展現價值的部分。 我們把主題拉回來。所以，我最近這幾年在上課的時候，盡量不讓範例程式碼涉及資料庫存取，特別是關聯式資料庫的存取。因為這對讀者或學員來說，變成了另一種必須學習的負擔。 但說的容易，如果範例中有碰到需要儲存資料的時候該怎麼辦呢? 有沒有什麼最簡單的儲存機制可以在程式碼中替代傳統資料庫? 這也是我最近幾年寫範例的時候，常常碰到的問題。因此，我特別花了一段時間，找看看有沒有什麼好用的『類』資料庫儲存體? 最後，我選擇了 Airtable。 Airtable Airtable 是一個靈活的雲端資料庫產品，結合了資料庫的功能和電子表格(data grid)的簡易性。它允許用戶以視覺化的方式存儲、組織和協作各種資訊： 白話一點說，就是它可以很自由的在Web畫面上設計欄位和維護(輸入、編輯)資料。 對我來說，它還有另一個重點，就是它擁有非常簡單的REST API，透過呼叫API就可以直接來讀寫資料。 它的API在使用上很簡單，只需要在設計好資料表之後，透過 https://airtable.com/create/tokens 站台建立一個 PAT(Personal Access Token): 建立PAT的時候，可以選擇要針對所有資料表，還是特定資料表，要只給這個token 讀取(Read)權限，還是要寫入(Write)權限： 有了token之後，可以透過很標準的REST API呼叫，進行連線的建立與資料的寫入： string ID = "👉air_tabl
Read more »

使用Qdrant向量資料庫實作語意相似度比對

作者： -
圖片
什麼是向量資料庫? 在許多的AI實作當中，都有向量資料庫的使用需求。例如RAG(檢索增強生成)、或是資料的相關性比對、相似性搜尋…等，這些應用情境中，我們都會用到向量資料庫。 向量資料庫主要的任務，當然就是存儲和查詢向量數據。被儲存的向量數據通常是高維度的資料，以陣列(集合)的形式呈現。 例如，OpenAI就有提供一組Embedding API，讓我們可以把文字給向量化。你可以透過該 API，把一句話(一段文字)轉換成向量數據，類似底下這樣： OpenAI 的這組 Embedding API，在預設狀況下，會把資料轉成 1536 維度的向量數據，其背後的行為是把文字送給一個訓練好的模型，透過該模型跑出這組向量數據，再回傳給用戶。 然而，把一段文字給向量化的目的是什麼呢? 當我們把文字做了這種轉換後，在 1536 維度的座標空間(向量數據)中，愈相似的文字，透過Embedding API會得到距離愈接近的座標點，藉此，我們得以迅速的判斷兩段文字在語意上的相似性。 而向量資料庫中所謂的查詢功能，主要就是向量的檢索，像是『近鄰搜索（Nearest Neighbor Search）』，當用戶或應用程式提交一個向量查詢時，向量資料庫會幫我們找出資料庫中，與之最相似(接近)的向量座標點。 因此，開發人員只需要透過 Embedding API，把文字轉成向量，再把轉換好的向量座標值，儲存到向量資料庫之中，未來就可以透過向量資料庫來查詢相似(接近)的文字。 關於這個部分，如果讀者有興趣，前陣子有段網路上的影片把多維度向量資料庫的概念介紹的蠻清楚的: https://www.youtube.com/watch?v=W_ZUUDJsUtA https://www.youtube.com/watch?v=ct20Kv8yn0U 為何需要? 向量資料庫最實務上的應用，就是找到類似的特徵值。 例如，當我們把人臉的特徵值以向量資料的形式儲存到向量資料庫中之後，我們就可以透過資料庫本身提供的搜尋功能，快速地尋找出相似的人臉，這也是許多AI應用實現的基礎。 我們底下的程式碼範例，則是找出最接近的問題。(呃…什麼意思?🤔 請往下繼續看) 我們在建立對談機器人時候，常常需要讓機器人回答用戶的問題。這時，我們會讓用戶輸入問句，然後透過 Embedding API
Read more »

專業的價值...

作者： -
圖片
每次，我去修車的時候... 師傅說：先生你這車開那麼久了，這樣壞很正常拉，你要不要換台新的? 你不知道零件會老化嗎??? 我：是是是...那，這零件換掉要多少錢??? 師傅：喔...便宜啦，大概就XX萬就可以了... 每次，我去客戶那邊... 我說：大哥，這軟體我們用那麼多年了，總是會需要調整維護一下的... 客戶：是你們一開始沒有設計好吧? 我說：不是啦，技術總是會更新的，而且現在有一些新的需求...恩，大概，就收你XX萬就好了... 客戶：什麼? 你們當初沒設計好的東西，還想要加收錢??? -------------------------------------------------------------------------   我相信上面這樣的情況你一定和我一樣常碰到，我不知道有多少次，被修車廠唬的一愣一愣的，但我總是心甘情願地掏錢出來(好吧，我有點心不甘情不願，但我沒得選擇)。   有一次，我的動力方向盤打起來卡卡的，好像快不能正常轉向了，所以我立刻把車開到保養廠，師傅熱情的出來迎接我，問我車哪裡有問題，我描述狀況，接著師傅就把車開走了。剛好這時候我接到一通電話，我在講電話的同時，師傅把車弄好了(不到五分鐘)，跟我說，這個動力方向盤的油沒了，要補充，打折後收我一千多塊，我趕緊謝謝他。   離廠前，師傅把剩下的動力方向盤油給我(很有良心)，說：這是剩下的。我還沒反應過來，他就說：老闆，慢走，開車小心，注意安全。(好貼心的師傅)   我看了一下，那罐動力方向盤油只加了1/5，剩下4/5我要怎麼辦?放後車廂? 等他漏了再加? 我不知道!!! 他為何不乾脆 免費 幫我加一下呢? 像這樣類似的例子我碰過非常非常多(因為我的車老了，很多問題)   也有很多次，我明顯發現修車廠的人在唬爛我，但我換過很多家、原廠、副廠、出去玩的時候在風景區的修車廠(這更狠，擺明了就是要坑你，他清楚知道只會跟你做一次生意)，幾乎都一樣，我常常有被唬弄的感覺。我想要跟著車看他怎麼修，修車廠的師傅總是說：『老闆，您可以到休息室等一下，不會那麼快喔!!!』   對照先前我在軟體社群看到有位朋友寫的一篇 文章 ，提到了軟體工程師的無奈和心酸，我其實很想說，軟體工程師大部分真的都太古意了!!!!   從商人的角度來看，每一次免費的服務，其
Read more »

精彩(且驚人)的Semantic Kernel入門範例

作者： -
圖片
之前開直播的時候，和線上朋友聊到，因為AI的出現，未來的應用程式，勢必會和現在有所不同。 先不要跳到 黃仁勳 說的，未來『每個開發人員都可以直接用自然語言做程式設計』(這樣也太駭人聽聞了一點)，先看看眼下我們可以做到什麼程度。 你會發現透過 Semantic Kernel，這個所謂的 AI 開發框架，已經可以做到， 讓 AI 自己決定何時(以及如何)呼叫一個類別(Class)中的方法(Method) 。而我們只需要讓用戶輸入對話與機器人對談，就可以控制程式運行的流程與邏輯。也就是說，現在不需要滑鼠點選，不用選單操作，只要與機器人透過自然語言對談(底下的範例是打字，但當然可以是語音)，就可以操控系統。 我前陣子一直說的，AI 會讓 GUI 有著天翻地覆的改變，意即如此。 看底下這個類別的程式碼： //控制開關燈的類別 public class LightPlugin { //當前燈的狀態 public bool IsOn { get; set; } = false; [KernelFunction] [Description("取得燈的狀態")] public string GetState() { return IsOn ? "on" : "off"; } [KernelFunction] [Description("改變燈的狀態")] public string ChangeState(bool newState) { this.IsOn = newState; var state = GetState(); // Print the state to the console Console.WriteLine($"[Light is now {state}]"); return state; } } 上面這個很簡單的 LightPlugin 類別，具有兩個方法：GetState 和 ChangeState。這兩個方法都被標記為 [KernelFunctio
Read more »