2017年9月28日 星期四

關於LineBot(13) – 使用Date Time Picker讓用戶輸入日期資訊

這個月(還是上個月?忘了),Line Bot增加了DateTimePicker功能,可以在Template Message當中加入了DateTimePicker Action,當用戶點選之後,即可用手機預設的UI選擇時間日期,並讓開發人員以postback參數的方式取得用戶選擇的日期。

這功能非常有價值,因為自然語言對談的過程中,如果要讓用戶輸入日期,用戶難免自行發揮,格式千奇百怪,對於開發人員來說會是一個困擾。有了這個功能,當Line bot需要用戶輸入日期時,不僅格式統一,且使用者輸入時也可以少按一些,更為方便。

使用此功能不難,您只需要建立一個Template Message,並指定Action的類型為DateTimePicker即可:

上面程式碼當中(A)的位置,就是建立所需要的DateTimePickerAction,而(B)所指定的參數mode,則是跳出時間日期選擇器的類型,可以是date/time/datetime其中之一。

範例中其他的程式碼都跟一般的TemplateMessage建立沒兩樣,完成後發送出訊息,就會看到類似底下這樣的畫面:

一旦用戶選定值並按下『傳送』之後,我們就可以透過WebAPI(WebHook)取得的postback參數來收到這個值,程式碼如下:

請留意上圖中(A)的部分,您可以在收取到的訊息的postback物件中,取得Params底下的datetime/date/time屬性,這個屬性會依照先前你在Action中指定的類型,被填入相對應的值。

例如,剛才我們建立Action時,第一個action是mode=time這個類型,因此,當用戶點選該action,Line會跳出時間選擇框讓用戶選擇時間,用戶選定後,Line bot就會產生一個postback,因此我們的後端WebAPI被觸發,同時間ReceivedMessage.events[0].postback.Params.time會被賦予用戶選擇的值:

整個操作的順序大致如上圖所示。

透過這個功能,當Line bot需要用戶輸入日期時,就更加的方便了,可以預期的,未來不管是GPS座標位置、或是更複雜的選擇項目,都可以透過類似的機制來完成,非常讓人期待。

別忘了 LineBotSDK請升級到 0.6.0-beta

完整程式碼請參考:
https://github.com/isdaviddong/LineBot_DateTimePicker

------------------
相關課程: http://www.studyhost.tw/NewCourses/LineBot
LineBotSDK : https://www.nuget.org/packages/LineBotSDK
如果需要即時取得更多相關訊息,可按這裡加入FB專頁。若這篇文章對您有所幫助,請幫我們分享出去,謝謝您的支持。

2017年8月29日 星期二

關於LineBot(12) – 在連續對話中加入ButtonsTemplate訊息

如果你實際開發過Chat bot,就會發現NLP(自然語言分析)本身就是一個很大的問題,即便現在有LUIS可以幫助我們做語意分析,但實務上分析結果要100%符合用戶(或開發人員)的心意不是易事,倘若可行,在商務應用時,Chat bot與用戶之間的一問一答對談,想要提高可用率,讓用戶以選項的方式回答還是比自然語言對談來的好很多。

舉例來說,在上一篇我們介紹的CIC類別當中,如果我們的chat bot要問用戶要請哪一種假別,與其讓用戶自己回答,不如讓用戶用選的乾脆一些。

原本對談的設計是:

但這風險很高,因為我們開放用戶自己用輸入的方式回答。

如果用戶偏偏要回答:
我今天想請事假
    或
請婚假
    或
什麼根本沒聽過的假…

對Chat bot來說都要做自然語言分析,就算分析的再正確,在開發上難度也提升不少,但如果用底下這樣的ButtonsTemplated Message詢問用戶,用戶只能在底下的選項中擇一回答,那就容易多了:

上一篇說過,我們要透過繼承自ConversationEntity的LeaveReuqest類別來處理這對話邏輯,而這一版我們加上了支援ButtonsTemplate Message,你只需要使用ButtonsTemplateQuestion這個Attribute即可(注意第3行):

我們新建立的這個LeaveRequestV2,跟上一篇的LeaveRequest很像,但第一個詢問假別的問題,改用了ButtonsTemplateQuestion Attribute(注意,你必須把LineBotSDK升級至 0.5.7-beta),程式碼就只需要做這一個小小的調整即可。

由於加上了ButtonsTemplate Message,chat bot WebApi Controller主程式碼也小幅修改一下:


只需要配合ButtonsTemplate Message在59-59行針對CIC的Process result,取得ResponseButtonsTemplateCandidat(64行)進行Reply即可。

其他的程式碼跟上一版幾乎完全一樣沒變。

而24-29行只是加了一小段判斷,規定用戶只能選擇事假、病假、公假其中之一…純粹只是寫著玩測試一下。

執行這段對話之後,chat bot可以蒐集用戶的回答,結果如下:

想要在ConversationEntity中使用ButtonsTemplate也沒有問題囉 Smile

完整程式碼請參考:
https://github.com/isdaviddong/LinebotConversationExample/blob/master/LinebotConversationExample/Controllers/CICTest2Controller.cs

------------------
相關課程: http://www.studyhost.tw/NewCourses/LineBot
LineBotSDK : https://www.nuget.org/packages/LineBotSDK
如果需要即時取得更多相關訊息,可按這裡加入FB專頁。若這篇文章對您有所幫助,請幫我們分享出去,謝謝您的支持。

2017年8月24日 星期四

關於LineBot(11) – Chat bot如何處理連續對話

開發對談機器人,一直有一個很關鍵的議題,就是如何處理連續性的對話。

這個問題,上課時學員問過、研討會時聽眾問過、公司同事問過、客戶問過、學校老師問過、差不多連路人甲(我是說對開發chat-bot不熟但剛好聽到chat-bot開發的路人甲)都很關心…

舉例來說

舉一個典型的例子,如果我們要開發一個聊天機器人來處理請假,那這對話大約是底下這樣:

請注意用戶開始跟chat-bot說:『我要請假』之後,chat bot進入了一個連續對談模式,在這個連續對談模式中,chat bot以一問一答的方式,跟用戶蒐集請假資訊,依序詢問用戶請假假別、代理人、時間…等資訊。

最後,蒐集完所有資訊之後,進行請假動作(上面的例子是以JSON方式把蒐集到的資訊顯示出來,沒有真的請假,但意思到了)。

需求就是這樣。這有什麼難的?  其實,還真的不很容易。

首先,如果你不想把程式碼寫死,想用同一套框架或邏輯來處理同性質的會話(conversation),這本身就有不低的難度。其次,每一個一問一答的對談之間,由於是同一個WebHook來處理的,因此要記錄狀態(state),諸如:這次問的是什麼、用戶回答的答案是對應到哪一個問句、目前的交易是屬於哪一個用戶…,這是第二層難度。

接著,用戶回答的型別如果不符合? (例如問’請假時間’,結果用戶回了一句’事假’) 該怎麼辦?  還有,就算用戶回答的資料型別正確,但邏輯上不合理(例如代理人用戶寫Tom,但公司就明明沒有Tom這個人),又該怎麼處理?

想起來,如果chat-bot要寫這種會話對談,將會是一段很恐怖的程式。

但,我實在被問過太多太多太多次這個問題了,因此,索性,找了一個心情很差的周末,我嘗試寫一個能夠處理這樣對談的框架。

怎麼用?

假設,你要處理上面這樣的對談,你可以建立一個類似底下這樣繼承自ConversationEntity的類別:

先別指摘我上面這個範例中的類別怎麼會用中文當屬性名稱,這是故意的。這是為了讓讀者更好理解,正式環境你當然可以換成英文。

但,這類別真的很好懂,是吧?

這類別表示了『請假(LeaveRequest)』這個對話將會有五個問句,第一句是問用戶『請問您要請的假別是?』,用戶回答的結果會被放入『假別』這個屬性中。第二句是是問用戶『請問您的代理人是誰?』,用戶回答的結果會被放入『代理人』這個屬性中。

其他的應該不需要解釋了吧?

注意,請假日期這個屬性的型別是DateTime,因此用戶如果回答了不合理的型別,我們的chat bot會說:

直到用戶輸入符合格式的資料為止。蒐集到所有需要的資料之後,chat bot就會結束這一輪對談:

蒐集完畢的資料,會以物件的方式回傳給我們的WebHook,我們可以進而拿來請假(或像是上面這樣的例子只是將其顯示出來)

如何開發

具體程式碼要怎麼開發呢? 別急,我們一步一步來。

首先你先定義一個前面介紹過的類別,我們稱為LeaveRequest,這個繼承自ConversationEntity的類別是用來存放請假資訊,同時也用來描述對話的順序和問句,比較特別的地方是Question與Order這兩個attribute:

前面說過,這兩個attribute用來描述這個『請假會話』的問句與詢問順序。

接著,我們撰寫一個非常典型的WebHook:

你會發現,其實和原本前面幾篇文當中的WebHook沒啥不同,唯一的差別就是12行的CIC物件,在定義這個物件的程式碼中,我們引用到了先前定義的LeaveRequest這個ConversationEntity。

CIC類別我稱為Information Collector,就是幫你使喚Line bot依照你定義的ConversationEntity來向用戶透過連續問句蒐集資訊的類別。

它會依照你定義的ConversationEntity(本例中為LeaveRequest),讓chat-bot一問一答取得資訊,至於前面提到過的什麼狀態管理(State)、型別判斷…等有的沒的,他都幫你搞定了。

16,18行是原本的WebHook,20行是定義一個取得CIC返回結果的物件。

而21行則是看到關鍵字『我要請假』,就透過24行命令CIC進入『請假會話狀態』。30行則是將每一個WebHook收到的event都丟給CIC物件,不管目前是否在『請假會話狀態』之中。CIC物件會自動判斷,把結果透過result回傳分析結果。如果目前不在對話狀態中,CIC不處理並回傳pass,如果所有資料蒐集完畢,CIC回傳done,如果判斷用戶輸入的型別部正確,CIC回傳InputDataFitError,如果用戶中斷,CIC回傳break…

因此,34-64行則是依照CIC可能的回傳結果逐一處理,例如,如果用戶輸入的資料型態不符合(要DateTime,但用戶輸入String),會進入56行的InputDataFitError,這也是前面這個例子結果呈現出底下這樣的原因:

用戶可以依序輸入資料,直到每一個資料都符合規定為止(CIC會回傳done這個result),當然,用戶也可以輸入一些關鍵字來中斷會話:

觀察上面的程式碼,你會發現其實這是CIC觸發了52行的break result的結果。

如何?透過定義一個繼承自ConversationEntity的LeaveRequest類別,搭配一個CIC物件,就可以實現這樣的chat bot對談蒐集資料的效果?這框架還過得去吧?

資料邏輯判斷

你可能會覺得… ok, looks fine. 到目前為止,我只需要定義一個ConversationEntity,它就自動幫我完成資料蒐集,看起來很炫,但實務上還有很多問題啊…

第一個就是,如果用戶輸入的資料,在型別上符合,但在邏輯上不符合怎麼辦?例如,我們想請用戶輸入『代理人』,但用戶可以隨便亂輸入,或,假設用戶輸入Tom,但公司明明沒有Tom這個人,那怎麼辦?

好問題,請看解法如下:

注意上面程式碼6-19行,我們對CIC加入了一個OnMessageTypeCheck事件,在該事件中處理收到的用戶輸入e.ReceievedMessage來判斷即可。

例如上面這幾行程式碼,是判斷當用戶輸入的是代理人屬性,而輸入的值又不是eric的時候,就直接跟用戶說,本公司只有eric啦…

這樣,CIC就可以處裡所有的邏輯問題囉。

範例位於這裡,如果你想用自己的專案搶先玩玩的話,LineBotSDK請記得升級至 0.5.6

待解問題

有人問:如果不想讓用戶隨意回答,希望能夠用Templated Message的形式讓用戶只能用選的,那怎麼辦?
David: 下一版再加入此功能。

有人問:如果用戶堅持不按順序回答那怎麼辦??
David: 下下一版再加入此功能。

有人問:那如果OOXX該怎麼XYZ呢???
David: 下下下一版再加入此功能?

David: 還有其他問題嗎? 沒有? 很好。 Smile

------------------
相關課程: http://www.studyhost.tw/NewCourses/LineBot
LineBotSDK : https://www.nuget.org/packages/LineBotSDK 
如果需要即時取得更多相關訊息,可按這裡加入FB專頁。若這篇文章對您有所幫助,請幫我們分享出去,謝謝您的支持。 

2017年8月5日 星期六

別再只問我要答案,這次沒有!

這幾年做教育訓練、顧問服務、和系統導入,發現一件有趣的事情。

有幾次碰到一些客戶(有商業公司、非營利組織、學校…都有),在開會或課程之後私下跟我說,希望我們在提供建議的時候,可以『直接』告訴我們的team member,這件事情該怎麼做,而不用花太多時間告訴我們這些事情的原則,或是背後的邏輯或原理。因為team member只需要快速地得到答案,加上事情很緊迫,他們也沒有時間去學,說多了徒增困擾(這句話有個潛台詞,建議讀者細想,很有趣…),顧問(講師)直接告知做法之後,我們就可以比較快進入下一個問題(議題)。

可能有人看了上面這段話不明白意思,我舉其中一個比較具體的例子。

有一次碰到一個軟體開發的資安問題,我花了幾個小時解釋為何程式碼這樣寫不行,為何這有可能帶來風險,從這樣的程式碼我們可以得知外包的開發人員應該有哪些問題…,幾個小時下來,我發現,客戶唯一關心的事情只有一個: 那現在這行程式要怎麼改? 直接告訴我就好。

至於其他的,大夥兒絲毫不在意。

這類的例子最近層出不窮。由於樣本數雖然多但我沒徹底研究,因此目前我無從取得確切的證據,證明背後的原因是什麼?

但推敲之後,能猜個大概。

可能是因為這年頭大家都很忙,碰到問題,只想快速知道答案。而網路的便利性讓許多人變成只願意(也似乎可以)迅速的取得結果,久而久之,慢慢地不願意也沒耐心花太多時間深入理解問題背後的成因。

也就是說,大家並不真的在乎(到願意付上代價、例如時間)來面對問題、或學習解決問題的能力。許多人變得只想知道,當下眼前這問題怎麼解決。

『告訴我解法就好,其餘的我不想多知道。』似乎已經是網路速食時代的寫照。

這是最近幾年碰到的,以往,大概十年前,這情況比較不常發生。但不用我說大家應該也知道,長久下來這(對企業、或團隊)會導致什麼結果。

再加上,網路時代很多流傳文章,標題長這樣:『OOO的原因原來是XXX』、『解決XYZ的N種方法』、『想要OOO就得XXX』這類的文章都很紅。標題看似一針見血,但內容往往很武斷。大部分的文章(或課程)中提出的見解或解決方案,其實都隱含著一個假設前提,就是你的環境和他(作者)相同,然而你也知道,真實世界中哪有環境都相同的? 礙於篇幅(也礙於其實讀者也沒興趣知道),因此大多數文章的作者,也不太會詳細敘述案情的成因與環境的背景,導致部分憨直的讀者以為,我照著做就會有一樣的結果,其實不然。

一個問題的解決方案,依照環境、人員狀況、時空情境…常常會有著不同的解法。我們在客戶端導入開發方法、框架、或Scrum,不同團隊、不同時空碰到的同一個問題,提出的建議往往是南轅北轍,甚至看似彼此互斥。

曾經有助理跟著我,一周內到兩家不同的公司,客戶問出的問題幾乎完全一樣,但我對兩家客戶提供的建議卻整個大不相同,助理一開始很遲疑,久了之後就慢慢理解為何我們會這麼做。

但,外人乍看之下一定很難理解背後的原因。

不過你可能會質疑,那這樣一切豈不都是自由心證,沒有標準可循? 這樣怎麼知道講師或顧問說的是對是錯?

其實不然,你可以分辨,只要你知道為什麼? 顧問給一個建議,你需要問為什麼,講師給一個做法,你也得知道為什麼?

我常說:知道『為什麼(Why)』永遠比知道『怎麼做(How)』還重要!

要知道,我們專注的是『目標』,各種具體的解決方案都只是手段。目標即便完全一樣,但面對不同的情境,就可能會有不同的做法。但如果學員(team member、客戶)只在乎得到一個答案,卻不在意這答案為何出現? 怎麼來的? 背後的思維是什麼? 考慮的重點為何? 有哪些情境上的先決條件? 背後需要配合的技術環節有哪些? 會不會有副作用? … 那獲得的只是『這次的』解答,僅此而已。

要知道整個解決方案出現的思考脈絡和架構,才是真正有價值的重點,這也才是確保你日後能夠獨立面對問題的關鍵。

我明白,我真的不是不知道,對很多人來說,先把問題解決比較重要...

但這就好比我在台上講時間管理的課程,試圖告訴學員如何安排事情的優先順序,但突然間有位學員大聲喊:『 停、停、別講那麼多道理,直接告訴我下禮拜我該先做什麼就好了...』

這…有點怪,不是嗎?

碰到問題,直接要答案,不是不行,只是可惜…

2017年8月4日 星期五

關於LineBot(10) - 取得用戶上傳給Linebot的照片

在用戶與你所設計的Linebot對談的過程中,我們常常會需要接收用戶傳遞過來的資料,除了文字之外,最重要的就是圖片(或照片)了。

用戶可以從手機或PC版的Line上面,輕易地上傳圖片給我們的linebot,這圖片來源可以是直接抓取相機拍照的照片,或是從手機上的相簿、圖庫裡面抓取,當然也可以從第三方的資料來源(像是Dropbox)把圖片傳遞給Line。

因此,圖片會有各種不同的格式,但慶幸的是,Line會幫我們把圖片做初步的處理(例如對太大的圖進行縮小、調整格式…等),我們想要抓取處理好的結果,只需要簡單的使用API即可。

透過我們的SDK,可以輕易的使用底下這個API來取得用戶上傳的圖片,回傳的結果是bytes[] 陣列。

當然,從上面你不難發現,要取得圖片時,我們需要傳遞給API一個ContentID參數,這參數怎麼來呢?

透過這樣的方式,就可以順利的取得用戶上傳的圖片資料囉。

補充一:

別忘記一件事情,我們並不能假設用戶上傳的一定就是圖片(搞不好是文字?或是GPS座標位置啊…),因此,採用上面那兩段程式前,你必須先判斷,用戶這次傳遞給我們的訊息是否為圖片:

補充二:

抓到圖片Bytes後,要怎麼辦?
一般來說,我們會在WebHook裡面抓取圖片,而WebHook在.net多半是以WebAPI的方式撰寫,因此,在你抓取到圖片Bytes之後,會有幾個考慮。

  • 該圖片要不要讓其他系統使用?(例如azure影像辨識API,或是後端其他系統)
    如果要,你多半需要把Bytes儲存為實體的檔案,這部分可以透過  System.IO.File.WriteAllBytes(路徑, bytes);
    這樣的Method來完成,如果是圖檔,附檔名直接給png即可。
  • 該圖片要不要讓用戶下載?
    如果要讓用戶下載,則該圖檔不僅僅要儲存,還必須要有一個可公開的URL,這樣我們會建議你把圖檔存放到azure blob,或是在你的WebApi所屬網站上開一個folder,用上述WriteAllBytes指令存檔時,儲存到該公開folder中即可。當然,如果你要把圖檔放到資料庫中也行。

------------------
相關課程: http://www.studyhost.tw/NewCourses/LineBot
LineBotSDK : https://www.nuget.org/packages/LineBotSDK 
如果需要即時取得更多相關訊息,可按這裡加入FB專頁。若這篇文章對您有所幫助,請幫我們分享出去,謝謝您的支持。 

2017年8月2日 星期三

天下本無事


今天去剪髮,幫我剪髮的設計師和我認識了20多年(很神奇吧),從她年輕的時候年輕的我就讓她剪髮,到現在,20年,在同一家店。

也因為如此,我每回去剪髮的時候,都會回想起20年前的自己,今天我想的是,20年前的自己和現在的自己,在意的事情有哪些不同?

我問她,她覺得自己這20年有何改變? 她說:『沒有啊,我沒想過這個問題。』『我從來都不會想這些奇奇怪怪的事情…』

我微笑『這樣很好啊...日子單純多了。』我說。
她回答:『對啊,反正想了也不會改變什麼,那幹嘛想?』

『你知道嗎?』我想起來。『有一本暢銷書,花了很長的一段篇幅,在告訴人們,多花點時間關注自己能改變的事情,而不要花太多時間去憂慮自己無法改變的事情上。』

她聽了笑著說:『這也要寫一本書跟大家講? 既然自己不能改變,那花時間去想幹嘛呢? 愈想愈煩悶而已。而且,花在這樣的事情上愈多時間,不就愈沒時間去做自己能改變、能帶來影響的事情嗎?』

『是啊,不過...』我說:『有時候這就是人的本性,雖然理智上知道,該專注在自己能施力、能造成影響的事情上,但大多數人總是對那些自己無法改變的,像是政治制度、經濟、疾病、外在環境、輿論、他人的看法...這些事情上,花了太多的時間,卻總是忽略了、或放棄去經營自己能造成改變、能發揮影響力的地方。』

『好在我沒這個困擾,可以洗頭囉...』她說。

洗頭的時候我在想,這個道理我十年多年前從書上看到,但一直到現在,這十多年來,我真的專注在自己影響範圍的事情又有多少呢?

---------------------------------------

ref 1: 關切範圍 & 影響範圍
ref 2: The 7 Habits of Highly Effective People
ref 3: How to stop worrying & start living

2017年6月21日 星期三

關於LineBot(9) - 取得新加入的好友身分資訊

在知道了如何建立LineBot的WebHook之後,許多朋友開始有了另一串問題。其中我最常被問到的就是,如何在用戶加入你的bot為好友的時候,取的用戶的身分xk7。

這個問題中有兩個關鍵:

  1. 用戶加入你的bot時,你如何得知?
  2. 如何取得特定用戶的身分資訊?

這兩個動作都不難,都可以在我們的WebHook中取得。

首先,當有一個新的用戶加入你的Bot為好友時,我們可以從WebHook取得的JSON得知,透過我們的SDK,你可以很簡單的以底下的程式碼判斷:

if (ReceivedMessage.events.FirstOrDefault().type == "follow")

{

}

因為新加入好友或是被解除封鎖,都會收到type是follow的event,因此上面的程式碼很容易判斷出有新的好友來了…

而得知新好友(用戶)來了之後,我們可以透果底下這一行取得用戶資訊:
var userInfo = bot.GetUserInfo(ReceivedMessage.events.FirstOrDefault().source.userId);

得到userInfo物件之後,你可透過 displayName 輕鬆取得用戶暱稱,也因此,我們把用戶暱稱顯示出來:

bot.ReplyMessage(ReceivedMessage.events.FirstOrDefault().replyToken, $"哈,'{userInfo.displayName}' 你來了...歡迎");

得到的結果就是:

當用戶加入某個bot為好友,或是解除封鎖,都會收到follow,我們上面的程式碼抓到用戶名稱,顯示出來,結果就是上圖這樣。

很容易吧,試試看囉…

hope enjoy it…

此範例原始程式碼位於 : https://github.com/isdaviddong/LineBotExample_GetUserInfo/blob/master/LineBotExample_GetUserInfo/Controllers/LineBotController.cs

--------------------------------------------
相關課程: http://www.studyhost.tw/NewCourses/LineBot
如果需要即時取得更多相關訊息,可按這裡加入FB專頁。若這篇文章對您有所幫助,請幫我們分享出去,謝謝您的支持。