顯示具有 自動化 標籤的文章。 顯示所有文章
顯示具有 自動化 標籤的文章。 顯示所有文章

【祿】邁向財務「自由」之路 II — 育成收發 Telegram 的智能秘書(下篇)

本篇繼續我們開發收發 Telegram 短訊彙報牛記匯率的智能秘書之旅!由於這兩篇的技術含量較高,如果讀者是初次接觸編程,建議由上篇或者系列第一篇 Google Sheet 智能秘書開始閱讀。



上回講到我們已從牛記匯率網頁擱取到所有外幣的匯率,並儲存在一個名叫 FXDatabase 的 Python 字典物件內。本篇我們會討論:

  • 資訊的展現,即如何將 FXDatabase 內的資訊,換成秘書在 Telegram 發送的訊息;
  • 利用另一個 Python 程序,將已開發的程序跟 Telegram 聯繫,建立聊天機械人(Chatbot);
  • 將程序放上雲端運算,讓程序 24/7 執行,讓智能秘書隨時隨地為你效勞。

我們會討論兩種訊息: (1) 發送主要貨幣的匯率一覽,以及 (2) 根據我們輸入的貨幣代碼,回覆相應貨幣的匯率。


4. 以喜歡的形式  將字典裏的資訊換成短訊息

這個步驟是整個開發過程中最開心、最自由度大、最考創意的,因為我們可以通過資訊的展現,決定私人智能秘書的性格、做人物角色設定。當然,性格這回事,並沒有對錯的,喜歡就好 :)

這一步我們先來編寫秘書所回覆的訊息,下一步我們再想如何讓秘書連線上 Telegram,以及秘書如何看懂我們在 Telegram 發出的訊息。

現在假設筆者希望得到的訊息有兩款:

  1. 主要貨幣的匯率買賣價一覽,其中「主要貨幣」自定義為美元、英鎊、歐羅、日圓和人幣。效果如下圖:

  1. 當自己在 Telegram 輸入貨幣的代碼,顯示該貨幣的買賣價。效果如下圖:


為了方便 Telegram 程序的存取,我們將所需要的訊息寫成是函數的回傳。待會我們就能看到這個方法的好處——利用函數直接得到所需要的訊息,而不用將製作訊息和顯示訊息的程式碼混在一起。

在此之前,讓我們也先把上回得到 FXDatabase 的程序,以函數形式表示:

   def DownloadFXDB():
       r = requests.get(url).content
       Soup = BeautifulSoup(r, "html.parser")
       TargetRows = Soup.find("table").find_all("tr")[2:]

       FXDatabase = {}

       for Row in TargetRows:
           Currency = Row.find_all("td")[1].text.encode('utf-8')
           TDBuy = Row.find_all("td")[2]
           TDSell = Row.find_all("td")[3]
           Buy = GetFX(TDBuy)
           Sell = GetFX(TDSell)   
           FXDatabase[Currency] = { 'Buy' : Buy, 'Sell' : Sell }
    
       return FXDatabase

這樣每次呼叫 DownloadFXDB,Python 就會從網際網路下載最新的牛記匯率,並製作匯率字典了。


4a. 回傳訊息內容函數:主要貨幣的匯率買賣價一覽

第一行當然是定義一個函數:

   def MajorCurrFXMsg():

在函數中,首先讓我們從網際網路下載最新的匯率資訊:

   FXDatabase = DownloadFXDB()

然後,告訴 Python 我們需要的主要貨幣列表:

   MajorCurr = ['USD','GBP','EUR','JPY','RMB']

接下來,由於我們也是用 for 迴圈去累積訊息的內容,所以也得先建立一個空字串:

   Message = ""

當然,如果想為私人秘書加添一些個人性格,可以在這一步加上⋯⋯

  • 通告風: Message = "💹 主要貨幣匯率一覽" + "\n"
  • 客服風: Message = "👩🏻‍💻 以下是為尊貴閣下從網路實時取得的匯率報價" + "\n"
  • 女僕風: Message = "💁🏻‍♀️ 主人,這是您需要的匯率資訊 ☺️" + "\n"
  • 外星生物風: Message = "👽 本星球列強貨幣等價 🌍" + "\n"

其中 "\n" 是換行符號。

來到靈魂一步,寫一個 For 迴圈,將所有主要貨幣跑一遍,並將匯率資訊以自己喜歡的形式展現出來。這裏筆者只展現基本形式:

   for Currency in MajorCurr:
       Message = Message + Currency + " 買 " + 
                 str(FXDatabase[Currency]['Buy']) + " 沽 " + 
                 str(FXDatabase[Currency]['Sell']) + "\n"

其中 str() 函數是將匯率數字變成字串便於與訊息其餘部份連繫在一起。最後將 Message 作為函數的回傳:

return Message




4b. 回傳訊息內容函數:按照輸入顯示該貨幣匯價

假設使用者在 Telegram 輸入的貨幣代號名稱為 InputCurr (我們將在下節討論智能秘書如何接收我們的指令)。我們輸出訊息內容的函數可以直接以此為參數:

   def PromptedCurrFXMsg(InputCurr):

同樣的,我們先下載最新的匯率資訊:

   FXDatabase = DownloadFXDB()

然後在顯示匯率資訊之前,讓我們先檢查輸入的代號是否存在在從牛記取得的字典內。要取得 FXDatabase 內所有貨幣,亦即該字典的「索引」列表,方法是 .keys():

   if InputCurr not in FXDatabase.keys():
       Message = "對不起,沒有提供" + 
                 InputCurr.encode('utf-8') + "的匯率"

如果存在,則顯示相應的匯率:

   else:
       Message = InputCurr.encode('utf-8') + " 買 " + 
                 str(FXDatabase[InputCurr]['Buy']) + " 沽 " + 
                 str(FXDatabase[InputCurr]['Sell'])

   return Message

留意筆者在 InputCurr 用上了 .encode('utf-8'),這是因為使用者從 Telegram 輸入的訊息,也會被視之為 UTF-8 編碼的。




4c. 小結

至此,整個輸入輸出匯率的程序碼檔 NgauKeeFX.py 已開發完成。整個檔案應該有四個程序函數(內容從略):

   ## NgauKeeFX.py

   import requests
   from bs4 import BeautifulSoup

   def GetFX(TD):
       ...

   def DownloadFXDB():
       ...

   def MajorCurrFXMsg():
       ...

   def PromptedCurrFXMsg(InputCurr):
       ...


5.  建立 Telegram 聊天機械人  並將已開發的程序聯繫

說到底,我們的 Telegram 智能秘書就是一個聊天機械人(Chatbot)。我們現在就要建立一個新的 Chatbot,並以 Python 程序賦予這個 Chatbot 靈魂。

5a. 建立一個新 Chatbot

要建立一個新的 Telegram Chatbot,我們得去拜訪眾 Bot 之父 —— BotFather。(你猜對了!BotFather 本身就是一個 Bot。)要把他加進你的 Telegram 通訊表,網址是:


BotFather 能給你清晰的指示如何建立和管理你的聊天機械人(們)。例如,要建立一個新的聊天機械人,可以輸入「/newbot」指令(或直接按 BotFather 訊息上的相關連結),並按指示先後輸入顯示名稱(日後可更改)以及系統名稱(日後不可更改,並需以 bot 字結尾):



BotFather 會給予這個新 Bot 一個 Token,請務必妥善儲存及處理,因為不幸落入別人手中,別人就能騎劫你的秘書。

現在我們也可以利用「/setuserpic」指令,為秘書助理上載一幅個人玉照:


效果如下圖:


是否已經很有血肉的真實感覺了?且慢,現在我們的 Telegram Chatbot 還需要你為他/她賦予智慧,就是那顆有能力跟你對答的靈魂,而這就是本篇的重點所在。

5b. 為 Chatbot 賦予靈魂

Telegram 本身提供以 HTTP 為基礎的 API,所以要賦予 Telegram Bot 靈魂可以有很多方法,Python、JavaScript,甚至 Excel VBA 也可以,只要讀者能找到這些程式語言如何與 Telegram 提供的 API 溝通便可。

本篇筆者將會利用一個蠻好用的 Telegram API 的 Python Wrapper「Python Telegram Bot」。而為避免本文成為一篇真正的「宅文」,太技術性的部分筆者在解釋上或會有所從略。各位編程員如有興趣,可以拜讀其 GitHub 介紹:https://github.com/python-telegram-bot/python-telegram-bot/wiki/Introduction-to-the-API

要使用這個 Wrapper,第一件事當然是安裝進系統(Google Colab 的朋友這回對不起了,Google 還沒有支援,所以請還是回到 Terminal 去⋯⋯):

$ pip install python-telegram-bot --upgrade

接著,讓我們新增一個靈魂程式碼檔 TelegramBot.py,並將之放在與 NgauKeeFX.py 同一個資料夾內。第一句我們從 Python Telegram Bot 匯入需要的部件:

   from telegram.ext import Updater, CommandHandler, MessageHandler, Filters

還有要匯入的當然是擱取匯率資訊的自家建設的函數群:

   import NgauKeeFX

接下來幾句,筆者先不作解釋,請照著打就好;除了 Token 的位置,請換上 BotFather 親授閣下的智能秘書 Chatbot 的私人 Token(字串格式)。

   Token = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
   updater = Updater(token=Token)
   dispatcher = updater.dispatcher

至此準備功夫已做好了。接下來就可以即席揮毫,就著使用者所有可能的輸入,逐一書寫智能秘書的回應!

首先,有否留意在上面截圖中,當跟新的智能秘書打招呼時,系統會強制執行一個叫做 /start 的指令?這個是讓智能秘書跟你 Say 個 Hi 的機會。上圖中的秘書尚未有反應,就是因為他/她的靈魂還沒有裝上。要編寫智能秘書在你給予 /start 指令的反應,可以新增以下幾句:

   def start(bot, update):
       Message = "福祿壽全兄您好!很高興能為您效勞!"
       bot.send_message(chat_id=update.message.chat_id, text=Message)
   start_handler = CommandHandler('start', start)
   dispatcher.add_handler(start_handler)
   updater.start_polling()


現在,我們可以呼喚一下這個小小靈魂,讓它叫動我們的智能秘書了!儲存好 TelegramBot.py 之後,在 Terminal 移動到放有兩個 .py 檔案的資料夾,然後執行:

   $ python TelegramBot.py

接著在 Telegram 試著再次開展跟秘書的對話。神奇的事… 就… 此… 發… 生…



不過這個時候如果我們向秘書發送其他的訊息,他/她還是會木頭木腦毫無反應的;這就要靠我們後續的努力了!另外,留意 Python 程序仍然在執行以不斷接收並處理使用者的輸入,一但我們中止了程序(Mac Terminal 可按 control + z)或是把電腦關掉,秘書的靈魂就會熄滅掉。這就是我們最後一步需要考慮將靈魂放上雲端運算的原因。


下一步就是牛記匯率的問答。我們希望秘書能回應「/fx」的指令。如果指令後有其他參數,將參數視為所需貨幣,並嘗試按照輸入顯示該貨幣匯價;否則就視指令為顯示主要貨幣的匯率買賣價一覽。輸入如下並再執行靈魂程式:

   def FX(bot, update, args):
       Currency = " ".join(args)
       if Currency == "":
           Message = NgauKeeFX.MajorCurrFXMsg()
       else:
           Message = NgauKeeFX.PromptedCurrFXMsg(Currency)
       bot.send_message(chat_id=update.message.chat_id, text=Message)

   fx_handler = CommandHandler('FX', FX, pass_args=True)
   dispatcher.add_handler(fx_handler)


建構一個 Chatbot 是否要比想像中簡單?

再來下一段,就是如果用家不是用「/fx」指令的方式提出要求,我們還是盡量希望能配合的。如果用家能輸入「FX」、「匯率」、「牛記」等字眼,我們也會視之為對牛記匯率的請求,顯示主要貨幣的匯率買賣價一覽。否則,我們的秘書還是會禮貌地(或不禮貌地,視乎讀者對其角色設定)告訴使用者自己看不明白:

   def echo(bot, update):
       if update.message.text.encode('utf-8') in ["FX","匯率","牛記"]:
           Message = NgauKeeFX.MajorCurrFXMsg()
       else:
           Message = "福祿壽全兄,恕我未能明白何謂「" + 
                     update.message.text.encode('utf-8') + "」。"
       bot.send_message(chat_id=update.message.chat_id, text=Message)
   echo_handler = MessageHandler(Filters.text, echo)
   dispatcher.add_handler(echo_handler)

告訴使用者自己看不明白,除了訊息外,同樣適用於看不明白的指令:

   def unknown(bot, update):
       Message = "福祿壽全兄,恕我未能明白何謂「" + 
                  update.message.text.encode('utf-8') + "」。"
       bot.send_message(chat_id=update.message.chat_id, text=Message)
   unknown_handler = MessageHandler(Filters.command, unknown)
   dispatcher.add_handler(unknown_handler)




5c. 小結

至此,整個控制智能秘書的靈魂程序碼檔 TelegramBot.py 也開發完成。整個檔案應該有四個程序函數及其相應新增至 Handler 及 Dispatcher 之指令(內容從略):

   ## TelegramBot.py

   from telegram.ext import Updater, CommandHandler, MessageHandler, Filters
   import NgauKeeFX

   Token = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
   updater = Updater(token=Token)
   dispatcher = updater.dispatcher

   def start(bot, update):
       ...

   def FX(bot, update, args):
       ...

   def echo(bot, update):
       ...

   def unknown(bot, update):
       ...


如果讀者打算長開個人電腦,為秘書提供永恆的靈魂,以下的最後一步可以省略。否則,請繼續完成最後一節……


6.  將智能秘書的靈魂程式放上雲端運算

網上支援 Python 雲端運算的服務可謂包羅萬有,從山寨免費服務到企業級的 Google Cloud Platform / Amazon AWS 都有,豐儉由人,讀者不妨多做比較再決定讓秘書的靈魂在何處落地生根。

筆者選用的是 Python Anywhere (https://www.pythonanywhere.com),貪其方便易用,系統 Up Time 和穩定性也不錯。網站雖然容許免費戶口,但免費戶口能「瀏覽」的只限此表(https://www.pythonanywhere.com/whitelist/)註明的網站;要擱取牛記匯率等特定網站,筆者用的是最低級的收費戶口,每個月美帝幣 5 枚。

開戶後,在 Files 新增一個資料夾(假設叫「TelegramBot」),並把 NgauKeeFX.py 及 TelegramBot.py 上載至資料夾內。

在 Consoles 新增一個 Bash(就是 Terminal / Command Prompt)。在執行靈魂程序 TelegramBot.py 之前,別忘了安裝我們會用到的 程序包。注意 Python Anywhere 支援不同版本的 Python,我們用到的是 2.7,所以應利用 「pip2.7」;另外我們只有替自己而沒有替其他用家安裝的權限,所以亦需註明「--user」:

   $ pip2.7 install --user requests
   $ pip2.7 install --user beautifulsoup4
   $ pip2.7 install --user python-telegram-bot --upgrade

之後便可以執行靈魂程序,其中 username 是閣下 Python Anywhere 的用戶名稱:

   $ python TelegramBot/TelegramBot.py

這就完成將秘書靈魂放到網路雲端處運算的工序了。

留意理論上靈魂程序的執行是不會自己終止的,但雲端伺服器偶爾也會有維護而強行殺掉靈魂的時候。Python Anywhere 提供了一個繞路方案,讓程序保持接近 24/7 執行,詳情可以參考:https://help.pythonanywhere.com/pages/LongRunningTasks

設定好後,靈魂程序便能(接近) 24/7 執行,讓智能秘書隨時隨地為我們效勞了!



總結

前後花了兩個月時間才將這幾個月來學到的技巧整理成文,雖然愈寫愈覺得是在「趕客」,希望仍然對某部份理科底子比較強的讀者群、有興趣研究自動化、以及以最皮毛的方式初窺一下下一波「中年危機」即人工智能如何取代我們飯碗的朋友,有所裨益和幫助吧!

書於山竹襲港全城戒備的十號風球前夕,明天既然大家都只能待在家裏,何不一起動手來,在 Telegram 砌個虛擬男女朋友 / 閨蜜 / 颱風預報科學主任,甚至懂報股價和分析股票的大師? 



【祿】邁向財務「自由」之路 II — 育成收發 Telegram 的智能秘書(上篇)

筆者的智能秘書已從只懂發出電郵,進化到懂得接收及發出 Telegram 短訊了 :D

筆者去年發表 Step-by-step 開發 Google Sheet 智能秘書的教學文章,利用 ImportXML 和簡單兩句發送電郵的程序,自動定時提示六合彩下期獎金,幸獲不少讀者的好評。

然而 Google Sheets + Email 這個組合也有不少短處和限制,也許嘗試過一起動手做的讀者也曾感受一二:
  • ImportXML 函數擱取資訊的表現不很穩定,對某些網站的標的偶爾會傳回 #N/A
  • 基於試算表格式的限制,只能擱取資訊的原型,如要進一步處理資訊會頗為麻煩,例如參考筆者回覆讀者 Nelia 的提問,在擱取牛記匯率時需要將幾幅圖片蘊含的數字以及小數點併湊在一起,要在 Google Sheets 處理便很費時失事
  • 資訊的長度不一(也可能是動態),例如不同股票的派息紀錄,長度和所載資訊也不一,很難用統一的試算表格式處理
  • Google Script 每日有頗低的運算資源上限,筆者曾嘗試開發股價數據資料庫,但每 15 分鐘處理一隻股票也爆錶
誠如筆者在半桶水爸爸網誌留言,程式碼是現代語言,編程是現代人不能不認識的技巧,所以筆者把心一橫,將智能秘書的核心技術由 Google Sheets + Script 改寫為 Python 並放上雲端運算,同時賦予秘書收發 Telegram 短訊的能力,一次過解決以上問題。

這回讓筆者以牛記匯率為例,實戰如何用幾句簡單的程式碼擱取網路資訊,並以自己喜歡的方式呈現出來。上篇主要集中討論擱取資訊的技巧,而下篇則集中討論資訊的展現、與 Telegram 的聯繫,以及如何將程序放上雲端運算。

跟去年文章一樣,擱取的對象只是示例,筆者旨在刺激讀者思考,一理通百理明。另外,請注意網絡資訊的版權屬於相關資訊提供者,本篇及下篇文章只作教學及示範用途。


上篇:利用 Python 及其程序包 Beautiful Soup 輕鬆取得並整理匯率資訊


1. 準備開發環境

首先需要準備的是 Python 的開發環境。現在的開發者有福了,因為 Google 最近支援雲端 Python Notebook,也 Pre-install 了一系列常用的程序包(包括下文提及的 requests 和 BeautifulSoup),甚麼安裝也不用做已經可以著手開發自己的程序。Google 用戶只需到 Co-laboratory (colab.research.google.com),然後新增一個 Python 2 Notebook 便可。稍後開發完成,只需把整個程序碼檔案下載(「File」->「Download .py」)便行,方便得不得了。

如果希望在自己的電腦上進行開發,Mac 的用家會比較方便,因為 MacOS 已內置 Python 2.7,直接在 Terminal 輸入 Python 便能進入環境。Windows 的用家也許需要 Google 一下如何安裝 Python 2.7,反正網路上有海量資源,就當成是第一個練習吧!另外,我們會用到兩個程序包(Package),分別是 requests 和 BeautifulSoup(留意在 Python 中,大小寫是有分別的)。安裝 Python 後,我們可以在 Mac Terminal / Windows Command Prompt (往後簡單以 Terminal 代表)用 pip 命令安裝這兩個程序包(需要網路連線): 

  $ pip install requests
  $ pip install beautifulsoup4 

留意 $ 號並不是輸入,而是 Terminal 自動生成的提示碼。至於關於這兩個程序包的詳細資訊,可以參考: 

進入 Python 開發環境(在 Google Co-laboratory 新增 Python 2 Notebook,或者在 Terminal 輸入 $ python,此時提示碼變成 >>> 代表進入成功,否則安裝可能出了問題),輸入以下的程序碼以載入兩個剛下載了的程序包。 

  >>> import requests 
  >>> from bs4 import BeautifulSoup 

留意在 Google Colaboratory 需要按 Shift + Enter 去執行程式碼。 

如果沒有輸出(Terminal 的話,提示碼維持 >>>),代表成功安裝,可以進入下一個步驟。

往後的討論主要假設以 Google Colaboratory 作為開發環境,因為相信有能力操作 Terminal 的讀者應該有能力找到相應的處理。 





2. 探索牛記匯率網頁原始碼 

這一個步驟所用到的技巧,跟系列上一篇探索馬會六合彩網頁的技巧類似。 

讓我們先在瀏覽器探索一下。打開牛記發佈匯率的網頁(http://www.nkcl.com.hk/change-ch.php),利用 Inspect Element 並從原始碼檔了解匯率的排列方式,不難發現其頁面的結構相對簡單: 
  • 所有的匯率資訊都放在頁面上第一個 <table> 裏面
  • <table>的首兩行(<tr>)是標題,並沒有匯率資訊的存在
  • 從第三個 <tr> 開始,每行有四格( <td>)。第一格是國旗和貨幣全名,第二格是貨幣國際通用代碼,第三格是買入價,最後一格是賣出價。
  • 買入價和賣出價以圖片而非文字表示。圖片的名稱(即 <img src="xxx" /> 的 xxx)與其標示數字相符,例如 1.png 代表數字「1」。小數點的圖片名稱則是 vir.png。
  • 我們希望取得的是貨幣代碼、買入價和賣出價,當中後兩者以數字而非圖片表示,並以有條理的方式(例如列表)儲存好。
有了以上對目標擱取資料的認識,已經足夠完成任務了。接下來,只剩下將以上各點編寫成程序了!




3. 將對標的物的描述換成程式碼 

3a. 下載目標網頁並建立結構方便資訊擱取 

回到 Python 開發頁面。第一步是讓程序「瀏覽」即下載目標網頁。先定義我們的目標網頁網址:

  url = "http://www.nkcl.com.hk/change-ch.php" 


按 Shift + Enter (下文略),此時應該沒有輸出。

利用 requests 程序包,將網頁內容從互聯網下載並讀進 r 物件內(r 的名稱可以自定義,另外這一步很明顯需要網絡連線):

  r = requests.get(url).content

此時如果我們檢視 r 的內容(可以用 print r),就會發現 r 只是目標網頁的原始純文字檔;此時對於 Python 來說,文字檔只是一堆沒有意義的符號的集合。




要為 r 賦予意義,即要讓 Python 懂得閱讀這純文字檔的結構,例如讓它知道哪一個 <table> 裏面有哪一些 <tr>,<tr> 裏面又有 <td> 這些從屬關係,而每一個 tag 各自有其標示的屬性,就是簡單而強大的工具包 BeautifulSoup 的工作了。只消以下一句簡單程式碼,即能為 r 賦予意義,回傳的是經過整理、蘊含所有屬性和從屬關係的 BeautifulSoup 物件「Soup」:

  Soup = BeautifulSoup(r, "html.parser")

此時如果讀者用 print Soup 的話,見到的也只是同一個原始碼檔;但請放心,只要沒有 Error 跑出來的話,Python 已經明白了整個 HTML 檔的結構了!有了這個經整理的 Soup ,我們就可以就著對所要求標的物的認識,輕鬆從中尋找並擱取所需資訊。

(至此可能對沒有編程經驗的讀者來說是有點抽象,但只要繼續閱讀下去相信讀者必定能找到端倪,加油!)



3b. 鎖定網頁的資訊目標

就着第 2 節擱取要求的第一點「所有的匯率資訊都放在頁面上第一個 <table> 裏面」,我們要尋找的是 Soup 內第一個 <table> 物件。要取得第一個物件,方法是利用 find 方法:

  TargetTable = Soup.find("table")

所回傳的 TargetTable 其實是一個較小的 BeautifulSoup 物件,內含網頁中第一個 <table> 至 </table> 內所有的屬性和子物件。用一下 print TargetTable 看看,應該就能讓讀者安心了。由於我們需要的匯率資訊都在這個 <table> 內,有了 TargetTable 便能方便收窄其後程式碼的搜索範圍。 





就著要求第二點「<table> 的首兩行(<tr>)是標題,並沒有匯率資訊的存在」,我們要尋找 TargetTable 內所有 <tr> 物件,並去除首兩行。

要取得所有物件,方法是利用 find_all 方法:

  AllRows = TargetTable.find_all("tr")

所回傳的 AllRows 是一個 Python 的列表(List)物件,這個 List 的每一個元素(Elememt)各自是一個 BeautifulSoup 物件,每一個 BeautifulSoup 物件對應在 TargetTable 內找到的一個 <tr>...</tr>。即在概念上,AllRows = [ Soup_tr1, Soup_tr2, ..., Soup_trN ]。

至於除去首兩行,即在 Python List 中除去首兩個 Elements,則是輕而易舉的事:

  TargetRows = AllRows[2:]

留意上述數句的程式碼其實可以簡單一行輕鬆完成: 


  TargetRows = Soup.find("table").find_all("tr")[2:]

這是由於 find 方法接受一個 BeautifulSoup 物件後,回傳的又是另一個BeautifulSoup 物件。這種連鎖寫法,簡單方便直接之餘,又能方便人類閱讀(很容易就能理解為「TargetRows 就是在網頁 Soup 內找第一個 <table>,然後在內找所有 <tr>,再回傳除首兩項外所有的 <tr> 項目」),這就是 Python 之美。



3c. 建立「字典」儲存匯率資訊


接下來我們就可以從每一個 <tr> 行(即 TargetRows 裏面每一個 Element),擱取需要的貨幣代碼、買入價和賣出價。但在討論下去之前,我們先要考慮一下在擱取得實際資料後,我們打算如何有系統、有條理地儲存起來,方便發送 Telegram 短訊的部分使用。

我們的目的,是建立一個「字典」,可以讓我們利用外幣的代號,查詢其買入和賣出價。如果這個字典叫做 FXDatabase,我們希望它讀畢網頁的資訊後,效果如下:

  print FXDatabase['GBP']['Buy']
  10.01

  print FXDatabase['GBP']['Sell']
  10.06

  print FXDatabase['CHF']['Buy']
  7.84

  print FXDatabase['CHF']['Sell']
  7.96

在 Python 裏的確有一種叫做「字典」(Dictionary)的物件,能不費吹灰之力就能做到上述效果。如果我們一早知道英鎊和瑞士法郎的匯價,以上的字典可以如此定義:

  FXDatabase = {
    'GBP' : {'Buy' : 10.01 , 'Sell' : 10.06 },
    'CHF' : {'Buy' : 7.84 , 'Sell' : 7.96 }
    }


留意在 Python 中,字典是以花括號 { } 定義的;另嚴格來說,FXDictionary 是「字典的字典」(留意兩層花括號結構)。

但現在的問題是,我們未讓程式「閱讀」網頁前,並不知道每一種外幣的匯價,甚至連有甚麼外幣提供也不知道(為增加程式的可用性,請盡可能不要將外幣列表手動抄下來然後手動的對號入座,試想像牛記可以隨時更改其可供兌換的貨幣種類)。所以,接下來我們得讓程式從每一個 <tr> 行擱取所需資訊,並續一寫進我們的字典。

要這樣做,我們得先建立一部「空字典」:

  FXDatabase = {}

然後就可以開始命令程式從每一個 <tr> 行進行閱讀並寫進字典裏。要指令程式將 TargetRows 的每個 Element 執行一遍,先要定義一個 for 迴圈:

  for Row in TargetRows:

此時請不要按 Shift + Enter,改用 Enter 直至整個 for 迴圈編寫完畢。同時請留意,Python 是用縮排(Indentation)去區隔不同程序碼的集合的,所以由下一行起,所輸入的在 for 迴圈內的程序碼,請謹記在前面加相同數目的空格。

好了,第一個我們希望取得的資訊是「貨幣國際通用代碼」,存在每一行的第二個 <td> 裏。由於 TargetRows 是一堆 BeautifulSoup 物件的表列,所以 Row 就是一個 BeautifulSoup 物件,可以用我們之前使用過的方法處理。聰明的讀者應該已經想到,可以利用 find_all 函數將所有 <td> 找出來:

  TDs = Row.find_all("td")

然後告訴 Python 需要 TDs 的第二個 Element (注意第一個 Element 的 Index 為 0、第二個 Element 的 Index 為 1,如類推):

  TDCurrency = TDs[1]

此時,TDCurrency 所包含的就是我們目標的那一個 <td> 格的 BeautifulSoup 物件,所以當然也包含了定義該 TD 相關屬性和其他子物件。例如,在英鎊匯價的那一行,我們得到的將會是(部分從略):

  TDCurrency = '<td style="..." width="10%">GBP</td>'

我們需要的,就只是 TDCurrency 裏顯示出來的文字部分,即上面的「GBP」三個字。從 BeautifulSoup 物件取得顯示文字的方法是 text。筆者再後加一個 .encode(‘utf-8’),因為網頁是用 UTF-8 編碼寫成,如此便能讓 Python 對擱取的文字進行相應的解碼:

  Currency = TDCurrency.text.encode('utf-8')

當然,以上的幾句程序可以簡潔的用一行表達:

  Currency = Row.find_all("td")[1].text.encode('utf-8')

至此貨幣代碼擱取完成。之後便輪到買入和賣出價,分別是 <tr> 的第三和第四個 <td>:

  TDBuy = Row.find_all("td")[2]
  TDSell = Row.find_all("td")[3]

由於牛記匯率很聰明地利用圖片而非文字表示匯率,所以我們不可以直接用 text 方法取得匯率資訊。我們得額外做一些功夫,將 <td>...</td> 內的資訊換成是匯率數字。為了不打亂我們的邏輯思考,現在讓我們先假設有一個叫做「GetFX」的自定義的函數,能做出這樣的轉換:

  Buy = GetFX(TDBuy)
  Sell = GetFX(TDSell)

至此我們已經取得所需要的三項資訊,即「貨幣代碼」Currency、「買入價」Buy 和「賣出價」Sell,可以將資料寫入預先建立的字典:

  FXDatabase[Currency] = { 'Buy' : Buy, 'Sell' : Sell }

好了, for 迴圈要執行的動作已編寫完成。但請先不要按 Shift + Enter 執行,因為不要忘記我們其中一步假設了「GetFX」自定義函數的存在,強行執行只會招致程式錯誤:



(在 Terminal 開發的朋友,對不起了 :P)




3d. 建立函數將圖片換成文字再換成數字匯率

現在讓我們先離開 for 迴圈的編寫,在 Google Colaboratory 建立一個新的 Code Cell 去定義 GetFX 函數。前文說過, GetFX 的作用,是將擱取到的 <td>...</td> 內的資訊換成是匯率數字。例如,行文之日,英鎊買入價為 10.01,從上面的程序我們將會讀到(部份從略):

  TDBuy = '<td align="center" style=...>
           <img src="images/1.png"/>
           <img src="images/0.png"/>
           <img src="images/vir.png"/>
           <img src="images/0.png"/>
           <img src="images/1.png"/></td>'

而現在我們就要編寫一個小函數,將 TDBuy 中間的 <img> 煎皮拆骨,使得:

  print GetFX(TDBuy)
  10.01

這回請容許筆者先展示完成的函數,再逐行解釋:

  def GetFX(TD):
      FX = ""
      for ImgTag in TD.find_all('img'):
          Src = ImgTag['src']
          ImgName = Src[(Src.find("/")+1):Src.find(".png")]
          Digit = "." if ImgName == "vir" else ImgName
          FX = FX + Digit
      return float(FX)

  • def GetFX(TD):
    在這行我們定義一個名為 GetFX 的函數,接受一個叫做 TD 的 BeautifulSoup 物件作為參數。TD 就是我們在上面 for 迴圈中傳入蘊含匯率圖片的 <td>...</td> BeautifulSoup 物件。
  • FX = ""
    由於我們要將每一張圖片逐一幻化成文字(每一張圖片將得到一個數字符或小數點),繼而合併再變成匯率數字,而我們不知道 <td> 中圖片的數量,所以我們又得利用 for 迴圈,而在迴圈之前我們先定義一個空字串去裝著逐一得到的文字。
  • for ImgTag in TD.find_all('img'):
    建立 for 迴圈,讓程序將 <td> 內找到的所有 <img> 也逐一執行一次以下的程式碼,就是從 <img> 中抽取所需的字符。
  • Src = ImgTag['src']
    字符存在 <img> 的檔案名稱內,所以我們感興趣的是 <img> 的 src 屬性。Src 執行的結果就是字串 "images/X.png",而 "X就是我們希望得到的字符。
  • ImgName = Src[(Src.find("/")+1):Src.find(".png")]
    要從 "images/X.png" 抽出 "X",方法就是找出字符 "/" 和 ".png" 在 Src 的位置,然後在 Src 本身取得相應位置的字符。這方法跟 Excel 中的 MID() 和 FIND() 混合使用的原理是一樣的。
  • Digit = "." if ImgName == "vir" else ImgName
    這步很容易明白,如果讀到的圖片檔名是 "vir",代表它是小數點,應以 "." 取代之;否則所需字符就是圖片檔名本身。
  • FX = FX + Digit
    將新得到的字符置於代表整個匯率的 FX 最後方,然後重新跑一次 for 迴圈去閱讀下一個字符,直至 <td> 內所有 <img> 完成為止。
  • return float(FX)
    最後,將得到的整個匯率 FX(字串)利用 float 函數轉為數字,並作為整個 GetFX 函數的結果回傳(return)。

現在我們只需先執行這個函數的 Code Cell 將其定義,然後再返回上面的 for 迴圈再執行一次,Error 就會消失。雖然 for 迴圈沒有回傳,但我們的匯率字典已經在瞬間編寫完成了!

如果不相信的話,可以試著執行以下的指令:

  print FXDatabase
  print FXDatabase['CHF']
  print FXDatabase['GBP']['Sell']


雖然開發過程好像很漫長,但回首一看,我們只是用了短短 22 行的程式碼,已經取得了所需的資訊,並有系統地儲存好。 

以下列出本篇訖今整個程序碼,Google Colaboratory 的使用者可以下載 .py 文檔再加以修飾得到;使用 Terminal 的開發者可以另開新純文字檔,將我們的 Python 程序碼儲存成以下 Python Script 檔案:

  ## NgauKeeFX.py

  import requests
  from bs4 import BeautifulSoup

  def GetFX(TD):
      FX = ""
      for ImgTag in TD.find_all('img'):
          Src = ImgTag['src']
          ImgName = Src[(Src.find("/")+1):Src.find(".png")]
          Digit = "." if ImgName == "vir" else ImgName
          FX = FX + Digit
      return float(FX)

  url = "http://www.nkcl.com.hk/change-ch.php"
  r = requests.get(url).content
  Soup = BeautifulSoup(r, "html.parser")
  TargetRows = Soup.find("table").find_all("tr")[2:]

  FXDatabase = {}

  for Row in TargetRows:
      Currency = Row.find_all("td")[1].text.encode('utf-8')
      TDBuy = Row.find_all("td")[2]
      TDSell = Row.find_all("td")[3]
      Buy = GetFX(TDBuy)
      Sell = GetFX(TDSell)
      FXDatabase[Currency] = { 'Buy' : Buy, 'Sell' : Sell }


至此,上篇要討論的,從網際網路擱取資訊的技巧已完成討論。下篇我們會將擱取到的匯率資訊,以喜歡的方式在 Telegram 短訊呈現。敬請期待!



【福】爭取時間愛得及時 增加工作生活效率小工具(利用他人時間 · 下篇)

讀者希望突破每天只有 24 小時的界限,多賺幾個小時追夢 / 玩樂 / 睡覺嗎?

上篇分享了「將人類潛能作更佳發揮」為主的工具,本篇就讓我們突破每天只有 24 小時的界限, 「利用他人或機器的時間」,將生產力無限複製。如果讀者能複製出 10 個自己,那每天你就有 240 小時(的生產力)可用了。



複製自己以提高生產力的概念,其實一早就存在你我的身邊,而且大家大概已經習以為常沒有很容易察覺。筆者當初也沒有為意,直到幾年前成家立室,搬出來跟太太兩個人住,一時間兩人要槓起所有家頭細務。在掃地拖地吸塵抹窗煮飯燙衫弄得團團轉的時候,突然覺得⋯⋯洗衣機實在是很偉大的發明!以前一直覺得是理所當然的工具,但今日如果我們沒有洗衣機,大概我還在逐件逐件洗擦扭乾,叫我如何再分身打理其他家務?

人生的兩大槓桿,莫過於金錢和時間。我們按揭買樓、借孖展買股票,其實就是利用「他人的金錢」幫助自己控有更多資產,自己付出一部分,卻能享有更大面額資產所帶來全份的回報(或虧損)。同樣道理,老闆聘僱員工,其實就是利用「員工的時間」,幫助自己在同一時間內擁有更高的生產力,自己工作一部分,卻能享有更多整體生產力所帶來的利潤(或虧損)。借錢要付利息,請人要付工資,利用相對平穩固定的支出,倍大控有資產或生產力的效果。只不過,在人工智能的年代,利用電腦、互聯網甚至物聯網,讀者不一定需要聘請實體的個人才能複製自己、增加生產力。

相信讀者一定留意到筆者很小心強調了兩次「(或虧損)」。在繼續討論之前,必須指出很重要的一點,就是在利用別人時間、開展自動化、複製自己之前,都必先確保所複製的程序本身是有效率的;否則,「時間槓桿」就會如實將低效率放大,反而做成生產力耗損。這正如槓桿買了價格下跌的資產,結果就會放大了虧損而已。Bill Gates 的名句正正就是說明這一點:「 The first rule of any technology used in a business is that automation applied to an efficient operation will magnify the efficiency. The second is that automation applied to an inefficient operation will magnify the inefficiency. 」


1. IFTTT


(圖片來源:TechCrunch.com)

IFTTT 全寫是 「IF This Then That」,基本上它是一個 Universal Plug,能幫你寫出千變萬化的自動化程序。就算讀者不懂編程,也能很簡單的將日常的 Apps 互相串連,將日常簡單眼見的工夫由機器代勞。

舉幾個簡單例子讀者就會明白:

  • 如果我進入或離開辦公室100米範圍,就發送短信給我太太(報平安),並在 Google Sheets 記錄進入或離開的時間(方便日後做 Time Audit)。
  • 如果收到 IB 電郵給我的每日報表,就把它存放在 DropBox 內的指定文件夾,並自動以今天的日期命名檔案。
  • 如果我在 Google Mail 給一封電郵打星,則新增提醒事項提醒我在今日之內處理。
  • 如果朋友在 Facebook 新增一張 Tag 了我的相片,則自動存入 Dropbox 指定文件夾中。 
  • 如果我的智能手環偵測到我昨晚的睡眠時間不足,則新增提醒事項提醒我今晚要多睡一點。
  • 每次踏上智能浴室磅量度體重後,如果體重超過某一標準,則將家裡顏色燈調為紅色,並將我的體重發送上 Facebook (很有效的減磅法!:P )


它能做到的事,基本上就只受制於 IFTTT 所連接的服務種類,以及讀者閣下的想像力!現在更有不少開發者為 IFTTT 開發實體工具,例如是一個實體按鈕,將原來不太「智能」的東西連接上物聯網:

  • 如果家裡的智能溫度計 / 天氣報告讀到的氣溫高於 26 度,而我進入家裡 200米範圍以內,則按動控制冷氣機開關的實體按鈕一下。
  • 泊車後按動車上的按鈕一下,就能將泊車的位置以 SMS 傳送給自己。


IFTTT 能連接的服務還在不斷擴充中;相信在不久的將來,筆者以下心中所想也能通過 IFTTT 實現:

  • 如果恆指沸騰指數跌破 25 點,則在 IB 戶口以限價盤盡買盈富基金,並於買入後更新 Google Sheets 交易紀錄和發送最新的投資組合資料到我電郵。(這點其實現在通過 IB Script 應該也能做到。)
  • 如果水耕蔬菜的水測試到 pH 值或某一營養素過少或過多,則利用按鈕調整營養液和水分的比例。(我懷疑這點現在也能做到。)


而且,凡是跟 Google Sheet 有關的,還可以配合下面介紹工具 Google Script 使用,用以製作指數、定期電郵報告,好用非常!如果讀者還沒有想到適合自己的自動化條件,可以在 App 內參考千萬個用家開發的小程序,「總有一個適合你」;而有些創意的使用方法更讓人當堂結舌!


2. Google Script / Google Sheets 智能秘書


(圖片來源:Webs Wheel)

如果閣下是筆者長期讀者,相信不用多介紹筆者的智能秘書。早前筆者曾以六合彩到價提示為例,Step-by-step 教學如何建立自動化智能秘書。不如就讓筆者介紹一下目前的自動化秘書軍團吧!


  • 六合彩到價提示智能秘書,負責在每次預測彩池超過 5,000 萬的六合彩攪珠前兩天提醒筆者購買六合彩。(如果馬會能刊發 API,筆者會毫不猶豫開發自動購買六合彩程序,反正筆者每次也是買同樣兩組數字。)
  • 天氣和空氣質素健康指數智能秘書,負責每天早上五時將今明兩日、緊接下來的週末的天氣預測,以及今日的空氣質素健康指數預測,撮要在一簡單電郵中,好讓筆者決定是否晨跑,以及是日的衣着。
  • 繳費提示智能秘書,負責每星期六早上將到期未繳付的賬單羅列在一電郵內,這包括所有水電煤單、管理費單、差餉地租單、信用卡月結單等等,有了這位秘書,筆者的字典基本上再沒有「遲交罰款」這四個字。(同樣的,如果 PPS 刊發 API 的話⋯⋯)
  • 測市指數更新智能秘書,負責每晚將是日大市數據加入「恆指沸騰指數」以及「主板熱鬧領先指數」的計算系統,並更新本網誌右上角的公布數字。
  • 股票監察智能秘書,負責每晚根據持倉及監察名單發出到價提示。筆者打算擴充其功能,希望能做到每日市況以及投資成績彙報,以及自動更新派息紀錄、關鍵日期等資訊。


筆者目前最想開發的,是股票及債券評分智能秘書,使得在細看之前,能夠先讓秘書過目篩選一下;甚至每日或每星期將大市 Scan 一次,發掘新的投資機遇。不過一來近來工作繁忙,二來還沒有研發出擱取 Morningstar 資訊的方程。日後如果有所成就,定當另文分享。


3. 家務助理



人工智能雖然已經能為我們做很多事,但是在傳統的領域上,很多時我們需要的是一對熟練的手腕。相比智能時代中什麼抹窗機械人、掃地機械人,筆者選擇的是傳統的家務助理。

筆者到目前還未能接受與雇傭關係的人同居,所以目前遠未有聘請海外家傭的打算;取而代之的,便是一星期一次的家居清潔家務助理(即「鐘點」)。

回想當年筆者準備結婚與未婚妻同居,起初幾個月既要適應新生活,又要籌備婚禮,更要同一時間扛起沉重的家務,簡直讓人吃不消。很多時在家務方面我們都得過且過——筆者的最高紀錄是三個月沒有掃地!(幸好那個單位是租的,哈哈!)

結果我們聘請了一位相熟朋友介紹的家務助理,生活質素頓時提高了不少。助理一星期來一次,每次四、五個小時,洗衫晾衫燙衫摺床洗碗掃地拖地洗廁所抹窗抹屋全包,盛惠數百元一次;但我和太太都樂意付出這個價錢,因為所能得到的價值遠超這個數字。

正如筆者在關於家庭生活開支的前文所述,筆者認為中產的生活不在乎包裝,而在乎「自由」,故此把不需要用自己 Man-Hour 的工作外判,以換取時間和心神,專注於家人幸福和繼續追尋財務自由。家務助理就是數年來最佳的代表作。

要知道我倆跟大家一樣,一星期只有 168 小時,其中睡覺 55 小時、上班連通勤約 60 小時、早午晚飯梳洗沖涼等「維生」的時間開銷又 15 小時。一星期只剩下 35 小時追求人生的意義(即「福祿壽全」),如果得再花當中 10 個 8 個小時自行處理家務⋯⋯

要知道做運動保持身體健康是不能外判的、與家人相處溝通以及看書靈修冥想促進心靈富足也是不能外判的、投資理財追求財務自由雖然可以外判但卻是非常危險的。而既然家務工作可以外判,家務助理又比自己處理家務更有效率(自己做 8-10 個小時的工作,助理 3、4 個小時就搞定),空出來的時間自覺能賺到的比起區區幾百塊錢又遠多,這是於自己、於家庭、於社會都是 Value Creation,何樂而不為?至今筆者已經聘用家務助理超過 5 年,仍然覺得這是非常非常超值的交易。



其實筆者日常喜歡用的工具還有很多,例如利用 Dropbox 配合 Scannable(一般文件) 和手提 Scanner(重要文件) 將生活完全無紙化、利用 Feedly 一次過看幾十個 Blog ⋯⋯ 但基本原則是萬變不離其宗,即人一天只有 24 小時,時間是我們最寶貴的資源,要用得其所必須善待時間,找出耗費時間的活動,然後衡量得失效率作出外判決定,務求讓自己人生的每一個小時都有最大的產出。

產出的不一定是金錢或利益,身體健康、給家人溫暖和愛,這些都是無價的瑰寶,是金錢之所不能,但只有用時間和心機賺取的。為此,我們更要善用時間,借助工具輔助,以「愛得及時」。

熱門文章