今年我國羽球好手李洋、王齊麟在東京奧運斬獲男雙史上第一面金牌，同時也是我國羽毛球史上第一個世界冠軍。今年年初，麟洋組合就在泰國創下15連勝，並連續三周三次捧起了兩個公開賽及一個年終賽的冠軍獎盃的傲人紀錄，兩人的世界排名也因此衝上世界第三的歷史新高。雖然奧運小組賽第一輪爆冷輸給了印度組合，但隨後擊敗世界排名第一的蘇卡穆約 / 吉德翁組合、排名第五的渡邊 / 遠藤組合、排名第二的阿山 / 賽提阿萬組合，最後在大敗排名第四的李俊慧 / 劉雨辰，如此的戰績造就這枚意義重大且含金量完全不容置喙的金牌。
決賽賽點20:12，最後一球是由鷹眼系統的回放畫面判定為界內，一時間鷹眼判決畫面火遍全台。衍生出的Taiwan in圖示更是在短時間內，爆發出層出不窮的商品。但話說從頭，在賽場上可以左右生殺大權的「鷹眼」究竟是個什麼呢 ?
鷹眼系統一開始是設計給板球運動，用來協助裁判進行判決。隨後於網球賽事中，美國網球公開賽在2006年導入鷹眼輔助判決，至今網球四大公開賽中，僅剩勝法國公開賽還未導入。羽球界則是由2013年的印尼羽球公開賽導入鷹眼技術。到了2021年已經有十幾種的大型運動賽事導入了鷹眼，除了國人熟知的網球、羽球、籃球、足球、排球等球類運動外，還包含了田徑、賽馬、賽車等競賽。
鷹眼系統的專利申請之路
在2000年，英國的馬諾爾研究公司 (Roke Manor Research Limited)，向英國專利局提交了一份名為球路追蹤與軌跡預測(Ball tracking and trajectory prediction)的專利申請（GB2357207A）。這項發明被認為是鷹眼系統的原型，但並沒有順利取得專利權，該項申請在2004年就被撤回了。專利發明人-保羅霍金斯博士(Paul Hawkins)也在申請後離開了馬諾爾公司，帶領著自己的新創公司-Hawk-eye Innovations 繼續發展球類軌跡的追蹤技術。鷹眼(Hawk-eye)系統與公司都是取自霍金斯(Hawkins)的字首。
2011年，Hawk-eye Innovations 被Sony收購。有了Sony的影像技術的加持，對於鷹眼技術本身無疑是大大的加持。根據專利資料顯示，霍金斯也持續作為發明人在Sony內部持續研發。研發的方向也從球類軌跡擴大了車輛影像的應用。霍金斯本人更是因為對於體育科技的巨大貢獻，在2014年獲頒大英帝國官佐勳章(Officer of the Most Excellent Order of the British Empire, OBE)。
從2000年所提交的專利申請來看，所謂的球路追蹤與軌跡預測是一套至少具備四部攝影機的系統。兩部攝影機的畫面就可以建構出球體在一系列幀數中的立體位置，進而預測出未來的軌跡。多部攝影機的使用則是可以為掉幀留下一些裕度。球體位置的建構是透過演算法運算所得到的結果。系統本身還具有虛擬球體軌跡的回放功能。
全程追蹤的難題
在此發明以前，網球場上已經開始使用諸多感測器來測量發球速度、發球觸網或是出界判定，但沒有一套可以全程追蹤球體的影像處理系統，來減少人因的誤判風險。說明書中也以板球運動為例，指出若要做到全程追蹤必須要克服以下幾點難題：
- 攝影機設置位置受場地影響而每次不同；
- 球體在立體空間中的飛行軌跡必須被精準地辨識出來；
- 為了提高解析度與精準度，攝影機視野必須盡可能小(球體出鏡風險上升)；
- 運動員靠近，可能導致攝影機失焦；
- 場上與球體大小類似的東西可能影響系統判斷，例如: 鳥…；
- 球體顏色對系統判斷的影響；
- 觸身球難以認定，尤其是板球有觸身出局的規則；
- 球體軌跡需要精準預測；
- 以上要求都須同時進行實時的運算處理。
而鷹眼系統就是設計來克服這些難題的實時影像處理技術。
以板球運動作為實施例來看，圖二 (Fig.2) 系統中的六台攝影(1~6)機會將畫面傳回到電腦的CPU(13)中。CPU(13)還包含了一個影像處理器(15)負責軌跡生成、一個負責記錄投打數據以及球門位置(球場地圖)的儲存單元(16)、一個負責記錄球類規則的儲存單元(17)以及一個統計數據產生與儲存裝置(18)其所存儲的歷史數據可以加速後續的運算。
由攝影機回傳到CPU(13)的影像，會經過圖三 (Fig.3) 各個步驟的處理。攝影機校正(20)後，便會執行啟動處理(21)，儲存單元(16&17)中的數據以及影像都會被載入影像處理器(15)中。所以傳回的每一幀影像都會進行球體的辨識(22)，檢驗影像中是否有球體的出現。演算法則會去確認影像中的球體是否符合板球的大小與形狀(23)。一旦球體在立體空間中的位置被確認(24)，球體的行徑路線就會被持續追蹤(25)。最終結合儲存單元(16)的數據，模擬出球體的軌跡。
GB 2 357 207 A 圖示
球體的軌跡會與儲存單元(17)中的球類規則進行比對，例如: 是否出界或是有觸身球的情形。最終判決結果會呈現在螢幕(14)上。存在統計數據產生與儲存裝置(18)的歷史數據，包含球速、球路、距離、波動等，都可以作為後續軌跡預測的參考，加速整個影像處理流程的速度。為了避免球體影子造成影像辨識上的誤判，太陽照射角度也會被考慮進去。
從專利範圍可以看到，這套用於球場的影像處理系統包含了至少四個設定於固定位置的攝影機、一個負責軌跡生成的影像處理器、一個存有場地建模與其上特徵數據的儲存單元以及一個存有的球類比賽規則的儲存單元。影像處理器需要檢驗每幀影像是否有球體出現，並利用來自至少兩台攝影機影像計算出每幀影像球體的3D位置，再依據被成功計算出球體3D位置的影像預測出球體的飛行軌跡，最後將軌跡與場地建模、比賽規則進行比對從而做出判決。
綜觀整個系統，不難發現負責確認球體的演算法(23)，會是成敗與否的重要關鍵之一。但有趣的是，說明書中提到，利用球體的大小與形狀進行影像分析的技術已是已知的了。因此說明書中，並未針對演算法本身進行說明，是否不希望過度揭露？抑或是，在2000年時，影像辨識的演算法才是Hawk-eye的核心技術?
羽球的速度是所有球類競技最快的，男子選手的殺球時速在比賽中突破400公里/小時是家常便飯，對比網球最快的發球時速僅有263公里/小時。除了速度以外，球拍擊球前後所造成的球體形狀差異、多達上百公里的初速-尾速差以及球體本身的獨特造型等等種種因素，都是挑戰羽球比賽導入鷹眼系統可靠性的原因。
從第一件專利申請至今已超過20個年頭，鷹眼系統本身因為相關數位與電腦技術的持續進步，也經過多次的改良精進。2006年用於美網比賽時，鷹眼系統的規模已經獲得了提升，攝影機擴增到了8-10台，每台每秒可以拍攝340幀的畫面，並同時由3-4台的電腦進行運算。Sony領先業界的0.02秒極速對焦以及看家高幀率(High Frame Rate, HFR)技術對於鷹眼來說無疑重要的加分關鍵。或許現今難以得知當年的專利收購的全貌，而在這個軟體算法與硬體算力高度發展的世代，可以期待的是鷹眼技術在未來持續在各領域進行更廣泛的應用。
Reference：
- Sport and entertainment: Paul Hawkins, The Observer
- 胡儀芳，多角度欣賞賽事！ AI、自動攝影陸續導入體育競賽，Digitimes，2017/02/20
- Anny，IN 啦！「鷹眼系統」到底是什麼科技？INSIDE，2021/08/03