不會寫程式也能讓AI按滑鼠？上班族的新捷徑

(中央社財經訊息服務20261028 18:33:32)每天上班都要開啟相同的系統、複製資料、填寫表單，再把結果整理成報表嗎？過去想把這些工作自動化，往往需要撰寫程式、串接系統，或請資訊人員協助。如今，隨著AI開始能辨識電腦畫面、點擊按鈕及操作軟體，即使不懂程式設計的上班族，也逐漸有機會透過自然語言，把部分重複性工作交給AI處理。

OpenAI於10月26日推出GPT-6.1 Terra，主打視覺理解與電腦操作能力，可應用於表單填寫、圖面解讀及影片編輯等任務，並逐步開放於ChatGPT Work、Codex及開發者API，實際功能與使用範圍仍取決於方案、工具及授權設定。

不過，AI操作電腦並不是今年才出現的新技術。Anthropic旗下Claude早在2024年就展示透過畫面辨識、滑鼠點擊與鍵盤輸入操作電腦的能力，OpenAI也陸續推出能操作網頁與桌面應用程式的工具。隨著相關技術持續發展，這些過去需要一定技術背景才能完成的自動化工作，也開始走進一般上班族的日常。

例如，行政人員每天需要將收到的發票整理成表格，再輸入公司系統。過去可能需要逐筆處理，或請工程師開發專用工具；現在，透過具備畫面辨識與操作功能的AI，就有機會先讀取發票資料、辨識系統欄位，再協助輸入內容。使用者不一定需要先學會寫程式，而是可以直接用日常語言描述工作步驟，讓AI協助執行。

不過，這不代表所有自動化都不再需要程式開發。涉及複雜系統整合、大量資料處理或企業內部權限的流程，仍可能需要專業人員規劃與測試。AI也可能看錯畫面、填錯欄位，或在操作過程中遇到無法自行處理的情況。因此，當AI開始真正動手操作，另一個問題也隨之出現：能看懂畫面，是否代表可以替使用者決定下一步？

例如，AI可以協助準備採購單，但是否真的下單付款，應由有權限的人確認；它可以整理要寄給客戶的文件，但收件對象、附件內容是否正確，也不宜直接略過檢查。

尤其涉及付款、送出正式申請、刪除資料、修改帳號權限，以及對外寄送文件等操作，若發生錯誤，可能產生金錢損失、資料變更或其他難以立即復原的結果。

因此，讓AI處理資料蒐集、初步填寫與重複操作，再由人員確認關鍵結果，是較適合逐步導入的方式。實際使用時，也應留意工具能存取哪些系統、使用誰的帳號，以及能否保留操作紀錄。

匯智生活觀察室觀察，過去企業談自動化，經常著重系統導入與開發成本；隨著AI操作工具逐漸普及，未來更多員工可能自行找出工作中適合自動化的環節。但當操作門檻降低，企業更需要建立清楚的授權、審核與復原機制，避免方便的工具在不知不覺中取得超出工作需求的權限。

AI正讓工作自動化不再只是資訊人員的專業領域。對一般上班族而言，未來值得學習的，除了如何清楚交辦工作，更包括判斷哪些事情適合讓AI代勞、哪些決定必須保留在自己手中。畢竟，真正好的自動化，不只是讓電腦幫忙做得更快，也要讓人清楚掌握最後的結果。

【匯智生活觀察室】 從生活出發，觀察科技與數位時代的大小事，分享實用資訊，讓科技更貼近日常。 由Cloudmax匯智資訊策劃，持續關注科技、資安與數位生活議題。 官方網站：www.cloudmax.com.tw 圖片來源：Cloudmax 匯智／AI生成

AI正從提供文字建議，進一步走向實際操作電腦。從辨識發票、填寫表單、整理資料到協助編輯影片，過去可能需要撰寫程式或串接系統才能完成的部分自動化工作，如今一般上班族也有機會透過自然語言指示AI執行。不過，當AI能替人點擊按鈕、修改資料甚至寄送文件，付款、權限變更及對外傳送等關鍵操作，仍應保留人工確認與執行紀錄，兼顧工作效率與管理安全。（圖片來源：Cloudmax 匯智／AI生成示意圖）