距離上篇在 Early Access Playground 試用 o1 模型後又過了兩週，今天終於等到 API 開放使用啦！本篇將紀錄如何使用 Python SDK 存取 o1 模型。 系列文章 【Azure OpenAI】快速試用 o1 模型 模型佈署 在先前開放的 Early Access Playground 中使用 o1 是不需要另外佈署模型的，不過回到使用 API 來存取 o1 模型，就需要像之前的模型一樣先進行佈署才能使用，相信大家都很熟悉了。 使用 Python SDK 一樣使用熟悉的 openai 套件： 2024-09-01-preview 初始化的方式與先前模型都一樣，需要注意的是 o1 模型目前只能使用最新的 API 版本 2024-09-01-preview 來訪問。 Chat Completions 將 model 填入 o1-preview ，或是你的模型佈署名稱， messages 也一樣是歷史對話堆疊的 List。 回應如下： 查看 Token 使用量 內建 Chain of Thought 的 o1 比起過往的模型會消耗較多的 Token，因此我們特別把 Token 使用量拉出來看。 回應如下： 其中 prompt_tokens 、 completion_tokens 、 total_tokens 在先前的 API 就已經存在了，分別代表Token 的 Input、Output 與總使用量，而在新的 completion_tokens_details 中可以看到 reasoning_tokens 使用了 320 個 Tokens，居然佔了總輸出 Token 的 80% 以上！ 控制 Token 成本 已往我們可以使用 max_tokens 參數來控制 Token 的用量，但在 o1 模型中棄用了 max_tokens ，取而代之的是使用 max_completion_tokens 參數，來看看這段程式碼： 回應如下： 沒東西？那再看一次 Token 量。 回應如下： Token 居然是有被使用的！ 這表示 max_completion_tokens 並不像過往使用 max_tokens 這麼簡單，先前在回應遇到...
在前一篇中我們建立了一個 Computer Vision 服務，並且進入 Vision Studio 快速體驗了 OCR 等功能，如果還沒看過上篇的話，建議可以先從下方連結開始觀看喔！
這些訓練好的模型被包裝成 Vision Studio 上的各項功能，透過簡單的 UI 操作確實可以快速的體會到背後模型的厲害之處，但 Computer Vision 其實也提供了使用自己的資料訓練模型的方法，這稱為 Custom Model，而這項功能也可以只透過點擊在 Vision Studio 上直接操作完成。
相關連結：【Azure AI Vision】快速試用 Vision Studio
流程說明
如果只想動動滑鼠就完成模型訓練的話，必須結合多項服務來達成。
首先，目前用來訓練模型的資料來源只接受從 Blob Storage 提供，所以我們會先將圖片都上傳到 Blob Container 中；接著會使用 Azure ML 中的標註工具，來完成訓練資料的標註檔，最後再使用這個標註檔訓練客製化的模型。
建立 Blob Storage
首先在同一個資源群組中建立一個 Gen 2 的 Blob Storage ，這邊的 Storage 沒有太多限制就不多贅述了，根據需求隨喜建立即可。
 |
| Storage 啟用階層命名空間 |
訓練資料
這次選用下方第一個連結的資料集，這是一個僅包含貓與狗兩類別的簡單資料集。
因為 Computer Vision 標榜其模型擅長小樣本學習，官方文件中也提到每個類別至少使用 5 張圖片來訓練模型，所以順便測試一下是不是真的這麼厲害，我從中隨意挑選了貓狗各 5 張圖片做為訓練集，也挑選了貓狗各 2 張圖片來做訓練完成後的驗證集，挑選出的圖片放於下方第二個 GitHub 連結，有需要的朋友歡迎直接取用。
相關連結：https://github.com/charliewei0716/demo-azure-computer-visiov-custom-model/tree/main/data
上傳資料
在 Storage 中建立一個 Container 名稱不限，這裡取名為 cv-dataset。
 |
| 建立 Container |
接著將訓練用的 10 張圖片都上傳到 Container 中，這邊就不另外做分層了，直接都放在 Container 的跟目錄中就好。
 |
| 上傳訓練資料 |
建立資料集
回到 Vision Studio，找到「 Customize models with images」這個功能，點擊「 Start a project」。
 |
| Customize models with images |
點擊「 Add new dataset」。
 |
| Add new dataset |
在跳出的視窗中任意輸入資料集名稱，模型型態選擇影像分類，而最重要的是要選到我們剛剛建立的 Container，並且勾選允許取用資料。
 |
| 建立資料集 |
使用 Azure ML 建立標註檔
如果是有處理過影像訓練的朋友都會知道，訓練時需要使用標註檔告訴模型每個圖片所屬的類別，而標註檔也有許多種常用的格式，在 Computer Vision 中接受的是 COCO 格式，如果訓練資料已經有符合格式的標註檔，那這邊只需要直接上傳就能使用。
不過最糟的情況是我們還必須手動標註所有的圖片是屬於哪一種類別，這時候如果有方便操作的標註工具就再好不過了，而 Computer Vision 這邊即整合 Azure ML 內的標註工具來完成。
上述資料集建立完成就會看到如下畫面，直接點擊建立一個 Azure ML 的 Labeling Project。
 |
| 建立一個 Azure ML 的 Labeling Project |
建立 Project 除了名稱外，還需要選擇一個 Azure ML 的 Workspace，因為我們還沒有建立相關的資源，所以這邊就順著 UI 直接建立一個新的 Workspace。
 |
| 建立一個新的 Azure ML Workspace |
此時畫面會自動跳轉到 Azure ML 的建立畫面，Azure ML 在建立時其實挺麻煩的，需要搭配其他額外的服務才能建起來，慶幸的是我們只是想使用其中的標註功能，太複雜的其他功能不是這邊需要考慮的，所以只需要給一個 Workspace 的名稱，其他就讓服務預設自己帶起來就好。
 |
| 建立 Azure ML Workspace |
再回到 Vision Studio 中，點擊旁邊一個刷新按鈕，這時就能選到剛剛建立完成的 Azure ML Workspace 了
 |
| 選到剛剛建立的 Azure ML Workspace |
跟著 UI 引導可以直接跳轉到 Azure ML 中的 Labeling Project，如下圖可以看到在 Storage 中 10 張未標記的影像已經被匯入專案中了。
 |
| Azure ML 中的 Labeling Project |
點擊上方的「新增標籤類別」，我們需要如下圖新增「cat」與「dog」兩個類別。
 |
| 新增標籤類別 |
類別新增完成後，就可以點上方的「開始」與「標籤資料」。
 |
| 開始逐張圖片標記類別 |
接著就開始看圖片是貓還是狗，跟著畫面把 10 張圖片都標註完，是個非常簡單但很無聊的動作😓
都完成後回到主頁點擊「匯出」，匯出格式記得選到「COCO 檔案」
 |
| 匯出 COCO 檔案 |
再次回到 Vision Studio 選到 「Add COCO file」，如下圖跟著下拉選單操作，就能選到剛剛的 AML Workspaces 與 Labeling Project
 |
| Import COCO file |
看到標記檔案順利匯入就代表沒問題囉！
 |
| COCO file 準備完成 |
到此完成了所以訓練資料的準備，下一篇就會正式進入模型訓練，請繼續收看！
留言
張貼留言