ARCoreでGoogleCloudVisionAPI使って結果表示するアプリ作った

スマホカメラで撮影した画像をGCPのCloudVisionAPIに送って物体認識し、結果をAR表示するアプリを作りました。

テキストを平面的に表示しているだけなのでARっぽさが出ていないですが…
表示はもう少し工夫したほうが面白そうですね。

github.com

GCP CloudVisionAPIの結果をAR表示

処理の流れ

1. ARCoreでカメラ画像を取得する
   地味に一番苦労しました。苦労した記録はこちら。
   qiita.com
2. 画面タップを検出し、画像をbase64エンコードしてGCPのCloudVisionAPIに送信する
   string System.Convert.ToBase64String(byte[]) でbase64エンコードします。
3. jsonの応答を受け取り、3Dオブジェクトとして表示する
   表示位置は固定値でカメラの前方〇cmのように設定しています。
   jsonからC#のインスタンスにデシリアライズする方法は下記記事を参考にしました。
   qiita.com

参考にしたコードはARCoreのExampleの、HelloARとComputerVisionです。