
Photo Translator / 画像タグ翻訳 PWA
撮った写真(または選んだ画像)を タグ解析(画像→単語) し、結果を 日本語・英語・中国語・韓国語 の 4言語セットで表示・発音できる、軽量PWAです。 (発音は端末の Text-to-Speech / Speech Synthesis に依存します) Live Demo https://masato-nasu.github.io/Photo-Translator/ できること / Features 📷 カメラ撮影 / 🖼️ 画像選択 🔎 タグ解析(Top-K 件を表示) 🌏 1つの意味を4言語セットで表示 例)「cat / 猫 / 貓 / 고양이」のように、1行に4言語をまとめて表示 どの行にも英語が併記されるので、意味を追いやすいです 🔊 タップで発音 各行をタップすると、その行の言語ペアを読み上げます 🖐️ 人間工学的に操作しやすいUI / Ergonomic UI 撮影・解析などの主要ボタンを 画面中央付近の「ボタン帯」 に配置(親指が届きやすい) 結果が表示されても ボタン帯を隠さない(結果エリアのみスクロール) ボタン文字・タップ領域を少し大きく して押しやすく調整 📱 PWA対応(ホーム画面に追加してアプリ風に使用) 使い方 / How to use カメラ開始 / Start Camera カメラで撮る場合は 「カメラ開始」 を押します。 端末やブラウザによっては カメラ権限の許可 が必要です。 画像選択 / Choose Image 既存の写真を使う場合は 「画像選択」 を押します。 タグ解析 / Analyze 「タグ解析」 を押すと、画像からタグ候補を推定し、上位(Top-K)を表示します。 各行には「英語+日本語+中国語+韓国語」の 4言語セットが表示されます。 ※結果が増えても ボタン帯は固定され、操作が隠れない ようになっています。 発音 / Speak 結果の各行をタップすると、その行の内容を読み上げます。 端末・ブラウザによって利用できる音声(voices)は異なります。 Top-K(上位)について Top-K は「どれだけ多く候補を出すか」を決める値です。 値を上げるほど多くの候補を見られますが、下位の候補ほど精度は落ちやすくなります。 迷ったら 10〜20 あたりが見やすく、負荷もほどよいです。 発音(TTS)について / About TTS このアプリの読み上げは、ブラウザの Speech Synthesis(端末内蔵TTS) に依存します。 iPhoneで英語が日本語っぽく発音される場合 iOS側に英語音声が入っていない/日本語音声が優先されている可能性があります。 設定 → アクセシビリティ → 読み上げコンテンツ → 声 から English の音声を追加(ダウンロード) してみてください。 端末やiOSバージョンによって、利用できる声(voices)が異なります。 翻訳について / About translation タグ自体は英語で推定され、その後サーバー側で DeepL API などの翻訳サービス によって 日本語・中国語・韓国語へ翻訳されます。 翻訳サービスの仕様やネットワークの状態により、一部の言語だけ空になる・英語のままになる ことがあります(その場合も英語タグ自体は表示されます)。 うまく翻訳できない/表示されないことがある理由 次のような要因で、日本語・中国語などが空になったり、英語のままになったりします。 タグが一般名詞ではなく、固有名詞・キャラクター名・造語に近い 翻訳側の辞書に無い/翻訳サービスが一時的に不安定 ネットワーク遅延やタイムアウト(モバイル回線など) 似た見た目の食品・建物などは、候補が複数に分岐しやすい 「日本の一般的な物が弱い」「特定のキャラクター名が出ない」ような場合は、 学習データやラベル語彙(クラス)に依存します(下記「仕組み」を参照)。 仕組み(ざっくり) / How it works (roughly) 画像→タグ推定は OpenCLIP(ViT-B-32) と、一般物体向けのラベル集合(約 20,932 クラス)を使っています。 これは「画像を説明する英語ラベル」を当てる用途に強い一方で、 日本固有の品目名・店舗名・郷土料理名・キャラクター名 などは、ラベル語彙に無い場合、 そのままでは出にくいです。 PWAとしてインストール / Install as PWA iPhone (Safari) 共有ボタン → ホーム画面に追加 Android (Chrome) 右上メニュー → アプリをインストール(または「ホーム画面に追加」) ※主要ボタンを画面中央付近にまとめ、片手(親指)でも押しやすいように調整しています。結果が出てもボタンが隠れません。