このサイトは現在開発中です

JapanTracker 監査・Provenance・透明性

監査・Provenance・透明性

JapanTracker は、「人間が確認したから正しい」「中立だと運営者が判断したから中立」という保証を置きません。代わりに、どのように作ったかを外から検証できる状態をつくります。

中立を名乗らない

JapanTracker は「中立です」と名乗りません。何を中立とするか、どの程度偏っているかという評価自体が、評価者や比較軸によって変わるためです。

一方向の見方に寄りすぎないよう設計はしますが、その達成度をJapanTracker自身が認定しません。

何を残すか

可能な限り、使用したモデルとバージョン、prompt / protocol、調査対象、検索条件、入力、参照した資料、比較対象を探した過程、見つかったもの・見つからなかったもの、採択・不採択、判断理由、実際に行った変更を残します。

「問題候補を検出したこと」と「canonical datasetを変更したこと」は分けて記録します。再調査したが変更しなかったことも、後から確認できる方が望ましいと考えています。

公開しなかった候補も残す

問い を含め、生成した候補は基本的に捨てません。公開しなかった場合は、その理由も残します。採択されたものだけを見るより、何を見送ったかも含めた方が選択バイアスを検証しやすいためです。

公開を原則にする

公開できるものは原則として公開します。 判断理由や監査ログを、問い合わせが来るたびに個別説明する運用は置きません。検証したい人が参照できる場所を用意する方を優先します。

分かりやすさを保証しない

検証可能であることと、誰にでも簡単に理解できることは別です。すべての監査ログや provenance を一般向けに短く翻訳し直す義務までは負いません。

人が直接読むことも、別のAIに読ませることも、研究者や第三者が独自に評価することもできる材料を置きます。利用者はそれを使って自分で確かめる前提です。

比較の完全性を保証しない

政治家、組織、属性、政策などの比較集合を、すべてのテーマで完全に対称にすることは約束しません。比較対象を探す努力と、その探索条件・結果を残します。

「偏りをゼロにした」と宣言するのではなく、どの範囲をどの方法で調べたかを見える状態にすることで、偏りそのものを不可視にしないことを重視します。