Japanese AI Evaluation Specialist (Japan)

Opportunity Overview

Handshake is looking for Japanese speakers based in Japan to help make AI responses more personalized. This is not a traditional job — you'll share your own real-world experience using ChatGPT and help evaluate and rank AI responses so future models can better tailor their answers to individual users.

This is an ongoing, project-based opportunity you can take on alongside your current role.

募集概要

Handshakeでは、日本に在住し日本語を話す方を募集しています。AIの応答をよりパーソナライズされたものにするお手伝いをしていただきます。これは従来の仕事とは異なります — あなた自身がChatGPTを使った実際の経験を共有し、AIが生成した応答を評価・比較していただくことで、将来のモデルが個々のユーザーに合わせた回答をより的確に提供できるようになります。

What You'll Do

• Complete tasks on Handshake's annotation platform using your own real-world experience with AI tools
• Compare and evaluate AI-generated responses, sharing your honest preferences and reasoning
• Provide clear written feedback that helps AI better understand and personalize responses for individual users
• Complete tasks at your own pace with no set schedule or minimum hour requirement

業務内容

• Handshakeのアノテーションプラットフォームで、AIツールを使った実際のご自身の経験をもとにタスクを完了する
• AIが生成した応答を比較・評価し、正直な好みとその理由を共有する
• AIが個々のユーザーに合わせて応答をより良く理解・パーソナライズできるよう、明確な文章によるフィードバックを提供する
• 決まったスケジュールや最低作業時間の縛りなく、自分のペースでタスクを完了する

Ideal candidates meet all of the following

• Location — Based in Japan and able to work remotely in an asynchronous, self-directed capacity
• Language — Fluent in Japanese, both written and spoken, with strong written communication skills for explaining your reasoning clearly. Good working understanding of English (ideally B2 level) as the platform, instructions, and training materials will all be in English.
• AI experience — Prior hands-on experience using ChatGPT or similar AI chat assistants, with enough familiarity to compare responses thoughtfully and articulate what makes one answer better suited to a given user than another
• Judgment — Comfortable forming and defending your own preferences between two AI-generated responses, even when the differences are subtle

理想的な候補者は、以下をすべて満たしています

• 居住地 — 日本に在住しており、非同期・自主的な形でリモート勤務が可能であること
• 言語 — 日本語(読み書き・会話ともに)に堪能で、自分の判断理由を明確に説明できる高い文章力を持っていること。プラットフォーム、指示事項、研修資料はすべて英語で提供されるため、英語を実務レベルで理解できること(できればB2レベル)も必要です。
• AI経験 — ChatGPTまたは類似のAIチャットアシスタントを実際に使用した経験があり、応答を注意深く比較し、あるユーザーにとってどちらの回答がより適切かを説明できるだけの理解があること
• 判断力 — 2つのAI生成応答の違いが微妙な場合でも、自分自身の好みを形成し、それを説明・主張できること

Required for all applicants

• Comfortable sharing your own ChatGPT conversation history for research and product improvement purposes (handled confidentially)
• Strong written communication in Japanese, with good understanding of English
• Ability to work independently in a remote, asynchronous environment

全応募者共通の必須条件

• 研究および製品改善の目的で、自身のChatGPTの会話履歴を共有することに抵抗がないこと(内容は機密として取り扱われます)
• 日本語での高い文章力と、英語の実務レベルの理解力を有すること
• リモート・非同期環境で自主的に業務を遂行できること

About sharing your ChatGPT history

We'd like to take a moment to explain why we ask for your ChatGPT conversation history and how it will be used.

Your history helps us create evaluation tasks that are personal to you. During the project, you'll revisit questions you've previously asked ChatGPT and evaluate how well different AI responses match your own preferences — things like tone, warmth, or writing style. There are no right or wrong answers. We're simply interested in your honest impressions.

We understand your conversation history may include private content. You're welcome to delete anything you'd prefer not to share before submitting. We just ask that at least 41 conversations remain afterward. A "conversation" means an individual chat session, not each message within it.

Everything you share will be handled with care and used only for research and product improvement.

ChatGPT履歴のご提供について

ChatGPTの会話履歴をご提供いただくお願いをするにあたり、その目的と活用方法についてご説明させていただきます。

ご提供いただいた履歴は、参加者お一人おひとりに合わせた評価タスクの作成に活用させていただきます。タスクでは、過去にChatGPTへ入力されたご自身の質問やリクエストをもとに、異なるAIの応答があなたの好みにどれだけ沿っているかを評価していただきます。応答の温かみ、文体やトーンの好み、絵文字の自然さなどが評価の対象となります。正解・不正解はございません。あくまでご自身の率直な印象をお聞かせいただければ幸いです。

会話履歴には個人的な内容が含まれる場合もあるかと存じます。共有したくない会話は、ご提出前にあらかじめ削除していただいて構いません。ただし、削除後も少なくとも41件以上の会話が残っていることが参加の条件となります。ここでの「会話」とは、個々のメッセージではなく、個別のチャットセッションを指します。

ご提供いただいた履歴は、研究および製品改善のみを目的として、厳重に機密管理のもとで大切に取り扱わせていただきます。