イベント情報

Zoomによるオンライン開催

京都大学 学術情報メディアセンター

京都大学 学術情報メディアセンター　南條　浩輝
メール：nanjo * media.kyoto-u.ac.jp （*を＠に変えてください）

◆13時00分～13時30分
講演者：南條　浩輝（京都大学学術情報メディアセンター　准教授）
講演題目：モダリティ変換とそれを用いた言語教育支援の取り組み
講演概要：はじめに趣旨説明を行う。次に、テキスト、音声、画像の変換技術（モダリティ変換）を用いた言語教育支援についての講演者の取り組みを紹介する。講演者は、これまで音声->テキスト変換（音声認識）を用いた言語教育支援を研究してきている。また、昨年度より、画像->テキスト変換を用いた言語教育支援の研究も科研費のプロジェクトとして開始している。具体的には、画像に対応するテキストを生成する「自動キャプショニング」の技術を応用した、言語産出（作文など）の支援・評価を行うための研究を推進している。これらについて述べる。

◆13時40分～14時25分
講演者：牛久　祥孝（オムロンサイニックエックス株式会社　Principal Investigator ／ Ridge-i　取締役CRO）
講演題目：マルチモーダル理解 ～Vision and Language とその先へ
講演概要：深層学習の恩恵を受けて、コンピュータビジョンや自然言語処理などの多くの分野では、画像の分類・検出、セグメンテーションや、テキストの機械翻訳などの既存課題の性能が劇的に躍進した。しかしながら最も大きな成果は、代表的な深層学習の手法がお互いの参入障壁を低くしたことにある。本講演では、画像や動画と言った視覚データと自然言語データを融合的に理解する Vision and Language と呼ばれる分野について紹介する。

◆14時35分～15時20分
講演者：永田　亮（甲南大学知能情報学部、JST さきがけ　准教授）
講演題目：モダリティ変換と英文ライティング自動添削
講演概要：本講演では、英文ライティングにおける添削技術（自動採点および解説の生成）を紹介する。具体的には、写真描写問題の自動採点と自由記述英作文を対象にした文法誤り解説生成を取り上げる。前者は、画像（写真）、言語（答案）を得点に変換するという、複数モダリティがかかわるタスクである。また、後者は、学習者の英文から日本語の解説を生成するタスクである。質の異なる二種の言語情報を取り扱うという点で、広義のモダリティ変換と捉えることもできる。これら二つのタスクについて詳細に紹介する。