[2107.08357] As Easy as 1, 2, 3: Behavioural Testing of NMT Systems for Numerical Translation

Mistranslated numbers have the potential to cause serious effects, such as financial loss or medical misinformation. In this work we develop comprehensive assessments of the robustness of neural machine translation systems to numerical text via behavioural testing. We explore a variety of numerical translation capabilities a system is expected to exhibit and design effective test examples to expose system underperformance. We find that numerical mistranslation is a general issue: major commercial systems and state-of-the-art research models fail on many of our test examples, for high- and low-resource languages. Our tests reveal novel errors that have not previously been reported in NMT systems, to the best of our knowledge. Lastly, we discuss strategies to mitigate numerical mistranslation.

1 mentions: @Maxwell_110
Date:

Referring Tweets

@Maxwell_110
@Maxwell_110 機械翻訳における数値翻訳精度の検証 📝 t.co/3Vvz6Uqge5 金融や医療等の分野では,一つの数字の誤訳が重大な問題を引き起こす可能性がある - Integers - Decimals - Numerals - Separators に関する 4 種類のテストをしたところ,4 つの主要なエラータイプが共通してみられたとしている t.co/0StM4hW2Ww

Related Entries

5.9 Shapley Values | Interpretable Machine Learning
Read more 5.9 Shapley Values | Interpretable Machine Learning
0 users, 1 mentions 2020/07/03 18:52
RSNA/ASNR/MICCAI Brain Tumor Segmentation (BraTS) Challenge 2021 |  CBICA | Perelman School of Medic...
Read more RSNA/ASNR/MICCAI Brain Tumor Segmentation (BraTS) Challenge 2021 | CBICA | Perelman School of Medic...
0 users, 1 mentions 2021/07/14 22:41
TF/JAX Tutorials - Part1 | Kaggle
Read more TF/JAX Tutorials - Part1 | Kaggle
0 users, 1 mentions 2021/08/23 22:37
Interpretable Machine Learning for Diversified Portfolio Construction | The Journal of Financial Dat...
Read more Interpretable Machine Learning for Diversified Portfolio Construction | The Journal of Financial Dat...
0 users, 1 mentions 2021/10/14 22:37
[1702.06355] Object Detection in Videos with Tubelet Proposal Networks
Read more [1702.06355] Object Detection in Videos with Tubelet Proposal Networks
0 users, 1 mentions 2021/12/16 22:40
[1904.03751] DeepGCNs: Can GCNs Go as Deep as CNNs?
Read more [1904.03751] DeepGCNs: Can GCNs Go as Deep as CNNs?
0 users, 1 mentions 2022/06/05 22:37

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました