データナード

機械学習と自然言語処理についての備忘録 (旧ナード戦隊データマン)

2019-10-29から1日間の記事一覧

zipporahにLID+overlapスコアを追加する

機械翻訳のデータの質を大きく下げる要因として、言語の誤り、単語のオーバーラップがあります。 概要 zipporahスコアへの組み込み方 zipporahスコアはロジスティック回帰の決定関数を出力しています。この決定関数の最小値よりも小さな値を、「言語の不一致…