Skip to content

Commit

Permalink
Migrate entries of dictionary_oss/aux_dictionary.tsv to dictionary_ma…
Browse files Browse the repository at this point in the history
…nual/words.tsv

* words.tsv uses the middle cost of the same POS words.
* If the middle cost works well, no base entries are required.
* It simplifies the process of vocabulary management.

#typequality
#codehealth

PiperOrigin-RevId: 649623860
  • Loading branch information
hiroyuki-komatsu committed Jul 5, 2024
1 parent 4c5ab14 commit 8d3a297
Show file tree
Hide file tree
Showing 6 changed files with 266 additions and 117 deletions.
1 change: 1 addition & 0 deletions src/data/dictionary_manual/BUILD.bazel
Original file line number Diff line number Diff line change
Expand Up @@ -30,4 +30,5 @@
exports_files([
"domain.txt",
"era.txt",
"words.tsv",
])
101 changes: 101 additions & 0 deletions src/data/dictionary_manual/words.tsv
Original file line number Diff line number Diff line change
@@ -0,0 +1,101 @@
# key value pos
あいしんかくら 愛新覚羅
あさごはん 朝ごはん 名詞
あさごはん 朝ご飯 名詞
あそうわん 浅海湾 固有名詞
いっきょうたじゃく 一強他弱 名詞
いとしの 愛し野 地名
いりなか 杁中 地名
うっぷんばらし 鬱憤晴らし 名詞サ変
うとろ 宇登呂 地名
うらしべつ 浦士別 地名
うらめん 裏面 名詞
えいえいじてん 英英辞典 名詞
えとんびやま 江鳶山 地名
おくぶたえ 奥二重 名詞
おんねない 音根内 地名
おんねべつ 遠音別 地名
かいかい 回回 固有名詞
かいごかんせい 下位互換性 名詞
かいていこう 改訂稿 名詞
かくしゃ 覚者 名詞
かっくみ 活汲 地名
かねのなるき 金のなる木 名詞
からだき 空焚き 名詞サ変
かんじょうば 勘定場 名詞
かんりめいがら 監理銘柄 名詞
ききん 木禽 地名
きそう 寄贈 名詞サ変
きんとれ 筋トレ 名詞サ変
くうしゅうごう 空集合 名詞
くわたけいすけ 桑田佳祐 人名
けっていこう 決定稿 名詞
こういしつ 更衣室 名詞
こうじょ 扣除 名詞サ変
こうばいりょくへいか 購買力平価 名詞
こきゅう 枯朽 名詞
こんせ 今世 名詞
こんぜ 今世 名詞
こんせい 今世 名詞
さいしゅうこう 最終稿 名詞
さかもとりゅういち 坂本龍一 人名
さきむい 崎無異 地名
さぶすく サブスク 名詞サ変
さんこうにんしょうち 参考人招致 名詞サ変
じきしょうそう 時期尚早 名詞形動
ししゅう 歯周 名詞
しっちゃく 失着 名詞サ変
じってんぽ 実店舗 名詞
しゅうせいこう 修正稿 名詞
じょういごかんせい 上位互換性 名詞
しんしょかいふうざい 信書開封罪 名詞
しんせん 深圳 地名
せいりめいがら 整理銘柄 名詞
ぜんざいさん 全財産 名詞
そうけつ 倉頡 人名
そうけつ 蒼頡 人名
そっかん 速乾 名詞サ変
たいしょうがい 対象外 名詞
たいしょうない 対象内 名詞
たいせつ 堆雪 名詞サ変
たごうら 田子浦 固有名詞
たちあらい 太刀洗
たちあらい 太刀洗 地名
たようそにんしょう 多要素認証 名詞サ変
たんろくでんち 単6電池 名詞
たんろくでんち 単六電池 名詞
ちえんべつ 知円別 地名
でびあん デビアン 固有名詞
とうよ 党与 名詞サ変
とっくつ 突厥 固有名詞
とっけつ 突厥 固有名詞
とっぷし 富武士 地名
にだんかいうせつ 二段階右折 名詞サ変
にだんかいにんしょう 二段階認証 名詞サ変
にっぽんじゅう 日本中 名詞
にほんじゅう 日本中 名詞
にようそにんしょう 二要素認証 名詞サ変
はいたしょり 排他処理 名詞サ変
ばうんしゃ 馬運車 名詞
ひかりの ひかり野 地名
ひともうけ 一儲け 名詞サ変
ひゃっきん 百均 名詞
ひらぶん 平文 名詞
ふいふい 回回 固有名詞
ふたつ 不達 名詞サ変
ふもうご 不妄語 名詞
ほじょう 圃場 名詞
ほっけ 𩸽 名詞
ほんじ 翻字 名詞サ変
みどり 美禽 地名
むえき 無益 名詞形動
むびゅう 無謬 名詞
むびゅうせい 無謬性 名詞
むやく 無役 名詞形動
もどりち 戻り値 名詞
やくたたず 役立たず 名詞形動
らのべ ラノベ 名詞
りねーむ リネーム 名詞サ変
りまいんど リマインド 名詞サ変
りゅうこうごたいしょう 流行語大賞 名詞
れいわ 令和 固有名詞
4 changes: 4 additions & 0 deletions src/data/dictionary_oss/BUILD.bazel
Original file line number Diff line number Diff line change
Expand Up @@ -101,11 +101,15 @@ genrule(
srcs = [
":aux_dictionary.tsv",
":base_dictionary_data",
":id.def",
"//data/dictionary_manual:words.tsv",
],
outs = ["aux_dictionary.txt"],
cmd = ("$(location //dictionary:gen_aux_dictionary) " +
"--strict --output $@ " +
"--aux_tsv $(location :aux_dictionary.tsv) " +
"--id_def $(location :id.def) " +
"--words_tsv $(location //data/dictionary_manual:words.tsv) " +
"--dictionary_txts $(locations :base_dictionary_data)"),
tools = ["//dictionary:gen_aux_dictionary"],
)
Expand Down
101 changes: 0 additions & 101 deletions src/data/dictionary_oss/aux_dictionary.tsv
Original file line number Diff line number Diff line change
@@ -1,109 +1,8 @@
# key value base_key base_value cost_offset
でびあん デビアン うぶんつ ウブンツ 0
かねのなるき 金のなる木 きんのたまご 金の卵 0
かいごかんせい 下位互換性 ごかんせい 互換性 0
じょういごかんせい 上位互換性 ごかんせい 互換性 0
とっけつ 突厥 ひがしとっけつ 東突厥 0
とっくつ 突厥 ひがしとっけつ 東突厥 0
かいかい 回回 かいぞく 回族 0
ふいふい 回回 かいぞく 回族 0
れいわ 令和 へいせい 平成 0
みにおぼえ 身に覚え みにおぼえ 見に覚え -1
たごうら 田子浦 たごのうら 田子の浦 0
あそうわん 浅海湾 あそうわん 浅茅湾 1
たちあらい 太刀洗 たちあらい 大刀洗 -1
よろしくおねがいします よろしくお願いします よろしくおねがいします よろしくおねがいします -1
えいえいじてん 英英辞典 こくごじてん 国語辞典 0
まめまめしい 忠実忠実しい まめまめしい まめまめしい 1
ほんじ 翻字 ほんやくさぎょう 翻訳作業 0
あさごはん 朝ごはん あさごはん 朝ゴハン -2
あさごはん 朝ご飯 あさごはん 朝ゴハン -1
さかもとりゅういち 坂本龍一 さかもとりゅういち 坂本竜一 -1
やくたたず 役立たず ふよう 不要 0
むえき 無益 ふよう 不要 0
むやく 無役 ふよう 不要 0
むびゅう 無謬 ごびゅう 誤謬 0
むびゅうせい 無謬性 ごびゅう 誤謬 1
しんせん 深圳 しんせん 深セン -1
しんせんし 深圳市 しんせんし 深セン市 -1
ふたつ 不達 ふざい 不在 0
からだき 空焚き からやき 空焼き 0
ししゅう 歯周 しこう 歯垢 0
そうけつ 倉頡 りし 李斯 0
そうけつ 蒼頡 りし 李斯 0
いだす 出だす みだす 見出す 0
みいだす 見出だす みいだす 見出す 0
さんこうにんしょうち 参考人招致 しょうにんかんもん 証人喚問 0
きそう 寄贈 きぞう 寄贈 0
ひらぶん 平文 あんごうぶん 暗号文 0
うっぷんばらし 鬱憤晴らし うさばらし 憂さ晴らし 0
こういしつ 更衣室 しちゃくしつ 試着室 0
にようそにんしょう 二要素認証 めーるにんしょう メール認証 0
たようそにんしょう 多要素認証 めーるにんしょう メール認証 0
きんとれ 筋トレ ふっきん 腹筋 0
おくぶたえ 奥二重 ふたえまぶた 二重瞼 0
にほんじゅう 日本中 くにじゅう 国中 0
にっぽんじゅう 日本中 くにじゅう 国中 0
じってんぽ 実店舗 あきてんぽ 空き店舗 0
うらめん 裏面 りめん 裏面 0
にだんかいうせつ 二段階右折 うせつ 右折 0
にだんかいにんしょう 二段階認証 めーるにんしょう メール認証 0
ひともうけ 一儲け かねもうけ 金儲け 0
ひゃっきん 百均 ざっか 雑貨 0
こうじょ 扣除 こうじょ 控除 5000
りゅうこうごたいしょう 流行語大賞 ほんやたいしょう 本屋大賞 0
たんろくでんち 単6電池 たんごでんち 単5電池 0
たんろくでんち 単六電池 たんごでんち 単五電池 0
ふもうご 不妄語 もうご 妄語 0
ぜんざいさん 全財産 ざいさん 財産 0
さぶすく サブスク さぶすくりぷしょん サブスクリプション 0
ばうんしゃ 馬運車 ゆそうしゃ 輸送車 0
しんしょかいふうざい 信書開封罪 ぎしょうざい 偽証罪 0
あいしんかくら 愛新覚羅 いおきべ 五百旗頭 0
らのべ ラノベ しょうせつ 小説 0
こんせ 今世 こんき 今期 0
こんぜ 今世 こんき 今期 0
こんせい 今世 こんき 今期 0
こきゅう 枯朽 ふきゅう 不朽 0
こうばいりょくへいか 購買力平価 こうばいりょく 購買力 500
たいせつ 堆雪 はいせつ 排雪 0
りねーむ リネーム りむーぶ リムーブ 0
はいたしょり 排他処理 はいたせいぎょ 排他制御 0
じきしょうそう 時期尚早 せっそく 拙速 0
そっかん 速乾 かんそう 乾燥 500
かんりめいがら 監理銘柄 めいがら 銘柄 500
せいりめいがら 整理銘柄 めいがら 銘柄 500
いっぽん 一本 いっこ 一個 0
ほじょう 圃場 ほじょう ほ場 0
うとろ 宇登呂 うとろ ウトロ 1
ひかりの ひかり野 うとろ ウトロ 0
ちえんべつ 知円別 うとろ ウトロ 0
おんねべつ 遠音別 うとろ ウトロ 0
さきむい 崎無異 うとろ ウトロ 0
うらしべつ 浦士別 うとろ ウトロ 0
えとんびやま 江鳶山 うとろ ウトロ 0
とっぷし 富武士 うとろ ウトロ 0
かっくみ 活汲 うとろ ウトロ 0
みどり 美禽 うとろ ウトロ 0
ききん 木禽 うとろ ウトロ 0
いとしの 愛し野 うとろ ウトロ 0
おんねない 音根内 うとろ ウトロ 0
りまいんど リマインド りむーぶ リムーブ 0
くわたけいすけ 桑田佳祐 かものちょうめい 鴨長明 0
しっちゃく 失着 せいちゃく 正着 0
さいひんち 最頻値 ちゅうおうち 中央値 0
くうしゅうごう 空集合 ちゅうおうち 中央値 0
たいしょうがい 対象外 ようといがい 用途以外 0
たいしょうない 対象内 ようといがい 用途以外 0
かいていこう 改訂稿 しょこう 初稿 0
けっていこう 決定稿 しょこう 初稿 0
さいしゅうこう 最終稿 しょこう 初稿 0
しゅうせいこう 修正稿 しょこう 初稿 0
いっきょう 一強 いちきょう 一強 0
いっきょうたじゃく 一強他弱 いっきとうせん 一騎当千 0
もどりち 戻り値 かえりち 返り値 0
ほっけ 𩸽 かれい 0
かんじょうば 勘定場 てっかば 鉄火場 0
かくしゃ 覚者 いんじゃ 隠者 0
とうよ 党与 さんよ 参与 0
いりなか 杁中 しおがまぐち 塩釜口 0
6 changes: 3 additions & 3 deletions src/data/dictionary_oss/evaluation.tsv
Original file line number Diff line number Diff line change
Expand Up @@ -185,7 +185,7 @@ FAILED: あらいながらもこんごにきたい 洗いながらも今後に
OK: かうかちがあるとおもうなら 買う価値があると思うなら Conversion Expected 買う価値があると思うなら 2.26.4596
OK: みにおぼえのない 身に覚えのない Conversion Expected 身に覚えのない 2.26.4596
OK: まめまめしい まめまめしい Conversion Expected 2 忠実忠実しい 2.26.4596
FAILED: さかもとりゅういち 坂本竜一 Conversion Expected 坂本龍一 2.30.5432
OK: さかもとりゅういち 坂本龍一 Conversion Expected 坂本龍一 2.30.5490
OK: あさごはん 朝ごはん Conversion Expected 2 朝ごはん 2.26.4610
OK: ひるごはん 昼ご飯 Conversion Expected 2 昼ごはん 2.30.5432
OK: とっけつ 突厥 Conversion Expected 突厥 2.26.4596
Expand All @@ -202,7 +202,7 @@ OK: しんせん 新鮮 Conversion Expected 9 深圳 2.28.4702
OK: ふたつ 2つ Conversion Expected 9 不達 2.28.4730
OK: からだき 空焚き Conversion Expected 2 空焚き 2.28.4730
OK: ししゅう 刺繍 Conversion Expected 9 歯周 2.28.4750
OK: そうけつ 倉頡 Conversion Expected 9 倉頡 2.30.5432
OK: そうけつ 総穴 Conversion Expected 9 倉頡 2.30.5490
OK: あかつきにふねをいだす 暁に船を出だす Conversion Expected 暁に船を出だす 2.28.4770
OK: さいのうをみいだす 才能を見出す Conversion Expected 2 才能を見出だす 2.30.5432
FAILED: いっぴょう 一瓢 Conversion Expected 2 一票 2.28.4880
Expand Down Expand Up @@ -249,7 +249,7 @@ OK: らのべ ラノベ Conversion Expected ラノベ 2.28.5000
FAILED: なごやとばし 名古屋鳥羽市 Conversion Expected 名古屋飛ばし 2.30.5490
OK: こんせ 今世 Conversion Expected 9 今世 2.28.5000
OK: こんぜ 今世 Conversion Expected 9 今世 2.28.5000
OK: こんせい 今世 Conversion Expected 9 今世 2.28.5000
OK: こんせい 混成 Conversion Expected 9 今世 2.30.5490
OK: ふくじょし 副助詞 Conversion Expected 2 副助詞 2.28.5050
FAILED: らっぷ ラップ Conversion Expected 9 乱舞 2.28.4990
OK: こきゅう 呼吸 Conversion Expected 9 枯朽 2.28.5000
Expand Down
Loading

0 comments on commit 8d3a297

Please sign in to comment.