yossylx https://blog.hatena.ne.jp/yossylx/ LayerX エンジニアブログ https://tech.layerx.co.jp/ 機械学習 機械学習エンジニアの吉田です。本記事では、LayoutLMv3*1というモデルをバクラクで取り扱っている帳票で事前学習を行い、それをファインチューニングして項目推定タスクに取り組んでいる話をご紹介します。 背景 LayerXで提供しているバクラクでは帳票をアップロードするだけで支払金額や支払期日などを自動で読み取り補完してくれるOCR機能があります。このOCR機能には大きく2つの処理があります。 帳票に書かれている文字列を認識し検出すること 検出された文字列から支払金額や支払期日などの項目を推定すること 2つ目の項目推定において現在はRoBERTa*2というモデルを使っています。RoBERTa… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.layerx.co.jp%2Fentry%2F2023%2F10%2F02%2F132854" title="バクラクのデータセットを用いたLayoutLMv3による事前学習 - LayerX エンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yossylx/20230926/20230926155343.png Hatena Blog https://hatena.blog 2023-10-02 13:28:54 rich https://tech.layerx.co.jp/entry/2023/10/02/132854 1.0 100%