[1908.10063] FinBERT: Financial Sentiment Analysis with Pre-trained Language Models

Financial sentiment analysis is a challenging task due to the specialized language and lack of labeled data in that domain. General-purpose models are not effective enough because of the specialized language used in a financial context. We hypothesize that pre-trained language models can help with this problem because they require fewer labeled examples and they can be further trained on domain-specific corpora. We introduce FinBERT, a language model based on BERT, to tackle NLP tasks in the financial domain. Our results show improvement in every measured metric on current state-of-the-art results for two financial sentiment analysis datasets. We find that even with a smaller training set and fine-tuning only a part of the model, FinBERT outperforms state-of-the-art machine learning methods.

1 mentions: @Maxwell_110
Date:

Referring Tweets

@Maxwell_110
@Maxwell_110 FinBERT 📦 t.co/MDrJ3YxAd7 金融テキストのセンチメント分類(positive・neutral・negative)が可能な BERT 系モデル ロイターのコーパスで再事前学習し,FinancialPhraseBank(センチメントデータ)で下層の学習率を抑えつつ Fine-tuning している Paper ➡︎ t.co/3APS1zxI1I t.co/L7WvlD8Ckk

Related Entries

Kaggle APTOS 2019 @ U-Tokyo Med - Speaker Deck
Read more Kaggle APTOS 2019 @ U-Tokyo Med - Speaker Deck
0 users, 1 mentions 2020/12/07 12:52
HuBMAP - Hacking the Kidney | Kaggle
Read more HuBMAP - Hacking the Kidney | Kaggle
0 users, 1 mentions 2021/04/14 10:49
RSNA-MICCAI Brain Tumor Radiogenomic Classification | Kaggle
Read more RSNA-MICCAI Brain Tumor Radiogenomic Classification | Kaggle
0 users, 1 mentions 2021/08/09 09:08
[1703.10025] Flow-Guided Feature Aggregation for Video Object Detection
Read more [1703.10025] Flow-Guided Feature Aggregation for Video Object Detection
0 users, 1 mentions 2021/12/23 22:37
Multilingual Translation via Grafting Pre-trained Language Models - ACL Anthology
Read more Multilingual Translation via Grafting Pre-trained Language Models - ACL Anthology
0 users, 1 mentions 2022/02/08 22:37
[1711.08447v4] VITON: An Image-based Virtual Try-on Network
Read more [1711.08447v4] VITON: An Image-based Virtual Try-on Network
0 users, 1 mentions 2022/05/22 22:37

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました