Measuring FOMC Communication Shocks: a comparison of the dictionary and transformer-based text methods

Abstract

Este artigo compara três maneiras de medir o teor da comunicação do FOMC: um índice construído a partir de dicionário e dois classificadores de linguagem: BERT e FinBERT. Cada medida é ortogonalizada em relação à surpresa de juros e usada como variável explicativa para variações intradiárias dos juros dos títulos do Tesouro americano e dos preços das ações no entorno dos anúncios do comitê, por meio de projeções locais e de regressões de encompassing entre pares. A resposta varia conforme a classe de ativos. Nos juros de dois anos, o índice de dicionário carrega informação que não é capturada pelo BERT. No S&P 500 ocorre o oposto, com o choque derivado do BERT capturando a maior parte do efeito esperado. Não há, portanto, método uniformemente superior: a escolha do modelo de análise textual não é neutra e altera as conclusões empíricas sobre a comunicação do FOMC.

This paper compares alternative measures of FOMC communication based on a dictionary index, a fine-tuned BERT classifier, and a fine-tuned FinBERT classifier. Each measure is orthogonalized with respect to a conventional rate surprise and related to intraday movements in U.S. Treasury yields and equity prices around FOMC announcements using local projections and pairwise encompassing regressions. The results show that the relative performance of the methods depends on the asset class. For the 2-year Treasury yield, the dictionary-based shock contains information not captured by generic BERT. For the S&P 500, by contrast, the BERT-based shock encompasses both the dictionary and FinBERT measures across the horizons considered. Overall, the findings suggest that the choice of textual methodology matters for empirical conclusions about FOMC communication, and that no single approach uniformly dominates across asset classes.