Python でpandasのto_csvで文字化けする件

pandas

所用があり、edinetからデータを落としてメモリー上でCSVに加工してS3にアップロードする作業を実施。CSVの加工はpd.to_csvでお手軽対応。

無事作業が完了したのでアップロードしたファイルを確認したところ文字化けが発生していた。

ありがちな話なので、ここは落ち着いてencodingを’utf-8-sig’に設定して実行したがうまくいかない。エンコーディングの形式を念のため他にしてみても改善せず。

仕方が無いので、pd.to_csvで作るのではなく、テキストから1行ずつ取り出してStringIOに書き出して作成することで対応。

海外のサイトもチェックしてみたが解決策は見当たらず。結局何が問題か判明せず。宿題。