Python memory_profilerで実行中のメモリ消費量を確認する
Pythonプログラムを実行中、メモリが足りなくなったので、どこでどれくらい消費しているかチェックします。
memory_profiler
memory_profilerというライブラリを使います。
まずはpipでインストール、
pip install memory_profiler
使い方は簡単で、
import memory_profiler @profile def hoge(): ... return
このように関数の前に@profile
と記述し、プログラムの実行時に、
python -m memory_profiler hoge.py
とすれば良いです。
試しに2.21GBのXMLファイルを読み込んでみたところ、7700Mib ≒ 8GBメモリを消費していることがわかりました。