Python memory_profilerで実行中のメモリ消費量を確認する

#Memory#Python

Pythonプログラムを実行中、メモリが足りなくなったので、どこでどれくらい消費しているかチェックします。

memory_profiler

memory_profilerというライブラリを使います。 まずはpipでインストール、

pip install memory_profiler

  使い方は簡単で、

import memory_profiler
 
@profile
def hoge():
...
return

  このように関数の前に@profileと記述し、プログラムの実行時に、

python -m memory_profiler hoge.py

とすれば良いです。   試しに2.21GBのXMLファイルを読み込んでみたところ、7700Mib ≒ 8GBメモリを消費していることがわかりました。

参考