zehnpaard https://blog.hatena.ne.jp/zehnpaard/ Arantium Maestum https://zehnpaard.hatenablog.com/ Python 言語処理系 前回まで見てきたBacktrackingパーサ、Packratパーサは「これまで見たすべてのトークン」をメモリ上のバッファに保持し続け、それらに対してのパース結果もすべてキャッシュに残し続ける実装になっていて、パース終了直前にはソースファイルのすべてのトークンがメモリに乗っている状態になってしまう。 実際にはバックトラックする予定がない場合、現在地以前にあるバッファのトークンを消してしまってもなんの問題もないし、それに対応するパース関数のキャッシュも削除できる。今回はその修正の話。 計測 まずparse関数をいじってパース終了時にtokens.bufferをプリントするようにする： def p… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fzehnpaard.hatenablog.com%2Fentry%2F2021%2F09%2F17%2F110944" title="PythonでLanguage Implementation Patternsのパーサと戯れる　Packratパーサのメモリ効率化 - Arantium Maestum" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-09-17 11:09:44 rich https://zehnpaard.hatenablog.com/entry/2021/09/17/110944 1.0 100%