zehnpaard https://blog.hatena.ne.jp/zehnpaard/ Arantium Maestum https://zehnpaard.hatenablog.com/ Python 言語処理系 パーサを作るにあたってまずはlexerから。 lexerと簡単なパーサで共通しているのは「消費可能なストリームの先頭を『消費することなく』先読みする必要がある」という点。lexerだと入力の文字のストリーム、パーサだとlexerの返すトークンストリーム、と対象は異なるがどちらも「先読み」が必要。 Peekable Pythonのストリームであるiteratorは__next__で消費しないと次の要素が何かわからない。iteratorを拡張してpeekが可能なクラスをまず定義する： class Peekable: def __init__(self, input_, k, sentinel=No… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fzehnpaard.hatenablog.com%2Fentry%2F2021%2F09%2F07%2F064930" title="PythonでLanguage Implementation Patternsのパーサと戯れる　lexerとPeekableストリームオブジェクト - Arantium Maestum" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-09-07 06:49:30 rich https://zehnpaard.hatenablog.com/entry/2021/09/07/064930 1.0 100%