gfx https://blog.hatena.ne.jp/gfx/ Islands in the byte stream https://gfx.hatenablog.com/ github.com digdag の構文を追加するにあたって、Ruby製syntax highlighterであるところのRougeのlexerの開発方法を調べました。 基本 Rouge lexerはDSLで定義します: https://github.com/jneen/rouge#using-the-lexer-dsl lexerはステートマシンとして振る舞うので、ただのキーワードマッチより遥かに強力で文脈を考慮した字句解析を行えます。 tokenの種類は token.rb に定義されているので、実際の出力はこれを見ながらふさわしいtoken typeを当てていくことになります。 また、l… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgfx.hatenablog.com%2Fentry%2F2017%2F06%2F03%2F154021" title="rougeのlexer開発ワークフロー - Islands in the byte stream" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/g/gfx/20170603/20170603153140.png Hatena Blog https://hatena.blog 2017-06-03 15:40:21 rich https://gfx.hatenablog.com/entry/2017/06/03/154021 1.0 100%