miu4930 https://blog.hatena.ne.jp/miu4930/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ こんにちは、CCCMKホールディングス技術開発の三浦です。 最近寒い日が続いています。寒いと温かい飲み物が欲しくなりますが、近ごろは緑茶を飲むようになりました。お湯を入れたらすぐに飲むことが出来る粉末タイプのものもあって、気軽に楽しむことが出来ます。 今回の記事は分散処理フレームワークSpark周りについて調べた内容です。普段深層学習モデルの分散学習をDatabricksを通じ、Sparkクラスタで行っています。その中で最近少し引っかかっていたのが画像やテキストなどのモデル学習用データを読み取る処理がボトルネックになっている点でした。この部分をどう改善すれば良いのかなかなか分かりませんでした。… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2023%2F01%2F31%2F095610" title="Parquet+Petastormを使って画像分類モデルをSparkで学習させてみました！ - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/miu4930/20230131/20230131090239.jpg Hatena Blog https://hatena.blog 2023-01-31 09:56:10 rich https://techblog.vpoint.co.jp/entry/2023/01/31/095610 1.0 100%