ナード戦隊データマン

機械学習, 自然言語処理, データサイエンスについてのブログ

2019-12-18から1日間の記事一覧

aws-parallelclusterでslurmを使う

AWS parallelclusterとは、AWSでハイパフォーマンスコンピューティング(HPC)を実行するための環境です。slurmはワークロードを管理するためのツールで、分散実行したいジョブを管理します。今回は、paracrawl/extractorというツールの分散実行を例にします。…