ソリューション · ワークロード
静かに壊れないパイプライン。
複数ステップのチェーン——モデルを呼び、コマンドを実行し、インデックスに照会する——を、バージョン化・チェックポイント付きのステップグラフとして。止まった場所から再開します。
状況
どこが痛いか。
夜間ジョブは、静かに壊れて大声で直されるスクリプトのチェーン。再試行ロジックは3か所に散在し、状態はどこにもなく、最後の実行が実際に何をしたか誰も知りません。
quark では
ここではこう動く。
チェーンをワークフローとして書きます——ゲートウェイ経由でモデルを呼び、サンドボックスでコマンドを実行し、インデックスに照会し、待ち、分岐する。
更新は新しいイミュータブルなバージョンを公開。ステップは実行中にチェックポイントを打つので、中断は再開を意味し再起動ではない。すべての実行をひとつのタイムラインで見て、終わらせないものはキャンセル。
使う部品
誰が仕事をするか。
すべてのシナリオはカタログに存在する製品に対応しています——どのピースでもそのページまでたどれます。
チェックポイントとキャンセル可能な実行を伴う宣言的ステップグラフ。
モデル呼び出しはグラフの中の第一級ステップ。
本物の計算を必要とするコマンドのための、封じ込められた実行。
インデックスの再構築は、誰かのマシンのスクリプトではなく、再実行可能なワークフローとして。
ちょうど 4 個の製品が仕事をします——その下で Foundation は常にオン。