なぜ新たなワークフローエンジンなのか

マイクロサービス環境で複数ステップのビジネスプロセスを実装すると、状態の永続化、リトライ、障害復旧といった課題に毎回向き合うことになります。従来はTemporal、Cadence、AWS Step Functionsのような中央オーケストレーションサービスを用意するのが一般的でした。しかしAirbnbは、各サービスが自身のワークフローを所有するアプローチを望みました。重要なサービスに追加の共有依存を持ち込まないためです。

そこで生まれたのがSkipperです。Skipperはサービス内部に組み込まれて動作するワークフローエンジンで、別途オーケストレーションクラスタを必要とせず、耐久性のある実行を可能にします。Apache 2.0ライセンスでGitHubに公開されています。

根拠資料: Airbnb Engineering Blog - Skipper is now open source

Skipperのコアアーキテクチャ

Skipperでは、サービスのレプリカがワークフローランタイムとスケジューラを一緒に実行します。一般的な本番デプロイでは、ワークフロー状態とスケジュールされた作業を保持するデータベースを共有します。スケジューラは実行可能なタスクをポーリングし、**リース(lease)**を用いて所有権を調整します。レプリカに障害が発生すると、別のレプリカが作業を引き継ぎます。

この構造の利点は、別途デプロイするシステムの数を削減できることです。ワークフロー実行、データベース容量、復旧の責任がサービスチームにあるという点はトレードオフです。堅牢な運用環境を持ち、既存のワークフロー方式に適応できるエンジンを求めるチームに適しています。

ワークフローはクラスである

Skipperの主要な抽象化は2つです。Workflowはオーケストレーション(意思決定、順序、待機)を記述し、ActionはAPI呼び出しやDB更新といった副作用を伴う作業を実行します。Skipperはアクションの結果を記録し、復旧時に再利用します。

以下は宿泊施設の公開プロセスを表現したKotlinの例です。一部の宿泊施設は公開前に人手によるレビューが必要で、その後ホストに通知を送ります。

class PublishListing : Workflow() {
    private val listing = actions()

    @StateField var reviewApproved: Boolean? = null

    @WorkflowMethod
    suspend fun publish(request: PublicationRequest): Boolean {
        if (request.requiresReview) {
            val reviewed = waitUntil(
                { reviewApproved != null },
                Duration.ofDays(1)
            )
            if (!reviewed || reviewApproved != true) return false
        }
        listing.publish(request.listingId, request.requestId)
        listing.notifyHost(request.listingId, request.requestId)
        return true
    }

    @SignalMethod
    fun recordReview(approved: Boolean) {
        reviewApproved = approved
    }
}

waitUntilはスレッドを占有せずにワークフローを**休止(hibernate)**させます。recordReviewシグナルを通じて、APIハンドラやキューのコンシューマがレビュー決定を渡すことができます。待機中に再デプロイが発生しても、永続化されたワークフローは失われません。承認が来なければ、タイマーによってワークフローが完了し、否定的な結果を返します。

各アクションは自身の副作用を**冪等(idempotent)**にする必要があります。例えば、安定したリクエストIDを用いて公開と通知をそれぞれ重複排除できます。Skipperはダウンストリームシステムの呼び出しをトランザクションでまとめません。

チェックポイントとリプレイによる復旧

Skipperが中断されたワークフローを再開するときは、ワークフローメソッドを最初から再実行します。永続化されたチェックポイントを持つアクションは保存された結果を返し、実行は残りの作業へと続きます。そのためには決定論的なワークフローコードが必要です。時計の読み取り、乱数、I/Oはワークフロー本体ではなく、アクションや明示的なチェックポイントに置くべきです。

デフォルトでは、Skipperは実行が完了するか、待機/リトライで一時停止するまでアクションチェックポイントをバッチにまとめます。これによりDB書き込みを削減できますが、バッチが永続化される前にクラッシュすると、以前に完了した複数のアクションを再実行する必要が生じる可能性があります。アクションが即時チェックポイントを要求することでこのウィンドウを狭められますが、ダウンストリームの効果とチェックポイントはアトミックではないため、副作用は**少なくとも1回(at least once)**発生します。

正常な実行パスでは、ワークフローはサービスプロセス内で直接実行され、アクション間で外部オーケストレーションサービスへの往復は不要です。もちろんDBアクセスやダウンストリーム呼び出しは依然としてレイテンシに寄与します。利点は、そのパスからオーケストレーション層を削除できることです。

耐久性はすべてのビジネス操作の成功を保証するものではありません。開発者がどのエラーをリトライ可能にするか、リトライポリシーをどうするかを定義する必要があります。永続的な失敗やリトライ枯渇は処理対象として表面化されます。Sagaスタイルの補償もサポートしているため、完了したステップに対する明示的な復旧作業が必要なプロセスに活用できます。

Skipperの適用範囲と限界

SkipperはすでにAirbnb内の複数チームで本番利用されています。JavaやKotlinのサービスが複数ステップのプロセスを所有し、既存のデプロイ環境内で耐久性のある実行を望む場合に適しています。特に新しいプロセスごとにカスタムリトライジョブ、状態テーブル、ポーリングループを維持する必要がある状況では代替となり得ます。

ただし注意点もあります。ワークフロー実行と復旧の責任がサービスチームにあるため、データベース容量管理や障害対応の運用負担が伴います。またリプレイベースのエンジンの特性上、ワークフローコードの決定論を常に維持する必要があり、副作用の冪等性も開発者が自ら保証しなければなりません。

次のステップ学習の方向性

Skipperを導入するには、まず既存のワークフローエンジン(Temporal、Cadenceなど)との違いを明確に理解するのが良いでしょう。公式ドキュメントとGitHubの例(Java、Kotlin、Spring Boot、Dropwizard)を参考に、小さなプロセスから適用してみてください。またSagaパターンと冪等性設計への理解を併せて深めると、実務適用がスムーズになります。

あわせて読みたい: Google TPU開発者ハブが正式リリース AIインフラ性能を最大化するすべて

参考: ブロックチェーンで追跡する持続可能な農業の実態

Server racks representing embedded workflow engine architecture in a service Programming Illustration

Skipperと既存ワークフローエンジンの比較

項目Skipper (組み込み型)中央オーケストレーション (Temporalなど)
実行場所サービス内部 (in-process)別クラスタ
追加インフラ不要 (既存DBを再利用)オーケストレーションサービスが必要
運用責任サービスチーム中央プラットフォームチーム
言語サポートJava, Kotlin多様 (Go, Java, Pythonなど)
復旧方式チェックポイント + リプレイイベントソーシングベース
適したチーム運用能力のあるサービスチーム中央管理が必要な組織

オープンソースリリースの構成

  • コアエンジン
  • MySQL、SQLiteアダプタ
  • テストユーティリティ (WorkflowTest)
  • 管理UI
  • シグナル、クエリ、リトライ、補償、ワークフロー進化プリミティブ
  • Skipper State Machine (Kotlin DSL)

今後、Postgres、DynamoDBなどのストレージプラグイン追加と、ワークフロー進化/リプレイデバッグツールの改善が計画されています。

Cloud infrastructure diagram showing durable execution and checkpointing System Abstract Visual

実務適用時の注意点

  • 決定論的コードの維持: ワークフロー本体に時計、乱数、直接I/Oを入れないこと。必ずアクションに分離します。
  • 冪等性の保証: すべてのアクションは再実行されても安全なように設計する必要があります。安定したリクエストIDを用いた重複排除が必須です。
  • チェックポイントバッチの理解: デフォルトのバッチはDB書き込みを削減しますが、クラッシュ時の再実行範囲が広がる可能性があります。重要なアクションは即時チェックポイントを要求しましょう。
  • 運用負担の認識: データベース容量と復旧をサービスチームが直接管理する必要があります。
  • 少なくとも1回の実行: 副作用は少なくとも1回発生するため、ダウンストリームシステムもそれに耐えられる必要があります。

Network of services with embedded workflow engine coordinating tasks Algorithm Concept Visual

結論: どのチームに適しているか

Skipperは「ワークフローエンジンをまた一つのインフラとして置くのではなく、サービスの一部として持ちたい」というチームにとって魅力的な選択です。すでに堅牢な運用環境とデータベース管理能力を持つJava/Kotlinサービスチームなら、カスタムリトライロジックや状態テーブルを維持する手間を大幅に削減できます。

逆に中央集中的なモニタリングとプラットフォームチームの支援が必要な組織では、既存のオーケストレーションサービスの方が依然として適しているかもしれません。重要なのは、アーキテクチャのトレードオフを明確に理解して導入することです。

Skipperに興味があれば、GitHubリポジトリでドキュメントと例を確認し、小さな内部プロセスから適用してみることをお勧めします。

本コンテンツは、信頼性の高い情報源をもとにAIツールを活用して作成され、編集者によるレビューを経て公開されています。専門家によるアドバイスの代替となるものではありません。