TOC(制約理論)によれば、ボトルネックの能力以上に全体のスループットは上げられない。
大量データの並列処理もジャストインタイムに次工程へ投入できなければ結局遊休リソースが増えるだけである。ならば要求とは非同期に回答を受け取れるようにして、待ち行列へ入った要求を空いているリソースが処理するようにすれば、ボトルネックを通る量を増やさずに個々の応答速度は上げられるだろう。
と思ってトライしているのだが、受け取った回答が誰からの要求に対する物なのか判別して制御する部分が複雑になってしまったら本末転倒、そこが新たなボトルネックとなってしまう。また、全ての回答が出揃ったことを関知する仕組みが必要となり、とすると要求自体は時系列順次に受け入れるべきなのかもしれない。
一筋縄ではいかんもんだな。