PokerSnowie について

PokerSnowie のポーカー知識

PokerSnowie は人工知能（AI）ベースのノーリミットホールデムポーカーのためのソフトウェアです。ノーリミットホールデムポーカーにおいて、 ヘッズアップゲームからフルリングゲーム（10人）まで、ショートスタックからディープスタック（400BB）まで、プレイ方法を身につけています。

PokerSnowie のベース

PokerSnowie は人工ニューラルネットワークに基づいています。それらのニューラルネットワークは、 人間の脳に見られるような生物学的ニューラルネットワークに基づく数学的モデルであります。 生物学では、脳のニューロンがどのように働き、どのように学習が行われるかを正確に説明することにはほど遠いが、 いくつかの原理を数式として表現することができたので、人工ニューラルネットワークが得られるようになったのです。

人工ニューラルネットワークの考え方は、１９４３年（ウォーレン・マカロックとウォルター・ピッツ）に始まり、 今日では多くのアプリケーションで非常にうまく使用されています。ニューラルネットワークを使用することは、 多くの業界や分野での基準になってきています。しかし、テキサスホールデムは隠された情報の持つ非常に複雑な マルチプレイヤーゲームであるため、その学習アルゴリズムを設計することが難題でした。 リミットヘッズアップゲームにおいては、コンピュータはベストのプロポーカープレイヤーと同じくらいよくできると 知られていますが、今どき最も流行りの（最も複雑な）フルリングゲームにおいては、 人工知能（AI）ベースのソフトウェアを誰もが開発することができませんでした。PokerSnowie が誕生するまでは。

PokerSnowie の初期トレーニング

最初は、PokerSnowie は完全にランダムにプレイしました。プレイするにつれて、成功したべット戦略がどんどん強まっていて、 一方失敗したアクションもAIにより覚えていて減少しました。例をあげますと、リバーでは、弱いハイカードを持ってコールするにはほとんど負けてしまうので、 PokerSnowie はそのようなハンドではあまりコールしなくなります、しかし、スリーカードの場合はコールして勝ちがほとんどだからこのアクション方式が強化されていきます。

多くの人々は、コンピュータがブラフのような「心理的」的なものを学ぶことができることに驚いています。実は、これは PokerSnowie が最初に習得したことの一つです。 ある特定のシナリオでブラフがよく成功したとみられると、この行為は強化されていきます。PokerSnowie もブラフをよく使うことになります。

専門知識がない

PokerSnowie の戦略には専門知識はありません。それはトレーニング開始の当時には不利であることが判明しました。 フルハウスのような強いハンドも PokerSnowie は無作為にプレイして、フォールドされたりしていました。 フォーカードやストレートフラッシュはまれにないハンドなため、うまくプレイするには特に困難でした。 人間の認知と PokerSnowie の認知に大きな違いが見られます。人間は、フォーカードはほとんど毎回勝つほど 非常に強いハンドでフォールドすべきではないと知っていてるのに対して、経験の浅い PokerSnowie にとっては それがただの知らないハンドで適正なアクションを出すのが非常に難しいことです。PokerSnowie は徐々に正しい戦略に向けていくしかできません。 もちろん、ニューラルネットワークではこのようなハンドのプレイ方法を習得するには簡単です、ただし、時間はかかります。

その一方、PokerSnowie には、最も良いと思うことを習得するための完全な自由を与えることは、特別な利点があります。 もし戦略が決められたら、その戦略が PokerSnowie により改善されることはありません、まして決められた戦略は最初から間違った時もあります。 完全自由のアプローチの一番いいところは、PokerSnowie がプログラマーよりもはるかに優れたポーカープレイヤーになり、世の中の大多数よりも優れたプレイヤーになれることです。

PokerSnowie のバランスのとれたゲーム戦略への道

トレーニングの初期段階が過ぎて、PokerSnowie は基本的なことを学びました。弱いハンドはフォールドし、よいハンドはコールし、ブラフを使ったり、 収益を獲得します。PokerSnowie の戦略は既に良いポーカープレーヤー並みです。しかし、戦略は依然としてバランスを取れていませんでした。例えばブラフを使いすぎたこと。 それを相手に利用されて、弱いハンドでコールやレイズされて長期的には多くの利益を取られることになります。

次の最も重要なトレーニング段階は、よりバランスをとれるようになることです。PokerSnowie は、戦略を可能な限り活用しようとして PokerSnowie から最大限収益をとるエージェントとプレイ対戦し続けます。 PokerSnowie のブラフが少ない場合、エージェントのコールも少なくなり、PokerSnowie は良いハンド時の収益も少なくなります。PokerSnowie のブラフが多い時、エージェントもより多くコールし、 より積極的にレイズします。 PokerSnowie は、ハンドレンジを絶えず調整することで、エージェントと対戦します。PokerSnowie はこのようなトレーニングを通じて、バランス戦略と実力をどんどん進化していきます。 結果として、エージェントは PokerSnowie から収益を取れることがどんどん難しくなってきました。

PokerSnowie は定期的に人工知能（AI）をアップデートします。バージョンアップで、大規模なコンピュータクラスタでのトレーニングと洗練されたアルゴリズムの使用による新しい学習と経験が適用されます。 それによって、PokerSnowie は、より多くの状況下で、より適正なアドバイスを下しことができるようになっています。
アップデートの詳細は PokerSnowie の SNS から確認できます。

PokerSnowie は完璧？

特定のゲームを徹底的にプレイするシステムを作るには、そのゲームを徹底的解決する必要があります。つまり、巨大なデータベースを作って、そのゲームのあらゆる可能な状況下の正しいアクションデータを保存する必要があります。 ノーリミットホールデムの場合、一状況一シナリオになり、配られたカード、各アクション、ポットのチップ数、ベットサイズなどあらゆるデータを含みます。想像するだけで分かるように、 その複雑さは現在のコンピュータの力ではもちろん、おそらく百年後のコンピュータの力でも処理できないかもしれません。

PokerSnowie はニューラルネットワークを使って、与えられた状況下で適切なアクションを評価します。ニューラルネットワークはよく補間することができるので、二種類の状況下を対処方法を学習したら、前のと似た状況の新しい第三種の状況下でもうまく対処することができます。

とはいえ、原理的には、ニューラルネットワークは完璧ではなく、学習状況や補間された状況で間違った結果を生じることもあります。その意味では、PokerSnowieは完璧なシステムではなく、理論的にはほかの完璧なシステムに負けてしまいやすいシステムです。

明らかに間違いの例

PokerSnowie は何十億ものハンドをプレイしてきており、そのニューラルネットワークに非常に良い直感を構築しております。99.9% のポーカー状況下では、その直感だけで十分です。 しかし、例外もあり、大体は、我々プレイヤーは直感の代わりに確率を計算してアクションする時、勝率を簡単に見極めてオールインするときに起きます。

次の例を見ます。

我々プレイヤーが Player2 の場合、アクションを簡単に出せる状況です。
１．勝率を計算する
・フラッシュを作るには、アウツ9枚
・ストレートを作るには、アウツ3枚（1枚の5は上で数えられた）
・6か8でツーペアを作ると勝率50％、アウツ6枚×50％＝アウツ3枚
よって、カードのオッズは31:15で、約2:1
２．ポットのオッズを計算する
Player2 は53を勝ち取るために33をコールしなければならないので、オッズは1.6:1
最終結果は明らかです。ポットオッズは2:1以上でないとオッズが合わないだが、実際オッズは1.6:1しかないので、Player2 はフォールドすべきです。

PokerSnowie には異なるアプローチがあり、我々のような計算は行いません。ニューラルネットワークは、対戦相手がオールインを行ったこと、自分はフラッシュドローとストレートドローのこと、 割と大きいベットサイズに直面していることなどを確認した結果、上記の場合は、小さなコールがいけるという結論を出します（小さい誤り）。

設計における不足

PokerSnowie を設計する際、簡素化のために、いくつか工夫したところがあります。
１．特定の状況で全カードレンジに対して、ベットサイズが単一
基本的に、ハイステークスのプロプレイヤーは全て、特定の状況で一つのベットサイズしか使いません。例えば、プリフロップレイズでは、ホールカードが AA でも QJ でも、 ベットサイズは同じになります。そうすると、ベットサイズだけでは自分のハンド強弱を相手に読まれる心配はありません。 AA は常に多くベットし、QJ は常に少なくしているプレイヤーは相手に用意にハンドを読まれてしまうので、結局早く負けてしまいます。
しかし理論的には、異なるレンジは異なるベットサイズというのをバランスの取れた戦略でプレイすることができます。 これは単一のベットサイズのほうより多少はいいと思われているが、この理論的なアプローチは複雑すぎて、PokerSnowie にとっても、我々プレイヤーにとっても実用的ではありません。

２．0.5ポット、1.0ポットまたは2.0ポットのように個別的なベットサイズのみ対応
PokerSnowieは、3つのベットサイズから選択するか、オールインにするかしかできません。0.5ポット~1ポットのベットサイズを選ぶプレイヤーも少なくないので、 PokkerSnowie にも追加していく予定です。特定の状況で、0.75ポットが最善のべットサイズになることが事実ですが、我々のシミュレーションでは、 この選択肢がなくても、特に問題がありません。ほとんどの場合、正確なベットサイズが果たす約割るは期待されるよりはるかに少ないのです。 一つの理由としては、ベットサイズが違うとレイズレンジも違ってくるからです。PokerSnowie は、0.5ポットまたは1.0ポットのレイズに対して、異なるハンドレンジにしているため、 それぞれの状況下のEVは全体的近いのです。0.75ポットの場合、もっと中間的なハンドレンジを構築する必要があるが、全体的な EV から見れば、0.5ポットや1.0ポットの場合と大差がありません。

３．相手が明らかに非 GTO 的なアクションをした時でも不正確な評価を出す
相手が明らかに非 GTO 的なプレイをした場合、間違った思われるアクションを取った場合、PokerSnowie により間違って評価される場合があります。 これは、相手が大きなオーバーベット（3倍以上のポット）でオールインするとき、またはハンド進行中大きなオーバーベットが行われたときに特に見られます。
これが不足だということが分かっていますが、大きな問題ではないと思われます。PokerSnowie は適切なかつバランスの取れた GTO 戦略を教えることや、 EV ロスや搾取されることに繋がるミスプレイを診断してアドバイスを出すことが主な役とするトレーニングソフトですから。 また、これからのアップデートにてこの問題を改善する予定です。

非常に安定的なプレイ

学習では、ミスしたアクションと失敗したべットは、EV をロスすると同時に、ニューラルネットワークにも大きな影響を与えます。 ニューラルネットワークは致命的なミスを避けようと試みながらそれに応じて調整を行います。その結果、PokerSnowie は特定の シナリオ下での絶対的な正しいプレイ、特定のアクションは絶対に行われてはならないなどについて非常にうまく把握しています。 PokerSnowie は、絶望だからといって間違ってコールやレイズしないし、気分が斜めだからミスプレイをすることもありません。 逆に、原則のあるプレイをして、簡単に EV をロスしないようにしています。

我々プレイヤーと比べて、それだけでも大きな利点になります。プロであっても、大きなミスを行うことは少なくありません。 彼らは、時々同時に多くのテーブルでプレイしていて、全てのハンドに完全に集中することができなくなります。または、 数秒で決断を下さなければならないときもあります。大体は、自分のミスプレイは事後になって初めて意識して、そして PokerSnowie のアドバイスに賛成します。

非常にバランスのとれたプレイ

PokerSnowie は常にエージェントの搾取から自分を守る必要があります。戦略の一部がバランスが崩れるたびに、エージェントによって搾取されてしまいます。 PokerSnowie は一つのハンドに集中することなく、すべてのゲームに対して、適正なハンドレンジを構築していきます。例えば、どのような状況でも、 全体的なハンドのフォールド率は高くしてはいけない、でないと相手に利用されて弱いハンドでもレイズして利益を獲得することになります。同時に、 PokerSnowie は相手の強いハンドにあまりに多くのロスを避けるようにしています。また、べットやレイズの時にバランスが非常に重要、ブラフと期待値が合わない場合、大損失になるかもしれません。
とにかく、PokerSnowie は非常にバランスのとれたプレイをしています。

相手に読まれにくい

PokerSnowie がなぜ読まれにくいのかには、二つの原因があります。 PokerSnowie は本当に強いハンドを持っているのでしょうか、結局はベストハンドをフォールするのでしょうか？
まず一つ目、ベットサイズによってはハンドを判断できません。ハンドレンジ全体に同じベットサイズが使用されて、実際のハンドがブラフなのかモンスターなのかは、ベットサイズに影響しません。 二つ目は PokerSnowie のバランスを取れたプレイにあります。PokerSnowie がチェックする場合、ハンドレンジが広すぎるので読みません。べットやレイズの場合、ブラフと期待値のバランスも完璧だから読みません。

すべての考えられる戦略を習得した

PokerSnowie には、どんな思いつく戦略を学ぶ自由があります。専門家のルールやその他の制限はありません。それが故、PokerSnowie は理論的に知られているすべての概念と戦略を学び、衝撃的な戦略集合を作れました。 次は PokerSnowie の習得した一部の戦略です。うちのいくつかは、その他で詳しく紹介されます。

• ブラフ：PokerSnowie の明白なコンセプト。ブラフはしばしば効果が出るので、PokerSnowie が最初に学んだことの一つでした
• チェックレイズ：チェックレンジが正しくバランスを取れていればうまく使える基本的な原則
• スロープレイ：ファストプライだと相手を怖がらせるから、PokerSnowie は時々強いハンドでスロープレイをする
• セミブラフ：ブラフに使用するハンドが選べるなら、PokerSnowie はベストになるにはアウツがるハンドでブラフの代わりにセミブラフを仕掛ける
• ブラフを誘導する：PokerSnowie は我々プレイヤーよりも頻繁にチェックをするので、相手が弱い場合はポットを大きくする
• ブラフを誘導する：PokerSnowie はほとんどの人間よりも頻繁にチェックし、相手が弱い場合はポットを大きくします。
• ポットコントロール：中ぐらいのハンドでポジションがない場合、PokerSnowie はよく受動的なプレイをするが、それはそれでポットサイズがほどよくコントロールされる
• インプライドオッズ：PokerSnowie はインプライドオッズを意識しているので、勝率が低いがインセンティブオッズが高いハンドを好むことがある
• ポジション意識：フルリングゲームはプリフロップはまるでポジションゲーム。PokerSnowie はポジションに応じて劇的に戦略を変化してプレイする
• フロート：特定の状況では、PokerSnowie は驚くほど弱いハンドでコールする。その理由は、その後のラウンドでブラフはうまくいくことが多いから
• ベットサイズ：PokerSnowie は、具体的な状況に応じてベットサイズを調整する。ポジションがある場合とない場合、確認ベットや強さを示すベットを行う場合、違うベットサイズが選ばれる。
• ドンクべット：普通、PokerSnowie はドンクベットが好みではないが、特定の状況下ではこの手も使う
• ブロッキングベット：PokerSnowie はこの珍しいコンセプトをも学んだ。通常、ベットはバリューバットか（セミ）ブラフのいずれかであるが、場合によっては中ぐらいの強さのハンドでは相手のブラフを避けてベットサイズを設定するためブロッキングベットを行う
• カード除去効果：特にプリフロップで、PokerSnowie はリリレイズされる可能性は所持するホールカードにもよることが学びました。したがって、ブロッカーのあるハンドの場合ブラフレイズ（A5s の場合、相手が AA または AK を所持する機会を減らす）をすることが好きなのだ

まとめ

PokerSnowie は完璧なプレイしているのではないが、全体からみれば、その不足なところは EV を少量しかロスしないことが分かります。 PokerSnowie の強みはこれらを十分カバーできるし、PokerSnowie は最先端の人工知能ベースのテキサスホールデム向けのソフトウェアだけではなく、世界最高レベルのプロのポーカープレイヤーにも劣らないほどだと確信しております。

PokerSnowie のバランスの取れたポーカースタイルは、ローステークからハイステークスまであらゆる種類の相手に対してうまく機能します。初心者でもプロでも、PokerSnowie の戦略と基本的な概念を学ぶことによって、大きなメリットを得ることができるでしょう。