LTIMindtree が AI 対応チャットボット機能を最適化

SigOpt を使用することで、事前トレーニングされた AI トランスフォーマーのベースライン・パフォーマンスを超える推論時間が最大 63% 向上しました。¹

LTIMindtree は、数十年にわたる深いエンジニアリング経験を持つインドの多国籍サービス・プロバイダーであり、新しい人工知能 (AI) テクノロジーを使用したアジャイルで包括的なエンタープライズ・ソリューションの提供を専門としています。LTIMindtree AI 製品シリーズにおいて、基本となるのは AI 搭載のコール・サマライザーで、コールセンターのテレフォン・オペレーターが完了した顧客との通話を要約するのを支援します。この複雑なタスクでは、AI モデルが最新であり、一貫して詳細レベルで改善される必要があります。LTIMindtree は顧客に優れた製品を提供できるよう、AI モデルのパフォーマンスと応答時間の改善に継続的に取り組んでいます。この事例では、AI ツールを使用して、より迅速かつ正確に通話を要約することを目標としています。

LTIMindtree にとって、通話の要約を改善するということは、個々の顧客で使用するために AI モデルを微調整することを意味しました。しかし、個々の顧客ごとに手動で AI モデルを微調整するのは時間がかかり、プロセスに運用上のボトルネックをもたらしました。LTIMindtree チームは、これらの課題を克服するツールを探し、SigOpt を使用して微調整ワークフロー全体を自動化することにしました。

AI モデルの制作を運用するための世界最高水準のソリューションである SigOpt を使用することで、Mindtree は運用コストの削減だけでなく、精度と推論時間の両面で大幅なパフォーマンスの向上を実現しました。この SigOpt 対応ワークフローは、最終的に、事前にトレーニングされた HuggingFace トランスフォーマー BART のパフォーマンスと比較して、推論時間を最大 63% 短縮しました。¹ さらに重要なのは、このモデルのパフォーマンスの向上が、より生産的な顧客体験につながったことです。

LTIMindtree は、顧客のニーズとデータに合わせた前衛的な AIモデルを使用して、業務の効率化を実現することに注力しています。今回の事例では、LTIMindtree のノウハウは、AI 対応の チャットボットが顧客の自発的な解約を減らし、ユーザー 1 人あたりの平均収益を増やし、費用対効果の高い顧客利便性を実現するといった、通信業界への応用を意図していました。顧客がチャットボットを利用する場合、長期的な顧客維持と人的支援の必要性を最小限に抑えるために、ポジティブで効率的かつ正確な体験である必要があります。³

チャットボットは、従業員の効率と生産性を向上させながら、迅速な解決を通じて、より良い顧客体験を提供するのに役立ちます。スピード、応答性、正確性が、顧客サービスを向上する鍵となります。通話の精度は通信事業者だけでなく、他のほとんどの顧客サービス環境と同様に、ROUGE(Recall-Oriented Understudy for. Gisting Evaluation) スコアで測定されます。

SigOpt と他のメソッドの比較

グリッド検索やランダム検索などの従来のハイパーパラメーター・チューニングの手法は、面倒で時間がかかります。LTIMindtree は、通話の応答と要約において、チャットボットのパフォーマンスを改善するようハイパーパラメーターを微調整する際に、この課題に直面しました。具体的には、チャットボット・エクスチェンジのパフォーマンスが大幅に向上するように、適切なディープラーニング・アーキテクチャーを選択したいと考えていました。次の実験を通じて、LTIMindtree は、SigOpt Intelligent Experimentation Platform がハイパーパラメーターの微調整を容易にするために適切なツールであるかどうかを判断しようとしました。

SigOpt Intelligent Experimentation Platform は、AI モデルを手動で解釈して最適化したり、LTIMindtree の既存のインフラストラクチャー内で複数のツールを組み合わせるのでなく、モデルに依存しないクラウドベースのソリューションによって、段階的に明確にしました。

図 1.SAMSum データセットを使用した AI モデルの微調整のための LTIMindtree によるワークフロー。

SigOpt は、ベイズなどのグローバル最適化アルゴリズムを組み合わせて AI モデルを最適化することで、コスト削減と時間短縮を実現すると同時に、モデルのパフォーマンスを向上します。SigOpt では、LTIMindtree の専門家は LTIMindtree の既存の環境とツールを使用して、数行のコードでモデル最適化実験を実施しました。SigOpt は、データ管理、最適化、分析、透明性、スケーラビリティを統合することで、モデラーはインテリジェントな実験専用に設計された統合ダッシュボードでを通じて、実行の追跡、トレーニング曲線の視覚化、ハイパーパラメーターの最適化を行うことができます。LTIMindtree では、実験の中で何が機能し、何が機能しなかったのか、何が行われたのか、さらに、異なるモデルがどのように機能していたのかなどについて、簡単に確認することができました。

プロジェクトに取り組む前に、LTIMindtree は、SigOpt 最適化アルゴリズムをハイパーパラメータ最適化の他の標準的なアプローチと比較することで、SigOpt に精通することを選びました。

比較のために、LTIMindtree はグリッド検索、ランダム検索、SciPy 最適化ライブラリを使用し、eggholder 関数でのパフォーマンスを比較しました。eggholder 関数は、最適化の文献の中で代表的な関数と考えられています。その結果を比較することで、SigOpt が他のアプローチと比較してより少ない反復回数で、どのように最適な値を見つけたのか、簡単な洞察が得られました。

図 2。LTIMindtree チームによるグリッド検索やランダム検索などの従来のチューニング手法の試行。この画像は SigOpt との結果の比較を表示。¹

さらに検証するために、LTIMindtree は多層パーセプトロン・モデルを使用して、MNIST データセットの画像分類を試みました

全体として、これら 2 つの テストケースを実行することで、LTIMindtree はこのプロジェクトをSigOpt で継続する自信を得ました。

モデリングとビジネス目的に合わせた適切なディープラーニング・アーキテクチャーの選択

ディープラーニング・モデルを構築する際に課題となるのは、適切なアーキテクチャーを選択することです。適切なアーキテクチャーを選択することは、最高のモデル・パフォーマンスを保証するだけでなく、生産開始に必要な要件を満たすアーキテクチャーを見つけることを意味します。LTIMindtree は SigOpt の有効性を検証した後に、このプラットフォームを使用して、顧客向けにどの AI トランスフォーマー・アーキテクチャーを使用すればよいか判断するための事例を構築するために役立てました。

適切なトランスフォーマー・モデル・アーキテクチャーを選択するために、LTIMindtree は GPU 対応マシンを使用して実験しました。モデル候補を特定するために、LTIMindtree は Hugging Face から Pegasus モデルと BART モデルの両方をテストしました。また、SAMSum Corpus データセットを抽象的な要約のために選択しました。

LTIMindtree の目標は、SigOpt Intelligent Experimentation Platform が新しくより優れたハイパーパラメータ値を選択し、トランスフォーマー・モデルを改善できるかどうかを理解するために、バッチサイズと学習レートを最適化する事前学習モデルを微調整することでした。

当初、LTIMindtree は評価損失を最小限に抑えることで、Pegasus モデルを最適化しようと試みました。初期の結果を見た LTIMindtree チームは、潜在的なモデル候補として Pegasus モデルを除外する確信を得ました。

Pegasus モデルを除外した後、LTIMindtree は BART モデルに注目しました。また、事前学習されたベースライン・モデルをよりよく比較するために、評価損失を見ることから、ROUGE スコア・メトリクスを見ることに切り替えました。ROUGE スコアには、異なる 3 つの形式があります。

• ROUGE 1 - 文中の一致ユニグラム数 / 文中の全ユニグラム数
• ROUGE 2 - 文中の一致バイグラム数 / 文中の全バイグラム数
• ROUGE L - 最長共通部分列 / 文中の全単語の長さ

メトリクスは、この事例では要約のために、真の文と生成文の差を測定するものです。基準として、LTIMindtree は事前学習された BART モデルを使用し、54.39 の ROUGE 1 スコア を得ました。また、これはチームが微調整のための重みの初期化に使用することを決定したモデルでもあります。

図 3。LTIMindtree のソリューション・ブロック図。

最終顧客の体験を最適化するための AI モデル制作の運用

通話内容の要約のために、事前学習された Facebook/BART-large-XSum モデルをベースモデルとして使用しました。このモデルは、抽象的要約のための人間によって注釈付けされた対話データセットである SAMSum Corpus データセットで微調整されました。ハイパーパラメータの最適化は、ROUGE スコアをパフォーマンス・メトリクスとして SigOpt を使用して実施されました。

ROUGE スコアの最大化と推論時間の最小化という 2 つを目標として、LTIMindtree は SigOpt の多機能最適化の高度な機能を使用して、可能なデザイン・ソリューションを視覚化しました。SigOpt のウェブ・アプリケーションを使用して、LTIMindTree は複数の実験を実行した後にこれらの 2 つの競合するメトリクスがどのように実行されるかを視覚化し、各メトリクスの組み合わせに最適な結果を視覚化するパレート・フロンティアを作成しました。ここから、LTIMindtree はモデルの生産に最も適した構成を選択することができました。

図 4. SigOpt の視覚化ツールによって提供される パレート・フロンティア。

SigOpt を使用した結果、LTIMindtree は AI モデルを最適化して、コンタクトセンター・ボットを通じて、63% 高速な応答性とより良いコール要約を達成しました。このモデルは、コール後の要約のタスクを自動化するだけでなく、一貫性と正確なテキストの要約を提供し、生産性とパフォーマンスを向上します。以下は、ベースライン・モデルの要約と SigOpt を使用して微調整されたモデルの要約です。

図 5. 微調整されたモデルの要約は、より簡潔で効率的である。¹

モデルの精度の向上と CPU パフォーマンスの大幅な向上により、推論を最大 63% 向上

顧客とのエンゲージメントに関するより簡潔な参照レポートを入手することは、あらゆる抽象的要約モデルの重要な達成基準です。通話時間によりますが、平均すると LTIMindtree では手動による要約抽出に 5 ～ 10 分かかり、人的エラーが発生する可能性があることが分かりました。さらに、効率性によって速度が向上することで、テレフォン・オペレーターは通話を次々に切り替えることができるようになりました。今ではチャットボットの応答性とエンゲージメント・サマリーの両方が、SigOpt との連携により、大幅に改善されました。

SigOpt は、業界では逆の傾向が続いているにもかかわらず、良好なパフォーマンスと推論時間の短縮が可能なモデルを見つけることができました。また、ここで示されている推論の改善は、ハードウェア・パフォーマンスの改善と相乗効果があることに留意してください。つまり、より効率的なプロセッサーにより、これらの進歩はさらに加速されます。参考のために、LTIMindtree が使用したインテルのハードウェア構成は、第 3 世代インテル® Xeon® プロセッサーでした。⁴ 次の結果は、この推論時間の短縮を表しています。⁵

SigOpt を使用した結果、LTIMindtree は、あるプロジェクトから次のプロジェクトへと知識を伝達するためのフレームワークを手に入れました。

図6.要約例を含む文字起こしファイル。

概要: LTIMindtree の将来的な使用事例に SigOpt の Intelligent Experimentation がもたらす価値

1. サンプルの効率化: ディープラーニング・モデルを構築するのに重要な要素は、パフォーマンスを最適化することです。グリッドサーチやその他のサンプル効率の低い最適化方法を使用する際、無限の計算リソースを適用することを避けるために、検索空間を絞り込むことが課題になることが多くあります。一方、SigOpt は可能な限りサンプル効率が良く、モデルを最適化するために必要な計算リソースを削減するよう特別に設計されたベイズ型およびその他の大域的最適化アルゴリズムのセットを提供しています。
2. 高度な実験機能: SigOpt は、モデラーがビジネスの目的にモデリングの目的を合わせるのに役立つさまざまな高度な実験機能を提供しています。これらの機能の 1 つは、マルチメトリクスによる最適化であり、モデラーは複数の競合するメトリクスを同時に最適化することができます。
3. 使いやすさ: SigOpt は、モデラーが今日行っていることに SigOpt を簡単に統合できる、使いやすいクライアント・ライブラリーを提供しています。さらに、直感的なウェブ・ダッシュボード体験により、ユーザーはアーティファクトを保存し、結果を視覚化し、モデリングチームの他のメンバーやその他の主要な関係者と緊密に連携することができます。
4. 標準化されたモデリング・ワークフロー: 同じく重要なのは、SigOpt は、モデリング・ワークフローを標準化し、モデラーがモデリング実験プロセスの開発に投資する代わりに、ドメインの知識を問題に適用することに集中できるため、モデル全体のパフォーマンスが向上することが挙げられます。

LTIMindtree の通信プロジェクトの目的は、コールセンターの自動コール応答と要約システムを最適化することで、オペレーターの時間を短縮することでした。目標は、より速く、スムーズで自然な応答を実現し、各エンゲージメントをより簡潔に要約するために、チャットボットの機能を改善することでした。

SigOpt Intelligent Experimentation Platform は、LTIMindtree が自動最適化による組織化された視点を通じて、チャットボットのパフォーマンスの改善を達成し、最適なカスタマイズなされた結果をもたらす実験を容易に見つけるのに役立っています。LTIMindtree は、選択したメトリクスを簡単に追跡し、どの最適化がこれらのメトリクスを最も良く達成したのかを視覚化することができました。この実験は、LTIMindtree がカスタマイズされたモデルとメトリクスを使用して、応答とエンゲージメントの要約の両方で、チャットボットのパフォーマンスを改善するために、最も適切なディープラーニング・モデル・アーキテクチャーを選択するのに役立ちました。

SigOpt を使用する前に、チャットボットが顧客の通話を要約するのに要した推論時間は、16.75 秒でしたが、SigOpt を使用することで、推論時間は、6.86 秒に短縮されました。5 この改善により、チャットボットの応答時間が短縮され、通信顧客への迅速な応答と日常業務における人間のオペレーターの時間が 50% 以上短縮され、通話中の顧客をサポートするための人間のオペレーターの時間が増加しました。また、エンゲージメントの要約は、顧客とのエンゲージメントを効率的に文書化するために、単語数を減らし、フレーズを滑らかにすることで、大幅に改善されました。

さらに、LTIMindtree は、チャットボットのパフォーマンスの改善だけでなく、SigOpt により実現された CPU パフォーマンスの大幅な向上という予期せぬメリットを体験しました。

最後に、LTIMindtree は、精度と推論時間の改善に関して測定された影響を受けて、現在と将来の顧客向けのマーケティング・カタログで、製品としてコールセンター向けの AI モデル最適化サービスを提供しています。

PDF をダウンロード ›