山田 明

機械学習は，さまざまな課題においてデータに基づいてモデル構築を実現しているが，サイバー攻撃検知において正確なラベルが付与されないため高い精度を実現できない問題がある．本稿では，不確実なデータラベルを前提とした機械学習によるサイバー攻撃検知のための誤ラベル訂正手法を提案する．従来手法であるConfident Learningは，画像分類など汎用的なタスクにおいてクラスの組ごとに独立に誤ラベルが発生する場合に対応できる．しかしながら，サイバー攻撃検知においては，正例と負例の均衡がとれていない場合が多い．また，インシデントに基づいて運用者がラベル付けを行うため，時刻がずれることによって発生する誤ラベルが多い．本稿では，Confident Learningを拡張して，データセットの不均衡性と時刻のずれに対して頑強な誤ラベル訂正手法を提案する．提案手法の有効性を検証するために，公開されているCICIDS2017データセットおよび，企業ネットワークに設置された侵入検知システムのログを用いて評価した．その結果，提案手法は，従来手法に比べて高い精度で誤ラベルを訂正できることが分かった．また，侵入検知システムのログにおいて，ラベル時刻のずれを訂正できることを確認した． Machine learning has enabled model development based on data across various domains. However, in cyber-attack detection, the lack of accurate labels hinders high accuracy. This paper proposes a method for correcting mislabeled data in cyber-attack detection using machine learning, assuming uncertain data labels. Confident Learning, a conventional method, can handle situations where label errors occur independently within each class in general tasks such as image classification. However, in cyber-attack detection, there is often a significant imbalance between positive and negative labels. Additionally, since labels are assigned by operators based on incidents, mislabeling regarding time discrepancies frequently occurs. This paper proposes an extension of Confident Learning that provides a robust method for correcting mislabeled data, addressing both dataset imbalance and time discrepancies. To validate the effectiveness of the proposed method, we evaluated it using the publicly available CICIDS2017 dataset and logs from an IDS(Intrusion Detection System) deployed in an enterprise network. The results demonstrate that the proposed method can correct mislabeled data with higher accuracy compared to conventional methods. Furthermore, we confirmed that the method can correct time discrepancies in the labels within the IDS logs.

フィッシングのようなサイバー攻撃では，ユーザ自身による対策が求められる．セキュリティ教育において，フィッシングの場合は，攻撃の特徴を記憶し，それらとWebサイトを比較することによって攻撃を判断するように教育される．しかし，日々進化するサイバー攻撃への対策として，新しい攻撃手法を学び直し続けることはユーザの大きな負担となる．本稿では，大規模言語モデル（LLM：Large Largeage Models）によるセキュリティ対策における視覚的認知メカニズムのモデル化に向けた分析方式を提案する．近年，LLMは，人間のフィードバックによるファインチューニングによって因果推論タスクが可能になってきている．しかし，LLMは，言語によって記述されていないタスクの取り扱いが難しい．そこで，提案方式は，視覚的認知の情報を言語化することによって，LLMによる視覚的認知メカニズムのモデル化を目指す．提案方式の有効性を検証するために，フィッシングサイトと正規サイトをそれぞれ110件用いて評価を行った．その結果，大規模言語モデルと視覚情報だけを用いて，適合率98.2\%，再現率83.7\%の精度でフィッシングサイトを検知できた．さらに，フィッシング対策の文書をLLMに与えて判定過程を観察することによって，人間の認知メカニズムとLLMの振る舞いの関連性を調査した．また，フィッシング判定以外の複数のセキュリティ判定タスクに対するLLMの有効性を明らかにした．今後は，ユーザを狙うさまざまなサイバー攻撃に本手法を拡大して，視覚的認知メカニズムをモデル化することによってセキュリティ対策および教育への応用を検討する． Cyber attacks such as phishing require users to take their own countermeasures. In security education, in the case of phishing, users are taught to memorize the characteristics of the attack and to judge the attack by comparing the attack with the website. However, it is a heavy burden for users to keep learning and relearning new attack methods to counter cyber attacks that are evolving day by day. In this paper, we propose an analysis method for modeling visual cognitive mechanisms in security countermeasures using large language model. Recently, large language model have become capable of performing causal inference tasks through fine tuning with human feedback. However, large language model have difficulty in handling tasks that are not described by language. Therefore, the proposed method aims at modeling visual cognition mechanisms using language model by converting visual cognition information into language. To verify the effectiveness of the proposed method, we conducted an evaluation using 110 phishing sites and legitimate sites, respectively. The results showed that the proposed method was able to detect phishing sites with an accuracy of 98.2\% and 83.7\% using only a large language model and visual information.Furthermore, we investigated the relevance to human cognitive mechanisms by qualitatively comparing the phishing decision process with a large language model given an anti-phishing document. We also clarified the effectiveness of the model in phishing attacks other than phishing sites. In the future, we will apply the model to security attacks other than phishing to realize security countermeasures and education based on cognitive mechanisms.