>Top 2. Cohesity Thesis (2025/1):
<Exploring the benefits of secure, AI-ready data; It's time to bring your data into the future.>
- Introduction:
- In the past few years, we’ve heard all about AI and its promised benefits, largely around increasing productivity and replacing menial tasks. But the power of AI is growing rapidly and organizations are already using it in a wide range of industries, including healthcare, finance, transportation, and technology, among others. In 2022, the global AI market was valued at $428 billion. It’s projected to surge to $2 trillion by 2030. If this seems outrageous, consider the growth of Open AI and ChatGPT in under a year. According to OpenAI, ChatGPT gained over one million users in just five days after its November 2022 launch. AI is here to stay and it’s no longer a future technology, as tech companies are announcing new AI products and integrations every day.
- What are the benefits of AI to large global enterprises?:
At Cohesity, we’re looking at AI through a data security and data management lens. And that’s really where we see AI as a game changer. For example, we can secure your data with AI-powered early threat detection so you can get more value from your backed up data by exposing zero cost clones*1 to your AI and ML workflows - whether your data sits in a data center, or a public or private cloud. AI can help you differentiate your business, driving growth and improving customer outcomes.
- Data and AI:
- Data is an essential aspect of AI. It’s the fuel that provides context to AI algorithms and vectors. But AI models are only as good as the data they’re trained on, and the quality of this training data can significantly impact the validity, effectiveness, and power of the model. If the data available to AI models is biased or inaccurate, the model may produce biased or inaccurate results.
- AI models also require ongoing access to new data to continue learning and improving over time. This is why
data is so important to AI’s development and deployment. Organizations that invest in collecting, storing, and analyzing high-quality data are better positioned to use AI’s power to gain a competitive advantage.
- In today’s modern, distributed architecture, though, collecting, collating, and leveraging data from workflows across an organization’s data estate can be complex. Organizations are generally running infrastructure in a variety of locations, spanning private data centers, single or multiple clouds, SaaS applications hosted by other organizations, and edge locations like stores, IoT devices, and more.
- They’re routinely storing petabytes*3 (or more) of data without classifying, indexing, or tracking it. This unstructured data is often referred to as “dark data,”*4 which Gartner defines as “the information assets organizations collect, process and store during regular business activities, but generally fail to use for other purposes (for example, analytics, business relationships and direct monetizing).”
- This dark data represents a missed opportunity. Organizations can’t gain insights and make informed decisions, dramatically reduce their data costs,or secure and protect this data—because they
don’t even know it exists.
- RAG (Retreval Augmented Generation):
- In the era of AI, off-the-shelf*5 trained large language models (LLMs) have emerged as a powerful tool for generating human-like responses. But most existing knowledge-grounded conversation models rely on out-of-date materials. They’re limited in their ability to generate knowledgeable responses that could involve proprietary*6 or domain-specific information.
- The introduction of retrieval augmented generation (RAG) models can overcome this challenge. RAG models combine the strengths of LLMs with the ability to retrieve information from multiple sources. RAG not only enables LLMs to generate more knowledgeable, diverse, and relevant responses, but also offers a more efficient approach to fine-tuning these models.
- At Cohesity, we’re working on providing robust and domain-specific context to RAG-driven AI systems through our patented SnapTree and SpanFS architectures. By leveraging this robust file s＝ystem, we’re making our platform ‘AI ready’ for RAG-assisted LLMs through an on-demand index of embeddings that will be provided just-in-time to the AI application requesting the data. We also secure the data through our role-based access control (RBAC*16) models.
- Our patent-pending retrieval-augmented response generation technology currently under development accepts a user- or machine-driven input—such as a question, or a query*7. That input is then used to filter the petabytes of an enterprise’s backup data to filter down to a smaller subset of data. It then selects representations from within those documents or objects that are most relevant to the user or machine query. That result is packaged, along with the original query, to the LLM to provide a context-aware answer. This innovative approach ensures that the generated responses are relevant to the enterprise’s domain-specific content.
- Innovative RAG-driven AI systems like ours will present a unique opportunity for technology and business executives to leverage the power of data-driven insights and enhance the quality of conversations across various platforms. Harnessing the power of our data protection and data management capabilities, enhanced by AI, helps organizations unlock new levels of efficiency, innovation, and growth.
- Getting more from stored data:
- In the same way backup data is stored and can be searched for threat analysis,
it’s also AI ready and contains metadata*8 that can be used with LLMs. When a person asks questions about the data through the LLM, the model provides human-readable responses. Using authoritative data sources backed up on Cohesity can help ensure more accurate, actionable responses to user or machine queries.
Since we index all backup data, APIs*9 will return context-aware responses in a highly performant way that doesn’t use up too much compute power.
- Indexing*10 and instant search with Cohesity:
- We’ll also take a differentiated approach to storing and indexing massive amounts of data, enabling organizations like yours to instantly search across your entire data estate. With Cohesity instant search, you can quickly search for and locate specific data and find the information you need. You don’t have to manually search through large amounts of data.
Think of it this way: Say you’re a lawyer and you want to research information from a case your firm litigated years ago. You could pull out boxes and dig through them to find the brief in question, like a needle in a haystack. Soon, you could simply use an AI chatbot to query the data that already lives on Cohesity.
- With our holistic view of data over time, you can search decades-old data, instantly, and see different variations of it during different periods. Other companies store data without indexing file and object metadata and have limited history available (only days) for searching or changes.
- The Cohesity Data Cloud offers:
- Data aggregation and unification:
We aggregate data from different sources and data types, including on-premises, cloud, and edge locations. This makes it easier to analyze and grant secure access to data for AI applications and identify patterns, trends, and anomalies that may not be visible in siloed data, while also dramatically reducing or eliminating dark data. Using backup data that’s indexed*10 and aggregated allows you to leverage AI in a highly performant way.
- Data optimization:
We efficiently deduplicate and store data in compact structures which can be fortified with appropriate metadata that makes search more robust.
- Data protection:
We provide enterprise-grade backup, recovery, and disaster recovery capabilities—including a way to isolate data in a virtual air-gapped environment*11 so a known clean copy can be retrieved and restored in the event of a cyberattack. Organizations can get back up and running quickly using instant mass restore (IMR) to instantly recover thousands of VMs, databases, files and other data. This data is available, resilient, and recoverable when needed—which is critical for
AI applications that rely on large volumes of data.
- Data security:
Our comprehensive data security proactively detects threats within data to identify anomalies, like possible malware, using security threat feeds.*12 Data classification*13 can identify where sensitive and critical data sits, and cyber vaulting*14 ensures if an attack happens the blast radius is mitigated. AI applications continue running to help ensure that business operations don’t stop, even in the event of an attack or disaster.
- Data access:
Our granular role-based access controls (RBAC*16) for backup data helps prevent users from accessing data they don’t have permissions for, like sensitive data (patient data/PII, trade secrets, financials, and more). This approach applies to AI, where the AI model only queries data and provides responses that align to users’ permissions.
- CONCLUSION
- AI is poised to be the next big disruptor in today’s macro business*17 environment - from streamlining operational processes to transforming customer experience via new data insights-driven*18 services. And that’s just a start. At Cohesity, we’re focusing on the power of AI to improve data protection and security via advanced threat and anomaly detection. We create AI-powered backups that are fully hydrated*19 and ready for nearly instant zero cost cloning, and safe from harm, too - turning data backups into treasure troves of data insights.
- Glossary:
- RAG (Retrieval augmented generation) is a NLP*20 technique that combines the benefits of retrieval-based and generative-based approaches to improve the quality of text generation tasks, such as question-answering, summarization, and conversational AI.
- Generative AI uses algorithms to generate new content (written content, images, video, audio, and computer code, etc...) based on user input. Unlike earlier versions of AI, generative AI can create new content, like news articles, poetry, or cyber threat analyses presented in a conversational UI.
- Conversational AI simulates human conversations through natural language processing (NLP) and related techniques such as transformers*21. It can interpret user input and generate appropriate responses based on an understanding of the user’s intent.
- Cognitive AI aims to replicate human cognitive abilities such as perception, reasoning, problem-solving, and decision-making. It uses ML, NLP, and related techniques to create intelligent systems that can learn and improve based on interactions with users and the environment.
- Retrieval AI involves searching and retrieving information from large datasets. It uses techniques such as NLP and ML algorithms to understand the intent of a user’s query and retrieve the most relevant results from a database.
- Attention = Query + Key +Value
By examining the relationship between Query and key, and determine which key be focused on and then understand the information you want.
|
2. Cohesityの論文 (2024/1):
<AI対応の安全なデータのメリットを探求>
- 序文:
- ここ数年、AIによる生産性向上と単純作業の置き換えが言われてきた。AIの急速な能力向上にともない、すでに医療･金融･輸送･技術の業界が使用されている。2022年のAI市場は4280億ドルで、2030年には2兆ドルに達すると予測。
- 過去１年足らずでOpen AIとChart AIが急成長した。ChatGPTは 2022/11の発表後、5日感で100万人以上のユーザを獲得。もはや未来の技術ではない。
- グローバル企業にとってのメリット:
Cohesityは、AIをGame changerとみなしている。AIを活用した早期脅威検知によってデータを保護できるので、Data center, Public cloud, Private cloudいずれかに関係なく、コストゼロのcloneをAIおよびML work flowに公開することで、バックアップされたdataから多くの価値を引き出せる。AIは、ビジネスの差別化・成長・顧客成果の向上に役立つ。
- DataとAI:
DataはAIの重要な側面である。それはAI algorithmsとvectorに補給する。AIモデルの良否は、trainingに使用したdata次第であり、モデルの有効性に影響する。AIモデルに使用するdataが偏っていたり不正確だと、Modelも同様に偏ったり不正確な結果を生成する。
- Aiモデルは、改善するために、新データに継続的にアクセスする必要があるので、データがAIにとって非常に重要である理由である。高品質のデータを収集･保存･分析に投資する組織は、AIの力を使うことで競争優位を獲得する。
- 今日の分散architectureでは、組織のデータ資産前回からデータを収集･照合･活用することは複雑になる。組織は通常、私的なData center、複数のCloud、他組織のSaaS、店舗やIoTデバイス等のEdgeなど、様々にインフラを構築し実行している。
- 企業は、PetaByte 以上のデータを分類･Index･追跡なしで日常的に保管している。この非構造データはDark dataと呼ばれる。Gartnerの定義によれば"組織は業務を通じて収集･処理･保存するが、通常は他目的 (分析･関係性･収益化) には使用できない情報資産"としている。
- このDark dataは機会損失でもある。組織はその存在も知らず、情報に基づく意志決定もせず、データコストの削減もそのセキュリティの確保もしない。
- RAG (検索拡張生成):
- AI時代には、すでにLLM(大規模言語モデル) が、人間のような応答をするツールとして登場している。しかし、それはホントは古いデータに依存している。企業固有の情報や専門領域の応答を生成するには限界がある。
- RAG
モデルがこの課題克服のために導入された。RAGは、LLMの長所とさらに複数源から情報を得る機能を組み合わせている。RAGによりLLMはおり知識豊富で関連性のある応答を生成できるだけでなく、これらのモデルを精緻する効果的なアプローチも提供される。
- Cohesistyでは、SnapTreeおよびSpanFS architectureを通じて、RAG駆動型AIシステムに堅牢で専門的なcontextを提供することに取り組んでいる。このfile systmを活用することで、我々のplatformはRAG支援のLLMとして'AI対応'したのは、データを要求するAIアプリにjust=in-timeで提供される埋め込みのon-demand indexを通じてである。 またroleベースのアクセス制御 (RBAC) モデルを通じてデータも保護される。
- 我々のRAG技術 (特許出願中)は、ユーザやマシンによる質問やQueryの入力を受け付ける。その入力は、企業のPeta Byteに及ぶデータをフィルター処理して、より小さなデータのsubsetに絞り込む。次に、そのQueryに最も関連性の高い対象の中から表現を選択する。その結果は元のQueryと共にLLMにパッケージ化され、contextを理解した回答を提供する。この革新的なアプローチによって、生成された高騰が企業の専門的な内容に関連することが保証される。
- 当社の革新的なRAG駆動形AIシステムは、技術や経営陣に、データ駆動型の洞察力を活用して様々なplatform間での対話の質を高めるユニークな機会を提供する。この活用によって、組織は効率･革新･成長の新たなレベルを目指せるよう支援する。
- 保存データからより多く情報を得る:
- Back upデーアは保存され、リスク分析のために検索でき、さらにAI対応でLLMで使用可能なメタデータも含まれる。人がLLMを通じたデータについて質問をすると、モデルは人が読める応答をする。Cohesity にバックアップされた信用できるデータソースを利用すると、ユーザやマシンのQueryに対してより正確で実用的な応答を行うことができる。全ての大量にバックアップデータを指標(Index)化しているので、APIはあまりコンピューティング能力を消費しないで、高いパフォーマンスでcontextを認識して応答する。
- CohesityによるIndex作成とインスタント検索:
- Cohesityは、大量データの保存とIndex作成に差別化されたアプローチで、顧客がデータ資産全体を瞬時に検索努力ようにする。インスタント検索を使用すると特定データの検索して迅速に見つけることができる。もはや大量データを手動で検索する必要はなくなる。
- もし弁護士で、何年も前に会社が訴訟した事件の情報を調べたい場合があれば、それは干し草の中の針を探すようなもので、多くの箱の中から該当の書類を掘り出す必要がある。今後は、AI chatbotを利用してCohesityがすでに保存しているデータをquaryできるようになる。
- Coesityの Data Cloudサービス:
- データの集約と統合:
我々はデータをOn-premise、Cloud, Edge locationなど種々なソートとデータ型からデータを集約する。これにより、AIアプリのデータを分析して、安全なアクセスを許可し、サイロ化されたデータでは見えないパターン･傾向･異常を特定でき、Dark dataを大幅に削減できる。Index化され集約されたback up dataを使用すると、AI活用がパフォーマンスが非常に高まる。
- データの最適化:
データの重複を効率的になくし、コンパクトな構造で保存する。この構造は、適切なメタデータで強化するので検索が堅牢になる。
- データ保護:
企業レベルのバックアップ、リカバリィ、災害復旧機能を提供する。これは、virtual air-gapped環境というデータを分離する方法も含まれており、サイバー攻撃が発生した場合には、既知のクリーンなコピーを取得して復元できる。会社組織は、Instant mass restore (IMR)を使用して数千のVM、DB、ファイルその他のデータを即時に復元し西海道できる。このデータは必要に応じて利用可能で回復力があり復元可能である。これは大量のデータに依存するAIアプリにとって必須である。
- データ・セキュリティ:
当社のData securityは、Security thread feedを利用して、データ内の脅威を事前に検知し、Malwareの可能性などの異常を特定する。データ分類により、機密データや重要データがどこに保存されているかを特定できる。
またCyber vaultingにより、攻撃が発生した場合でも影響範囲が緩和される。またAIアプリは実行を継続し、攻撃や災害が発生した場合でもビジネス運用を停止しないようにする。
- データアクセス:
Back up data に対する精緻な役割ベースのアクセス制御(RBAC)により、機密データ (患者データ/PII、企業機密、財務情報等)に権限のないデータにアクセスするのを褒美できる。この方法は、AIに適用され、AIモデルはデータのQueryのみを実行し、ユーザ権限に合わせた応答を提供する。
- 結論:
- AIは今日のマクロビジネス環境において運用プロセスの合理化から、新しいデータinsight主導のサービスによる顧客体験の偏角まで、次の破壊的変化をもたらす存在になりうするある。 これは始まりにすぎない。 Cohesityは、高度な脅威と異常の検知によってデータ保護とSecurityを向上させるAIのちからに注力して、AIを活用したBack upを作成している。このBackupは高度化されており、ほぼ瞬時にコスト零でcloneを作成でき、損傷からも無害である。これによりData backupはData insightの宝庫となる。
- 用語集:
- RAG (検索拡張生成):
検索ベースと生成ベースのapproachの利点を組み合わせて、質問応答･要約･会話型AIなどのtest生成タスク位の品質を向上させるNLP技術。
- 生成AIは、Algorithmを使用してユーザ入力に基づいて新たなcontets (文章･画像･映像･音声･code等)を生成する。従来のAIとは異なり、生成AIは、会話型UIで表示される新たなcontens (記事･詩･Cyber脅威分析等)を作成できる。
- 会話型AIは、NLPとtransformerなどの関連技術を通じて、人間の会話をsimulationする。ユーザの入力を解釈し、ユーザの意図を理解した上で適切な回答を生成することができる。
- 認知AIは、知覚･推論･問題解決･意思決定などの人間の認知能力を再現することを目的とする。ML, NLP等の関連技術を利用して、ユーザや環境との応答に基づいて学習･改善ができるintelligent systemを作成する。
- 検索 AI では、大規模なdata setから情報を検索･取得しする。NLP や ML algorithum等の技術を使用して、ユーーのQueryの意図を理解し、DBから最も関連性の高い結果を検索する。
- Attention = Query + Key +Value
Query とKeyの関係を掲載に、どのKeyに着目すべきか判断し、最終的に得たい情報のない及び報をを理解する。 |
- 米国San Joseの情報技術会社 2013創立
- Zero copy lone:
create table table_A clone
tabel_A_clone
によって
table-Aのstorage層にあるだたを参照する新たなtable-A-cloneを容易するだけで、data storageをそのまま利用する。
- a
- PB =1000 TB
- dark data:
dark =hidden from knowlege
Cf: dark matter
- off-the-self:
在庫の; 特別あつらえでない
- proprietary:
独占権をもつ
- query:
DBから情報をと取り出すためのコンピュータ言語
- metadata:
データを定義する高次のデータ; データ項目･形式･桁数など
- API:
Application Programming Interface
- Indexing:
予め指定したkeyword(統制語やcheck tag)に基づいてデータ本体とは別に自動的に検索データを作成する機能。
- Virtuual Air-gapped environment:
thiou connected, these virtual instances are shielded from each other, preventing unauthorized access and malware spread.
･従来のair-gap (Tape,やOffline media) によってrestore時間が増加しdown timeによるコストが増加する。Back up copyを受信する間のNW接続中に攻撃を受ける可能性がある。Logical air-gapはback upをOLに維持しながらできるのでair gapとしては最適。
- Thread feed:
攻撃者のIP address や公開されているmalware siteのURLリストを予め取り込むことで通信をブロックし、SSLの復号化が不要となる。
- Data callifi-cation:
データの機密性に基づいてデータを分類する(access権限、保存や転送の際の保護policy等)
- Cyber vault (storage):
RTOとRPOの達成のため
1)データ隔離 2)隔離データのアクセス逝去 3)データの改竄防止 4)データの損失とdown timeの最小化
- WORM =Write Once, Read Many techonology
一度書き込んだdataは消去･書換できない追記型の記憶方式
- RBAC =Role Base Access Control; 一つまたは複数の役割を各ユーザに割りあえて、各役割の異なる権限を付与することでaccessを逝去する
Cf: ABAC =Attribute Based Access Control 属性に設定された情報でaccess 制御する
- macro business: Control不能な外部環境 (政治･経済･社会･技術)
- data insight-driven:
戦略的で十分なdataに基づく意思決定を行う情報
- hydrated copy: Data objectの完全なreplica
- NLP (Natural Language Processing 自然言語処理)
- transformer:
重要な情報に着目(attention)して翻訳するalgorithum.
|