非構造化データ

右|サムネイル|350x350ピクセル|1956年、バージニア州アレクサンドリアにあるアメリカ国立公文書記録管理局の軍事記録センターにて、ナチス・ドイツから押収された未整理の記録非構造化データ（ひこうぞうかデータ、または非構造化情報、英語:Unstructured Data）とは、事前に構造定義されたデータモデルを持たない、または事前に定義された方法で整理されていない情報のことである。非構造化情報は通常、テキストが中心であるが、日付、数値、事実などのデータが含まれることもある。このため、データベース内のフィールド形式で保存されたデータや、文書内で注釈付け（セマンティックタグ付け）されたデータと比較して、不規則性や曖昧さが生じ、従来のプログラムを使用して理解することが困難になる。

1998年、メリルリンチは「非構造化データは組織内で見つかるデータの大部分を占めており、一部の見積もりでは80％にも達する」と述べている。この数字の根拠は不明であるが、それでも一部の人々には受け入れられている。他の情報源でも、非構造化データについて同程度かそれ以上の割合が報告されている。

2012年、インターナショナル・データ・コーポレーション（IDC）とDell EMCは、データ量が2020年までに40ゼタバイトに成長し、2010年初頭から50倍に増加すると予測した。さらに最近では、IDCとシーゲイトが、世界のデータスフィアは2025年までに163ゼタバイトに成長し、その大部分が非構造化データになると予測している。『Computer World』誌は、非構造化情報が組織内の全データの70〜80%以上を占める可能性があると述べている。

背景ビジネスインテリジェンスに関する初期の研究は、数値データではなく非構造化テキストデータに焦点が当てられていた。早くも1958年には、H.P. ルーンなどの計算機科学の研究者たちが、非構造化テキストの抽出と分類に特に関心を寄せていた。しかし、技術がその研究の関心に追いついたのは、今世紀に入ってからのことである。2004年にSAS InstituteはSAS Text Minerを開発した。これは特異値分解（SVD）を使用して超次元のテキスト空間をより小さな次元に縮小し、機械分析の効率を大幅に向上させるものである。機械によるテキスト分析がもたらした数学的および技術的な進歩は、多くの企業にアプリケーションの研究を促し、センチメント分析、顧客の声のマイニング、コールセンターの最適化といった分野の発展につながった。2000年代後半のビッグデータの台頭により、予測分析や根本原因解析などの現代の分野における非構造化データ分析の応用への関心が高まった。

用語に関する問題この用語は、いくつかの理由から不正確である。

構造は正式に定義されていなくても、暗黙のうちに存在することがある。何らかの構造を持つデータであっても、その構造が目の前の処理タスクに役立たない場合は、非構造化として特徴付けられることがある。非構造化情報には、何らかの構造がある場合（半構造化データ）や、高度に構造化されていても、予想外であったり公表されていなかったりする場合がある。

データの変遷従来より、人は商業活動や自然現象などを記録/測定した数値を、意味のあるデータ（情報）として活用してきた。そのような数値データを、より効率的に、より生産的に活用するために、計算機（コンピュータ）が生まれ、活用が高度化していく中で、主に関係モデルをベースとしたデータベースに構造化して格納されて活用したため、そのようなデータをのちに構造化データと呼ぶようになった。さらに、ITは、組織や人間の様々な活動をより効率的で生産的にするために、数値、文書、画像、音声、動画など、人のコミュニケーションをより表現するデータを活用するようになった。このようなデータは、構造化データという分類を超えて、完全な構造定義を持たない半構造化データ、あるいは、構造定義を持たない非構造化データとして分類されるようになった。

データベースの変遷 ITの進化にともなって、組織や人間の様々な活動から、数値、文書、画像、音声、動画がデータとして大量に生み出されるようになった。昨今では、それらを総称してビッグデータと呼ぶようになり、それらを格納して活用するためのデータベースも進化し、従来の関係データベースの問い合わせ言語がSQLであるのに対して、NoSQLと総称されるデータベースも登場するようになった。また、Hadoopなどの分散ファイルシステムも活用されるようになってきた- Updated Data Platforms Landscape Map – February 2014。

関係データベースオブジェクトデータベース XMLデータベース

列指向データベース管理システムインメモリデータベース分散ファイルシステム（Hadoopなど）転置インデックスドキュメント指向データベース NoSQL

非構造化データの取り扱い各種インターネット検索エンジンの台頭がしのぎを削っていたころから様々なビジネスアプリケーションへの活用が本格化しTwo Worlds of Data – Unstructured and Structured、現在、一般的に知られる文書を構造化する方法としては、テキスト分析してメタデータをタグ付けしたり、画像、音声、動画からテキスト抽出して同じ方法を用いたり、特有のメタデータのタグ付けなどがある。このような非構造化データの取り扱いを実現する技術には、データマイニング、テキストマイニング、自然言語処理、機械学習、パターン認識、さらには人工知能の分野に含まれるものなどがあげられる。また、構造化データも含んで、非構造化データを処理する情報アクセス基盤（Information access infrastructure）としてエンタープライズサーチも活用されている。ビジネスアプリケーションのために非構造化データを分析して理解するソフトウェアは、SAS InstituteやIBM、SAP (企業)、HP オートノミー、オープンテキストなど様々な企業から提供されている。ソーシャルメディアの非構造化データの分析に焦点を当てたインターネットサービス企業も多数存在する。

非構造化データの処理データマイニング、自然言語処理（NLP）、テキスト分析などの技術は、この情報からパターンを見つけ出したり、解釈したりするための様々な方法を提供する。テキストを構造化する一般的な技術には、通常、さらなるテキストマイニングに基づく構造化のための手動によるメタデータでのタグ付けや品詞タグ付けが含まれる。非構造化情報管理アーキテクチャ（UIMA）標準は、この情報を処理して意味を抽出し、情報に関する構造化データを作成するための共通フレームワークを提供した。

機械処理可能な構造を作成するソフトウェアは、あらゆる形態の人間のコミュニケーションに存在する言語的、聴覚的、視覚的な構造を利用できる。アルゴリズムは、例えば単語の形態素、文の構文、およびその他の小規模・大規模なパターンを調べることによって、テキストからこの固有の構造を推論できる。その後、非構造化情報を充実させ、タグ付けして曖昧さに対処し、関連性に基づく手法を使用して検索と発見を容易にすることができる。「非構造化データ」の例には、書籍、雑誌、文書、メタデータ、健康記録、音声、ビデオ、アナログデータ、画像、ファイル、および電子メールの本文、ウェブページ、ワープロ文書などの非構造化テキストが含まれる。伝達される主要なコンテンツには定義された構造はないが、通常はそれ自体が構造を持つオブジェクト（ファイルやドキュメントなど）にパッケージ化されているため、構造化データと非構造化データが混在している。しかし、これらは総称して「非構造化データ」と呼ばれている。例えば、HTMLウェブページにはタグが付けられているが、HTMLのマークアップは通常、レンダリングのみを目的としている。ページの情報の自動処理をサポートする方法で、タグ付けされた要素の意味や機能を捉えることはない。XHTMLのタグ付けは要素の機械処理を可能にするが、通常、タグ付けされた用語の意味論的な意味を捉えたり伝えたりすることはない。

非構造化データは一般的に電子文書内で発生するため、文書内からのデータの転送や操作よりも、文書全体を分類できるコンテンツ管理システムや文書管理システムの使用が好まれることが多い。このようにして文書管理は、文書コレクションに構造を付与する手段を提供する。

検索エンジンは、このようなデータ、特にテキストのインデックス作成と検索において一般的なツールとなっている。

自然言語処理におけるアプローチテキスト文書に含まれる非構造化データに構造を付与するために、特定の計算機的ワークフローが開発されてきた。これらのワークフローは通常、数千から数百万の文書のセット、または手動によるアノテーションのアプローチが許容するよりもはるかに多くの文書を処理するように設計されている。これらのアプローチのいくつかは、オンライン分析処理（OLAP）の概念に基づいており、テキストキューブなどのデータモデルによってサポートされる場合がある。データモデルを通じて文書のメタデータが利用可能になると、文書のサブセット（すなわち、テキストキューブ内のセル）の要約生成を、フレーズベースのアプローチで実行できる可能性がある。

医学および生物医学研究におけるアプローチ研究者は研究結果を学術誌で発表することが多いため、生物医学研究は非構造化データの主要な発生源の一つとなっている。これらの文書の言語から構造要素を導き出すことは困難であるが（例えば、含まれている複雑な専門語彙や、観察結果を完全に文脈化するために必要なドメイン知識などのため）、これらの活動の結果は、技術的および医学的研究間の関連性や、新しい疾患治療法に関する手がかりをもたらす可能性がある。生物医学の文書に構造を適用するための最近の取り組みには、文書間のトピックを特定するための自己組織化写像のアプローチ、汎用の教師なしアルゴリズム、および文献におけるタンパク質名と心血管疾患のトピックとの間の関連性を判断するためのCaseOLAPワークフローの適用が含まれる。CaseOLAPは、正確（関係性を特定）、一貫性（再現性が高い）、そして効率的な方法でフレーズとカテゴリーの関係を定義する。このプラットフォームはアクセシビリティを向上させ、広範な生物医学研究の応用のためのフレーズマイニングツールによって生物医学コミュニティを支援する。

データプライバシー規制における「非構造化」の使用スウェーデン（EU）では2018年以前、問題のデータが「非構造化」であると確認された場合、一部のデータプライバシー規制が適用されなかった。非構造化データという用語は、2018年にGDPRが施行されて以降、EUではほとんど使用されていない。GDPRは「非構造化データ」に言及も定義もしていない。次のように（定義はせずに）「構造化」という言葉を使用している。

GDPR前文15の一部、「自然人の保護は、…ファイルシステムに含まれる…個人データの処理に適用されるべきである。」 GDPR第4条、「『ファイルシステム』とは、特定の基準に従ってアクセス可能な、個人データのあらゆる構造化された集合を意味する…」

「ファイルシステム」を定義するものに関するGDPRの判例法。「伝道に従事する各メンバーによって収集された個人データの集合が実際に構造化されている具体的な基準と形式は、そのデータの集合が、連絡を受けた特定の人物に関連するデータの容易な検索を可能にする限り無関係である。ただし、それは本案手続きにおけるすべての事情に照らして照会裁判所が確認することである。」（CJEU、Jehovan Todistajat v. Tietosuojavaltuutettu, Jehovan, Paragraph 61）

個人データが容易に検索できる場合、それはファイルシステムであり、「構造化」または「非構造化」に関係なくGDPRの適用範囲となる。今日、アクセスや適用されるソフトウェアの対象となるほとんどの電子システムは、データの容易な検索を可能にしている。

非構造化データ

Źródło i licencja