NSRLJP

NSRLJPはNSRL(http://www.nsrl.nist.gov/)を補完することを目的としたハッシュデータセット(ハッシュライブラリ)です。

ダウンロード

NSRLJP_202408.7z (SHA-256: e4baca8bedfffb59098609a4267135dd2242e430e51bc9f757bc2351a80f01b5)
(ハッシュ数: 5,268,826, ファイルサイズ: 319,470,599バイト)

免責およびライセンス

個人、商用を問わず自由に利用することができます。ただし、本データセットの利用により生じた問題については責任を負いかねます。

説明

NSRLは数千万規模のハッシュが提供されていて定期的にアップデートされていますが、日本語環境には最適といえません。NSRLJPは、NSRLのフォーマット(RDS)準拠の日本語関連のソフトウェアを中心とするハッシュデータセットを提供します。

NSRLの概要、フォーマットについてはNSRL RDSを参照してください。

(2024-08-29追記)

2023年にRDSv3がリリースされました。SQLite形式になり多くのメタデータを扱うように変更されています。
https://s3.amazonaws.com/rds.nsrl.nist.gov/RDS/RDSv3_Docs/RDSv3.pdf

ハッシュ解析の用途では引き続き以前のRDSv2が主流であるため、NSRLJPもRDSv2形式で公開しています。

RDSv2形式の結果を生成するスクリプトはNSRLJP Scriptで公開しています。

データセット (NSRLJP_202408)

現在のNSRLJPに含まれるOS, アプリケーションのリストとハッシュ数です。不定期で更新します。

No. Name ハッシュ数 備考(バージョン等)
1 Windows XP x64 10820  
2 Windows XP x86 16080 SP3
3 Windows 2003 R2 x64 16593 SP2
4 Windows 2003 R2 x86 14562 SP1
5 Windows Vista x64 22242 SP2
6 Windows Vista x86 15437 SP2
7 Windows 7 x64 40685 SP1
8 Windows 7 x86 15685 SP1
9 Windows 2008 x64 41249 SP2
10 Windows 2008 R2 x64 9334 SP1
11 Windows 8 x64 16145  
12 Windows 8 x86 13000  
13 Windows 8.1 x64 22199 Update
14 Windows 8.1 x86 19690 Update
15 Windows 2012 x64 45842  
16 Windows 2012 R2 x64 56929 Update
17 Windows 2016 64059  
18 Windows 10 x64 261160 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2, 21H2, 22H2
19 Windows 10 x86 429425 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2, 21H2, 22H2
20 Windows 2019 47621 アップデート(2019/03) 含む

21

Windows 11

113310

21H2, 23H2

22

Windows Server 2022

56074

アップデート(2022/03) 含む
23 Office XP 4468 SP3
24 Office 2003 2210 SP1
25 Office 2007 2736 SP2
26 Office 2010 13680 SP2
27 Office 2013 11757 SP1
28 Office 2019 4034  
29 .NET Framework 2.x 491 v2.0
30 .NET Framework 3.x 872 v3.0, 3.5
31 .NET Framework 4.x 61429 v4.0, 4.5-4.5.2, 4.6-4.6.2, 4.7-4.7.2, 4.8
32 Microsoft .NET SDK 352067 5.0.100-5.0.408, 6.0.100-6.0.424, 7.0.100-7.0.410, 8.0.100-8.0.303
33 Windows Update 2006 8765  
34 Windows Update 2007 17145 2007年3月分を除く
35 Windows Update 2008 19329 2008年3月分を除く
36 Windows Update 2009 36100 2009年5月分を除く
37 Windows Update 2010 59359 2010年11月分を除く
38 Windows Update 2011 68074  
39 Windows Update 2012 78872 2012年9月分を除く
40 Windows Update 2013 128706  
41 Windows Update 2014 425232  
42 Windows Update 2015 430518  
43 Windows Update 2016 174308 1-8月分
44 Windows Update 2024

395141

2024/08まで
45 Google Chrome 11367 37.0.2062.117-118.0.5993.89
46 Firefox 70894 0.8-128.0
47 Thunderbird 49973 0.4-127.0
48 Opera 5117 6.01-12.17
49 Adobe Reader 176609 11.0.23,2015(1500630527), DC(2001320064), 2017(1701130180), 2020(2000530636), Latest(2000620034-2300820421)
50 Explzh 1281 v6.06, v7.01-7.78, v8.17.4, v8.30-8.39, v9.33-9.47
51 Lhaz 153 v1.36, v.2.1.3, v2.2.4, v2.4.0, v.2.5.1, v3.3.0, v3.4.0, v3.5.1
52 Forefront Client Security 585  
53 Hidemaru Editor 2096 4.19-9.35
54 Hidemaru Mail 367 6.01-7.32
55 Sakura Editor 324 1.6.1.0-1.6.6.0, 2.0.4.0-2.2.0.1
56 Terapad 54 1.00-1.2.9
57 “Lhaca” 10 0.76, 0.97, 1.24
58 “Lhaplus” 26 1.71-1.74
59 WSUS Offline 1168094 2019/05/06, 2021/04/09時点
  Total 5268826  

別々のOSやアプリケーションでも、MD5, SHA-1の両方が同一であるファイルについては、これらは完全に同じファイルであるとみなしハッシュデータセット生成時にいずれか1つにのみ割り当てています。上記のハッシュ数はこの処理をかけた後の値です。

使い方

NSRLJPはNSRLのフォーマット(RDS)に準拠しているため、基本的にはNSRLのインポートに対応しているツールで使うことができます。以下のツールで動作することを確認しています。

  • X-ways Forensics
  • Autopsy
  • Magnet AXIOM

また、動作確認まではしていませんが、OSForensics, FTK, md5deepもNSRLのインポートをサポートしているため使用可能と思われます。

NSRLとNSRLJPの比較例

デフォルト設定でインストールした各環境のイメージに対して、(1)NSRL, (2)NSRLJP, (3)NSRL+NSRLJPを適用した場合に一致するファイル数を比較しました。以下が比較結果です。

(2024-08-29追記/更新: NSRL 2024.03.1 modernをRDSv2に変換、NSRLJP_202408を利用)

環境 全ファイル数 (1) NSRL (2) NSRLJP (3) NSRL+NSRLJP
Windows 11 23H2 [22631.2428] 173630 47751 61550 75825
Windows 10 22H2 [19045.2006] 106595 68220 62482 72964
Windows Server 2022 [20348.587] 101948 49126 71408 71583

上記の環境はインストール直後に近い状態であり、NSRLJPを使うことにより大半のファイルが一致しています。ただ、NSRLにも一般的なアプリケーションのデータセットが膨大に含まれているため、実調査ではNSRLとNSRLJPを併用することにより、さらなる効果の向上が見込めます。

ハッシュ解析(ハッシュライブラリとの比較)は古くから用いられている手法ですが、ファイル数の増大状況からもわかるように、データサイズだけでなくファイル数も大幅に増加していく傾向にあるため、今後もフォレンジック分野にとって不可欠な基礎技術であるといえます。

更新履歴

2024/08/20 (NSRLJP_202408 - ハッシュ数: 5,268,826 / ファイルサイズ: 319,470,599バイト)

Windows 10 (21H2, 22H2)、11 (21H2, 23H2)、Windows 2022 (2022/03)を追加しました。その他のメジャーアプリケーションは2024/07時点の最新バージョンまでを含めています。

2021/04/24 (NSRLJP_202104 - ハッシュ数: 4,142,267 / ファイルサイズ: 253,337,631バイト)

Windows 10 (1909, 2004, 20H2)、Windows 2019 (Update 2019/03)、Google Chromeを追加しました。その他のメジャーアプリケーションは2021/04/09時点の最新バージョンまでを含めています。

2019/05/18 (NSRLJP_201905 - ハッシュ数: 3,718,659 / ファイルサイズ: 228,100,979バイト)

Windows 10 (1803, 1809, 1903)、Windows 2019を追加しました。その他のメジャーアプリケーションは2019/05/06時点の最新バージョンまでを含めています。

2018/02/12 (NSRLJP_201802 - ハッシュ数: 2,993,931 / ファイルサイズ: 180,917,699バイト)

Windows 10 (1703, 1709)、Windows 2016を追加しました。その他のメジャーアプリケーションは2018/02/05時点の最新バージョンまでを含めています。なお、Windows UpdateのISOイメージ提供が終了したため、今回からはWSUS Offline Updateを使って取得した更新プログラムを対象に追加しています。

2016/09/20 (NSRLJP_201609 - ハッシュ数: 2,309,928 / ファイルサイズ: 158,073,246バイト)

Windows 10 (1511), Windows 10 Anniversary Update(1607)、.NET Framework 4.6.1, 4.6.2、2016年8月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2016/09/15時点の最新バージョンまでを含めています。

2015/08/14 (NSRLJP_201508_rev2 - ハッシュ数: 1,659,348 / ファイルサイズ: 114,136,669バイト)

正しくないレコードが入っていたため、X-Ways ForensicsでMD5ハッシュのインポートをする際にエラーが発生していた点を修正しています。

2015/08/11 (NSRLJP_201508)

Windows 10, .NET Framework 4.5.2, 4.6, Lhaca, Lhaplus, 2015年7月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2015/8/3時点の最新バージョンまでを含めています。

2014/08/10 (NSRLJP_201408 - ハッシュ数: 1,096,364 / ファイルサイズ: 75,095,909バイト)

Windows 8.1/2012R2 Update, Office 2013 SP1, Office 2010 SP2, .NET Framework 3.5, 4.0, 4.5.1, 2014年7月までのWindows Update, Forefront Client Security, 日本でシェアの高いテキストエディタ(秀丸、サクラエディタ等) を新たに追加し、その他のメジャーアプリケーションは2014/8/9時点の最新バージョンまでを含めています。

2014/01/22 (NSRLJP_201401 - ハッシュ数: 532,923 / ファイルサイズ: 38,245,480バイト)

Windows 8.1、Windows 2008 R2、Windows 2012 R2を新たに追加し、メジャーアプリケーションは2014/1時点の最新バージョンまでを含めています。また、Windows更新プログラム類は言語非依存(ENU, NEU)のプログラムも多かったため、それらもNSRLJPに含めました。

2013/08/03 (NSRLJP_201308 - ハッシュ数: 401,211 / ファイルサイズ: 28,657,266バイト)

Windows更新プログラム類(http://support.microsoft.com/kb/913086/ja)やAdobe, Firefoxなどのメジャーなアプリケーションプログラムの日本語版のハッシュライブラリを追加し、データセット一覧を更新しています。

2013/01/27 (NSRLJP_201301 - ハッシュ数: 284,419 / ファイルサイズ: 20,673,998バイト)

Windows 8/2012, Office XP/2003/2007/2010/2013, .NET 2.0/3.0/4.5の各日本語版のハッシュライブラリを追加して、NSRLJP_201301としてアップデートしました。

2011/09 (初版 - ハッシュ数: 187,430 / ファイルサイズ: 13,817,931バイト)