大規模テキスト

ホーム特徴大規模テキスト履歴お願いダウンロードライセンス利用料金


2014年01月23日 更新

行数2兆5000億行以上、ファイルサイズ5TB以上の超巨大テキストファイルを編集
超巨大テキストファイル(5TB = 5,120GB以上)を読み込む
超巨大テキストファイル:超巨大行数(2,000億行)の編集

以下のページもご覧ください。

ページトップ

2008年01月18日 更新

目次

以下はそれぞれ別のページです。

目的

このページの目的は、

  1. 小さいメモリで大規模ファイル、超巨大テキスト、大量データを作成、編集できる。
  2. 行数は無制限である。
  3. 超巨大テキストを単一ファイルとして保存できる。
  4. 超巨大テキストファイルを読み込むことができる。
を示すことです。

ここでは、300GBのテキストを作成して、ワードラップ、4分割、段組にします。さらに、単一ファイルとして保存して、保存したファイルを読み込むところを画像で示します。画像はすべてWindows Vistaで動作中のものです。

ページトップ

画像-1

下図は鈴川エディタのメインウィンドウ(Windows Vista)の画像です。この例では、300GB40GBの二つのファイルを開いています。300GB(行数は約28億5千万行)のファイルがアクティブで、四つに分割されて、ルーラードラッグによって箱型選択されています。同時にステータスバーの下部に二分割されたディスク検索リストを表示しています。

メインウィンドウ

ページトップ

画像-2

下図はタスクマネージャを鈴川エディタウィンドウの上に重ねている画像です。この例では、Suzukawa.exe(鈴川エディタの実行ファイル名)の行を選択しています。このとき、鈴川エディタが使っているメモリが40MB以下であることを示しています。

タスクマネージャ

ページトップ

画像-3

下図は300GBと40GBのファイルのワークファイルフォルダを表示しているところです。

ワークファイルフォルダ

ページトップ

画像-4

下図は300GBファイルのワークファイルフォルダ内に作成されたワークファイルをエクスプローラで表示しているところです。
右側のリストビューでファイル名順に並べて、上の画像は先頭部分を、下の画像は最後の部分を示しています。
中間部分には、Str6.wrkからStr159390.wrkのワークファイルが159,385個あります。
大規模テキストでは、ワークファイルは膨大な数になります。

ワークファイル前方部分
ワークファイル後方部分

ページトップ

画像-5

下図は300GB、行数28億5千万行のファイルを1行当り半角20文字でワードラップして、四分割、段組にして表示しているところです。行番号は改行数を示しています。

ワードラップ、四分割、段組、改行数

ページトップ

画像-6

下図は上のファイルで行番号を行数で表示しているところです。ルーラードラッグで箱型選択しています。行数は約214億2千万行です。

ワードラップ、四分割、段組、行数、箱型選択

ページトップ

画像-7

下図は上の300GBファイルを単一ファイルとして保存した後、エクスプローラで表示しているところです。ファイル名はE:\Suzukawa\Data\Test300GB_Shift_JIS_A.txtです。

エクスプローラ、300GB

ページトップ


Copyright (c) 2000 - 2017 鈴木由彦(Yoshihiko Suzuki)
e-Mail:szkwjp@gmail.com
HomePage:http://www.szkwjp.com/