*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Pioneer パイオニア BDXL対応 USB3.0 クラムシェル型ポータブルブルーレイドライブ(ソフト無モデル ブラック)BDR-XD07LE

この前「ブルーレイドライブ PC用USB3.0接続外付け 読み書き Windows/Mac 両対

記事を読む

レグザで壊れた HDD 復旧

レグザで使っていて一昨日壊れた外付けハードディスクドライブの復旧の続きです。

記事を読む

MakuluLinux Shift 2022 インストールしてみた

南アフリカ産の Linux ディストリビューションの MakuluLinux の最新版(Makulu

記事を読む

ミニPC(N95) 3台目到着

以前の記事「ミニPC(N95) 3台目注文」で紹介したミニPC が無事到着。 TRIGKE

記事を読む

自宅のメインの WindowsXP が立ち上がらなくなった (3)

「自宅のメインの WindowsXP が立ち上がらなくなった (2)」の続きですが、 Fire

記事を読む

複合語の登録の工夫:品詞を適切に設定する

パソコン辞書の登録単語(複合語)の品詞について パソコンの日本語変換システムの辞書の話ですが、

記事を読む

HDMI EDIDエミュレーター パススルー ドングル

現在、4台の PC の HDMI端子から KVM切替機を通して 1台の 32インチモニタに画像を出力

記事を読む

USB3.0 インターフェースカード

USB3.0 端子のないパソコンにはスロットに増設するカードが要ります。 PCI-e X1 ス

記事を読む

アマゾンで激安商品の見つけ方

* 以前、ここにも書き、雑誌『Windows100% 2012年4月号』にも書いてありましたが

記事を読む

DOS/V POWER REPORT も休刊

パソコン雑誌の「DOS/V POWER REPORT」も休刊のようです。 自作PC系の

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称】ネクスト・ジェネレーション 8月の配当

WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称】ネクスト・ジ

インベスコ 世界厳選株式オープン【愛称:世界のベスト】

ここで再三紹介しているインベスコ 世界厳選株式オープン【愛称:世界のベ

Zinner症候群

大昔、京都大学の医学部大学院生であったとき(39年ほど前)の話、ある先

白い人が仕掛けた黒い罠:アジアを解放した日本兵は偉かった / 高山正之

★★★☆☆ 著者は元産経新聞記者の高山正之さん。テヘラン・ロ

【AI】Antigravity2.0 で DPI 変換(2)

昨日の記事「【AI】Antigravity2.0 で DPI 変換」の

→もっと見る

  • アクセスカウンター
PAGE TOP ↑