*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

新マシン起動

* 新マシンというのは愛称 3rdDimension という、DELL Dimension 2

記事を読む

安くなった SSD をまとめて購入

韓国のサムソンが NAND型フラッシュメモリの生産を制限するという情報が飛び込んできたので、フラ

記事を読む

Windows 8.1 再チャレンジ

飯山市のふるさと納税でもらったPC は1台目は息子に譲り、2台目をゲット。 ほぼ無料なので

記事を読む

壁紙屋本舗

まな板マウスパッド

100円ショップで買ってきたまな板(未使用)をマウスパッドに使用しています。 冬はプラ

記事を読む

Chalet OS 16.04 試用してみた

久々の Linux ネタです。 Zorin 12 Core 版を常用しているワタシです

記事を読む

「pCloud」というクラウドストレージサービス

pCloud というクラウドストレージサービスが Youtube で紹介されていました。 ht

記事を読む

XP でも 簡単に 4画面出力 GF-QUAD-DISP/4DVI (2)

玄人志向 グラフィックボード DVIx4 4画面出力 ファンレス GF-QU

記事を読む

ORICO Y-20M SSD NVMe 128GB

これも ORICO という中華メーカーの SSD(SATAタイプではなく NVMeタイプ)。

記事を読む

SAPPHIRE HD6450 1G DDR3 PCI-E HDMI/DVI-D/VGA

SAPPHIRE HD6450 1G DDR3 PCI-E HDMI/DVI-D

記事を読む

USB ポートの電源供給オーバー

2012年に自作した自宅の1号機(愛称 Whitebase)。 USBポートの一つに 7ポート

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

2026-6-15 高配当投資信託の乗り換え

いやあ、昨日はすごかった。 イラン戦争締結の憶測から、日本、米国の両

SUNO で作曲してみた

SUNO という音楽生成 AI で 初めて歌詞付きの音楽を作曲してみま

高槻遠隔画像診断センターお引越し

いよいよ引っ越し当日。 始発電車で高槻へ。 寝過ごしてはいかん

久々の「残業」

明日高槻遠隔画像診断センターの引っ越しなので、整理に行ってきました。ま

この1冊でしっかりわかる Geminiの教科書 / 佐倉井 理冴

★★★☆☆(わかりやすい) Gemini 初心者向けの優しく

→もっと見る

  • アクセスカウンター
PAGE TOP ↑