*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

インターネットビジネス講座

* この前申し込んだのはアフィリエイトの講座。 インターネットビジネスの講座は私は今まで2つ申

記事を読む

Macバリューセットのご案内

* ここでの Mac は MacDonald ではなく、MacIntosh ね。 Pear

記事を読む

KURO-DACHI/CLONE/CRU3 玄人志向 クローン機能搭載 2ベイ外付けドッキングステーション

これは 2台の HDD または SSD を縦に差して、外付けドライブとして使ったり、ドライブ

記事を読む

格安SSD SV100S2/64G

Kingston SSD V100 standalone 64GB SV10

記事を読む

IODATA HDCR-U2.0 の中身

I-O DATA 東芝対応 USB 2.0/1.1接続 外付型ハードディスク 2

記事を読む

UBUNTU16.04LTS ネットワーク設定でIPを固定にする

インストールした Ubuntu 16.04 ですが、ネットワーク接続ではデフォルトでは DHCP

記事を読む

メインマシン 逝く

* 一応おかしいと思って少しずつファイルのバックアップを取っていましたが、メインマシンのディス

記事を読む

BUFFALO 有線ブロードバンドルーターBHR-4GRV

BUFFALO 有線ブロードバンドルーター リモートアクセス&Gig

記事を読む

絵のうまい ChatGPT も課金するべきか?

「うそ しんいち」ばりにウソばっかりついていた印象のあった ChatGPT ですが、最近ハルシネーシ

記事を読む

Windows Home Server 2011 ご到着

Microsoft Home Server 2011 日本語 DSP版 DV

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

韓国ブラックマンデー来るか

韓国の株価指数が先月末にダブルトップをつけ、今月は明らかな下降トレンド

2026年7月 MT5 デモ口座運用成績(1) Gemini の活用

MetaTrader5(MT5)を使って唯一まともに運用している Ti

「ラボグロウン」ダイヤモンド

ラボグロウンダイヤモンド(Laboratory Grown Diamo

今年欧州の熱波がすごい

いまさらのネタで恐縮ですが、今年 2026年の夏に欧州を襲っている記録

ブレンド3 アイスブレンド 粉(240g×12セット)【小川珈琲 ブレンド3】

京都の小川珈琲さんのコクのある味わいのアイス専用ブレンド。

→もっと見る

  • アクセスカウンター
PAGE TOP ↑