Я хотел бы написать сценарий / пакет, который будет собирать мои ежедневные журналы IIS и архивировать их по месяцам.
ex080801.log в формате exггммдд.log
ex080801.log - ex080831.log архивируется, а файлы журнала удаляются.
Причина, по которой мы это делаем, заключается в том, что на тяжелом сайте размер файла журнала за один день может составлять от 500 МБ до 1 ГБ, поэтому мы заархивируем их, что сжимает их на 98% и выгружает реальный файл журнала. Мы используем webtrend для анализа файлов журналов, и он может считываться в zip-файл.
Есть ли у кого-нибудь идеи о том, как это написать, или кто-нибудь захочет поделиться кодом?


Regex сделает свое дело ... создайте скрипт perl / python / php, который сделает эту работу за вас ...
Я уверен, что командный файл Windows не может выполнять регулярное выражение.
Вам понадобится инструмент командной строки, чтобы заархивировать файлы. Я рекомендую бесплатный и простой в использовании 7-молния. Самостоятельная версия командной строки (7za.exe) является наиболее портативным вариантом.
Вот двухстрочный командный файл, который архивирует файлы журнала и впоследствии удаляет их:
7za.exe a -tzip ex%1-logs.zip %2\ex%1*.log
del %2\ex%1*.log
Первый параметр - это четырехзначный год и месяц, а второй параметр - это путь к каталогу, содержащему ваши журналы. Например: ziplogs.bat 0808 c:\logs
Можно получить более подробную информацию (например, поиск по именам файлов, чтобы определить, какие месяцы архивировать). Возможно, вы захотите проверить команду Windows FINDSTR для поиска входящего текста с помощью регулярных выражений.
Мы используем следующий сценарий. Gzip взят из проекта cygwin. Я уверен, что вы можете изменить синтаксис, чтобы вместо этого использовать zip-архиватор. Аргумент «пропустить» - это количество файлов, которые не следует архивировать - мы храним 11 дней в «текущем» каталоге.
@echo off
setlocal
For /f "skip=11 delims=/" %%a in ('Dir D:\logs\W3SVC1\*.log /B /O:-N /T:C')do move "D:\logs\W3SVC1\%%a" "D:\logs\W3SVC1\old\%%a"
d:
cd "\logs\W3SVC1\old"
gzip -n *.log
Endlocal
exit
Вот мой сценарий, который в основном адаптирует журнал Дэвида, архивирует журналы за последний месяц, перемещает их и удаляет исходные файлы журналов. это также может быть адаптировано для журналов Apache. Единственная проблема с этим заключается в том, что вам может потребоваться отредактировать команды замены, если ваша функция даты DOS выводит дату недели. Вам также потребуется установить 7-zip.
Вы также можете загрузить IISlogslite, но он сжимает каждый день файл в один zip-файл, который я не нашел полезным. В сети плавает vbscript, который делает то же самое.
------------------------------------------------------------------------------------- @echo on :: Name - iislogzip.bat :: Description - Server Log File Manager :: :: History :: Date Authory Change :: 27-Aug-2008 David Crow Original (found on stack overflow) :: 15-Oct-2008 AIMackenzie Slimmed down commands :: ======================================================== :: setup variables and parameters :: ======================================================== :: generate date and time variables set month=%DATE:~3,2% set year=%DATE:~8,2% ::Get last month and check edge conditions set /a lastmonth=%month%-1 if %lastmonth% equ 0 set /a year=%year%-1 if %lastmonth% equ 0 set lastmonth=12 if %lastmonth% lss 10 set lastmonth=0%lastmonth% set yymm=%year%%lastmonth% set logpath = "C:\WINDOWS\system32\LogFiles" set zippath = "C:\Program Files-Zipz.exe" set arcpath = "C:\WINDOWS\system32\LogFiles\WUDF" :: ======================================================== :: Change to log file path :: ======================================================== cd /D %logpath% :: ======================================================== :: zip last months IIS log files, move zipped file to archive :: then delete old logs :: ======================================================== %zippath% a -tzip ex%yymm%-logs.zip %logpath%\ex%yymm%*.log move "%logpath%\*.zip" "%arcpath%" del %logpath%\ex%yymm%*.log
Я думаю, что настройки даты зависят от сервера / локали, поэтому вам может потребоваться их отредактировать. Если у кого-то есть функция универсального времени Буду признателен!
Вы можете получить пакет утилит командной строки из DotNetZip, чтобы получить инструменты для создания zip-архивов из скриптов. Есть приятный маленький инструмент под названием Zipit.exe, который запускается в командной строке, добавляет файлы или каталоги в zip-файлы. Это быстро, эффективно.
Лучшим вариантом может быть просто архивирование из PowerShell.
function ZipUp-Files ( $directory )
{
$children = get-childitem -path $directory
foreach ($o in $children)
{
if ($o.Name -ne "TestResults" -and
$o.Name -ne "obj" -and
$o.Name -ne "bin" -and
$o.Name -ne "tfs" -and
$o.Name -ne "notused" -and
$o.Name -ne "Release")
{
if ($o.PSIsContainer)
{
ZipUp-Files ( $o.FullName )
}
else
{
if ($o.Name -ne ".tfs-ignore" -and
!$o.Name.EndsWith(".cache") -and
!$o.Name.EndsWith(".zip") )
{
Write-output $o.FullName
$e= $zipfile.AddFile($o.FullName)
}
}
}
}
}
[System.Reflection.Assembly]::LoadFrom("c:\\bin\Ionic.Zip.dll");
$zipfile = new-object Ionic.Zip.ZipFile("zipsrc.zip");
ZipUp-Files "DotNetZip"
$zipfile.Save()
Заимствовал функцию zip от http://blogs.msdn.com/daiken/archive/2007/02/12/compress-files-with-windows-powershell-then-package-a-windows-vista-sidebar-gadget.aspx
Вот ответ PowerShell, который творит чудеса:
param([string]$Path = $(read-host "Enter the path"))
function New-Zip
{
param([string]$zipfilename)
set-content $zipfilename ("PK" + [char]5 + [char]6 + ("$([char]0)" * 18))
(dir $zipfilename).IsReadOnly = $false
}
function Add-Zip
{
param([string]$zipfilename)
if (-not (test-path($zipfilename)))
{
set-content $zipfilename ("PK" + [char]5 + [char]6 + ("$([char]0)" * 18))
(dir $zipfilename).IsReadOnly = $false
}
$shellApplication = new-object -com shell.application
$zipPackage = $shellApplication.NameSpace($zipfilename)
foreach($file in $input)
{
$zipPackage.CopyHere($file.FullName)
Start-sleep -milliseconds 500
}
}
$FilesToZip = dir $Path -recurse -include *.log
foreach ($file in $FilesToZip) {
New-Zip $file.BaseName
dir $($file.directoryname+"\"+$file.name) | Add-zip $($file.directoryname+"$($file.basename).zip")
del $($file.directoryname+"\"+$file.name)
}
Мы используем этот сценарий PowerShell: http://gallery.technet.microsoft.com/scriptcenter/31db73b4-746c-4d33-a0aa-7a79006317e6
Он использует 7-zip и проверяет файлы перед их удалением.
Я предполагаю, что формат даты просто изменился в более новых версиях Windows, но для правильного отображения месяца и дня в Windows 7 мне пришлось изменить эти строки на: set month =% DATE: ~ 4,2% set year =% DATE : ~ 12,2%