카테고리 Archives: nginx

nginx 자동 리로드 스크립트

Let’s encrypt 가 snapd 를 이용하여 자동으로 갱신이 이루어 지지만 시작 시점의 인증서를 계속 가져 가기 때문에

nginx 재시작이 되지 않아서 인증서 만료 문제가 발생을 한다.

때문에 1일 이내의 갱신된 인증서(let’s encrypt)가 존재할 경우 nginx 를 reload 해서 적용이 되도록 한다.

1	~]# vi /shell/nginx_reloader.sh

#!/bin/bash

if [ $(find /etc/letsencrypt/live -type l -name fullchain.pem -mtime -1|wc|awk '{print $1}') != 0 ];then

/sbin/nginx -s reload

exit 0

이후 아래와 같이 crontab 에 등록한다.

1	~]# crontabl -e

1	30 8 * * * bash /shell/nginx_reloader.sh

nginx 리버스 프록시 웹서버에 awstats 설치 및 운영

WAS 기능이 없는 리버스 프록시 서버에서 awstats 를 설치를 하게 될경우 php 가 설치되어 있지 않기 때문에 오류가 발생 한다.

perl 은 설치가 되어 있기 때문에 awstats 배포 판의 받아 perl이 일정 시간 마다 html 문서를 일정 시간마다 갱신하도록 해서 사용 한다.

먼저 배포파일을 다운로드 받아 서버에 업로드 한다. https://awstats.sourceforge.io/#DOWNLOAD

~]# cd /usr/local

~]# tar xfzp awstats-7.8.tar.gz

~]# mv ./awstats-7.8 ./awstats

awstats 플러그인중 3가지를 사용한다. 구글챠트API 는 별도 설치가 없다.

URI utf8 디코딩 및 geoip2 (.mmdb 파일) 사용을 위해 아래 방법 대로 설치 한다.

~]# dnf search perl-App-cpanminus

~]# cpanm GeoIP2::Database::Reader

~]# cpanm URI::Escape

(perl-App-cpanminus 와 GeoIP2::Database::Reader 설치 할때 각각 약 100개 정도가 설치 된다.)

그 다음 awstats 의 콘피그를 실행 한다.

~]# /usr/local/awstats/tools/awstats_configure.pl

----- AWStats awstats_configure 1.0 (build 20140126) (c) Laurent Destailleur -----

This tool will help you to configure AWStats to analyze statistics for

one web server. You can try to use it to let it do all that is possible

in AWStats setup, however following the step by step manual setup

documentation (docs/index.html) is often a better idea. Above all if:

- You are not an administrator user,

- You want to analyze downloaded log files without web server,

- You want to analyze mail or ftp log files instead of web log files,

- You need to analyze load balanced servers log files,

- You want to 'understand' all possible ways to use AWStats...

Read the AWStats documentation (docs/index.html).

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install

Enter full config file path of your Web server.

Example: /etc/httpd/httpd.conf

Example: /usr/local/apache2/conf/httpd.conf

Example: c:\Program files\apache group\apache\conf\httpd.conf

Config file path ('none' to skip web server setup):

> none

Your web server config file(s) could not be found.

You will need to setup your web server manually to declare AWStats

script as a CGI, if you want to build reports dynamically.

See AWStats setup documentation (file docs/index.html)

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'

File awstats.model.conf updated.

-----> Need to create a new config file ?

Do you want me to build a new AWStats config/profile

file (required if first install) [y/N] ? y

-----> Define config file name to create

What is the name of your web site or profile analysis ?

Example: www.mysite.com

Example: demo

Your web site, virtual server or profile name:

> www.enteroa.com

-----> Define config file path

In which directory do you plan to store your config file(s) ?

Default: /etc/awstats

Directory path to store config file(s) (Enter for default):

-----> Create config file '/etc/awstats/awstats.www.enteroa.com.conf'

Config file /etc/awstats/awstats.www.enteroa.com.conf created.

-----> Add update process inside a scheduler

Sorry, configure.pl does not support automatic add to cron yet.

You can do it manually by adding the following command to your cron:

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.enteroa.com

Or if you have several config files and prefer having only one command:

/usr/local/awstats/tools/awstats_updateall.pl now

Press ENTER to continue...

A SIMPLE config file has been created: /etc/awstats/awstats.www.enteroa.com.conf

You should have a look inside to check and change manually main parameters.

You can then manually update your statistics for 'www.enteroa.com' with command:

> perl awstats.pl -update -config=www.enteroa.com

You can also build static report pages for 'www.enteroa.com' with command:

> perl awstats.pl -output=pagetype -config=www.enteroa.com

Press ENTER to finish...

위 코드중 강조된 부분 은 문답 부분이며 사용하려는 사이트에 맞게 입력 값이 달라 질수 있다.

콘피그가 완료 되면 /etc/awstats/awstats.www.enteroa.com.conf 파일이 생성 된다.

해당 파일의 내용을 아래와 같이 수정 한다. (일부 기본적인 설정만 사용하도록 했음.)

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

LogFile="/var/log/nginx/access.log"

LogType=W

LogFormat=1

LogFormat = "%virtualname %host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

#LogFormat = "%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

LogSeparator=" "

SiteDomain="www.enteroa.com"

HostAliases="enteroa.com"

DNSLookup=2

DynamicDNSLookup=0

DirData="/var/lib/awstats"

DirCgi="/cgi-bin"

DirIcons="/icon"

AllowToUpdateStatsFromBrowser=0

AllowFullYearView=2

EnableLockForUpdate=0

DNSStaticCacheFile="dnscache.txt"

DNSLastUpdateCacheFile="dnscachelastupdate.txt"

SkipDNSLookupFor=""

AllowAccessFromWebToAuthenticatedUsersOnly=0

AllowAccessFromWebToFollowingAuthenticatedUsers=""

AllowAccessFromWebToFollowingIPAddresses=""

CreateDirDataIfNotExists=0

BuildHistoryFormat=text

BuildReportFormat=html

SaveDatabaseFilesWithPermissionsForEveryone=0

PurgeLogFile=0

ArchiveLogRecords=0

KeepBackupOfHistoricFiles=0

DefaultFile="index.php index.html"

SkipHosts="localhost 127.0.0.1 내부.네트워크.서버.아이피 외부.네트워크.서버.아이피"

SkipUserAgents=""

SkipFiles=""

SkipReferrersBlackList=""

OnlyHosts=""

OnlyUserAgents=""

OnlyUsers=""

OnlyFiles=""

NotPageList="css js class gif jpg jpeg png bmp ico rss xml swf eot woff woff2"

ValidHTTPCodes="200 304"

ValidSMTPCodes="1 250"

TrapInfosForHTTPErrorCodes = "400 403 404"

AuthenticatedUsersNotCaseSensitive=0

URLNotCaseSensitive=0

URLWithAnchor=0

URLQuerySeparators="?;"

URLWithQuery=0

URLWithQueryWithOnlyFollowingParameters=""

URLWithQueryWithoutFollowingParameters=""

URLReferrerWithQuery=0

WarningMessages=1

ErrorMessages=""

DebugMessages=0

NbOfLinesForCorruptedLog=50

WrapperScript=""

DecodeUA=0

MiscTrackerUrl="/js/awstats_misc_tracker.js"

LevelForBrowsersDetection=2 # 0 disables Browsers detection.

LevelForOSDetection=2 # 0 disables OS detection.

LevelForRefererAnalyze=2 # 0 disables Origin detection.

LevelForRobotsDetection=2 # 0 disables Robots detection.

LevelForSearchEnginesDetection=2 # 0 disables Search engines detection.

LevelForKeywordsDetection=2 # 0 disables Keyphrases/Keywords detection.

LevelForFileTypesDetection=2 # 0 disables File types detection.

LevelForWormsDetection=0 # 0 disables Worms detection.

UseFramesWhenCGI=1

DetailedReportsOnNewWindows=1

Expires=0

MaxRowsInHTMLOutput=10000

Lang="auto"

DirLang="./lang"

ShowMenu=1

ShowSummary=UVPHB

ShowMonthStats=UVPHB

ShowDaysOfMonthStats=VPHB

ShowDaysOfWeekStats=PHB

ShowHoursStats=PHB

ShowDomainsStats=PHB

ShowHostsStats=PHBL

ShowAuthenticatedUsers=0

ShowRobotsStats=HBL

ShowWormsStats=0

ShowEMailSenders=0

ShowEMailReceivers=0

ShowSessionsStats=1

ShowPagesStats=PBEX

ShowFileTypesStats=HB

ShowFileSizesStats=0

ShowDownloadsStats=HB

ShowOSStats=1

ShowBrowsersStats=1

ShowScreenSizeStats=0

ShowOriginStats=PH

ShowKeyphrasesStats=1

ShowKeywordsStats=1

ShowMiscStats=a

ShowHTTPErrorsStats=1

ShowHTTPErrorsPageDetail=R

ShowSMTPErrorsStats=0

ShowClusterStats=0

AddDataArrayMonthStats=1

AddDataArrayShowDaysOfMonthStats=1

AddDataArrayShowDaysOfWeekStats=1

AddDataArrayShowHoursStats=1

IncludeInternalLinksInOriginSection=0

MaxNbOfDomain = 10

MinHitDomain = 1

MaxNbOfHostsShown = 10

MinHitHost = 1

MaxNbOfLoginShown = 10

MinHitLogin = 1

MaxNbOfRobotShown = 10

MinHitRobot = 1

MaxNbOfDownloadsShown = 10

MinHitDownloads = 1

MaxNbOfPageShown = 10

MinHitFile = 1

MaxNbOfOsShown = 10

MinHitOs = 1

MaxNbOfBrowsersShown = 10

MinHitBrowser = 1

MaxNbOfScreenSizesShown = 5

MinHitScreenSize = 1

MaxNbOfWindowSizesShown = 5

MinHitWindowSize = 1

MaxNbOfRefererShown = 10

MinHitRefer = 1

MaxNbOfKeyphrasesShown = 10

MinHitKeyphrase = 1

MaxNbOfKeywordsShown = 10

MinHitKeyword = 1

MaxNbOfEMailsShown = 20

MinHitEMail = 1

FirstDayOfWeek=1

ShowFlagLinks=""

ShowLinksOnUrl=1

UseHTTPSLinkForUrl=""

MaxLengthOfShownURL=64

HTMLHeadSection=""

HTMLEndSection=""

MetaRobot=0

Logo="awstats_logo6.png"

LogoLink="http://www.awstats.org"

BarWidth = 260

BarHeight = 90

StyleSheet=""

color_Background="FFFFFF"

color_TableBGTitle="CCCCDD"

color_TableTitle="000000"

color_TableBG="CCCCDD"

color_TableRowTitle="FFFFFF"

color_TableBGRowTitle="ECECEC"

color_TableBorder="ECECEC"

color_text="000000"

color_textpercent="606060"

color_titletext="000000"

color_weekend="EAEAEA"

color_link="0011BB"

color_hover="605040"

color_u="FFAA66"

color_v="F4F090"

color_p="4477DD"

color_h="66DDEE"

color_k="2EA495"

color_s="8888DD"

color_e="CEC2E8"

color_x="C1B2E2"

LoadPlugin="decodeutfkeys"

LoadPlugin="graphgooglechartapi"

LoadPlugin="geoip2_country /usr/share/GeoIP/GeoLite2-Country.mmdb"

ExtraTrackedRowsLimit=500

분석 과 html 문서 서비스 제공에 필요한 폴더 를 생성하고 심볼릭링크를 생성한다.

~]# mkdir -p /var/lib/awstats

~]# mkdir -p /var/www/awstats/www.enteroa.com

~]# ln -s /usr/local/awstats/wwwroot/icon /var/www/awstats/www.enteroa.com/icon

아래 명령으로 access_log 를 분석 한다.

1	~]# perl /usr/local/awstats/tools/awstats_updateall.pl now

아래 명령으로 html 파일을 생성 한다.

~]# perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \

-lang=ko \

-config=www.enteroa.com \

-dir=/var/www/awstats/www.enteroa.com/ \

-awstatsprog=/usr/local/awstats/cgi-bin/awstats.pl

새롭게 생성한 폴더에 웹접근이 가능하도록 selinux (fcontext) 설정을 한다.

1 2	~]# semanage fcontext -a -t httpd_sys_content_t "/var/www/awstats(/.*)?" ~]# restorecon -rv /var/www/awstats

nginx 에 http(:80) 가상호스트를 생성 한다.

server {

listen *:80;

server_name awstats.enteroa.com;

location ^~ /.well-known/acme-challenge/ {

root /var/www/html/;

}

location / {

rewrite ^ https://$server_name$request_uri? permanent;

}

Let’s encrypt 인증서를 생성 한다.

~]# certbot certonly --server https://acme-v02.api.letsencrypt.org/directory \

--rsa-key-size 4096 --agree-tos \

--email 자신의@이메일.주소 --webroot -w /var/www/html \

-d awstats.enteroa.com

https(:443) 가상 호스트 설정을 추가 한다.

server {

listen 443 ssl http2;

server_name awstats.enteroa.com;

root /var/www/awstats/www.enteroa.com/;

index awstats.www.enteroa.com.html;

allow 접근.허용할.클라이언트.아이피/32;

deny all;

location = /favicon.ico {

access_log off;

log_not_found off;

}

ssl_certificate /etc/letsencrypt/live/awstats.enteroa.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/awstats.enteroa.com/privkey.pem;

quic_retry on;

ssl_early_data on;

add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";

add_header Content-Security-Policy-Report-Only "default-src https:; script-src https: 'unsafe-eval' 'unsafe-inline'; style-src https: 'unsafe-inline'; img-src https: data:; font-src https: data:";

}

수집된 정보로 html을 계속 생성해줘야 하기 때문에 위의 html 생성 명령어를 스크립트로 작성 한다.

#!/bin/bash

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then exit 1

fi;fi

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

/bin/perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \

-lang=ko \

-config=www.enteroa.com \

-dir=/var/www/awstats/www.enteroa.com/ \

-awstatsprog=/usr/local/awstats/cgi-bin/awstats.pl

crontab -e 명령어로 일정 시간 마다 스크립트가 자동 실행 되도록 한다.

MAILTO=""

# .---------------- minute (0 - 59)

# | .------------- hour (0 - 23)

# | | .---------- day of month (1 - 31)

# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...

# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

# | | | | |

# * * * * *

*/10 * * * * perl /usr/local/awstats/tools/awstats_updateall.pl now # access_log analysis

59 * * * * bash /shell/awstats_nginx.sh # make awstats html page for nginx

access_log 분석: 10분마다 || html 파일 생성: 매시 59분 마다.

분석 텀은 자유롭게 설정가능 하지만 할때 마다 자원을 소모 한다. 1분 마다 하면 문제 소지가 있겠다.

다만 분석 텀을 너무 길게 하면 분석할 데이터의 량이 증가 하기 작동 시간이 길이져 서버의 로드애버리지는 상승 시키는 문제가 생긴다.

때문에 웹서버 접속량에 따라 유동적으로 설정해야 한다.

PS. 기본적으로 awstats 의 경우 검색 엔진을 외국산은 잘 표현 하지만 국산 검색 포털은 표현해 주지 않는다.

이는 기본 제공 되는 브라우져 체크 라이브러리 파일에 /usr/local/awstats/wwwroot/cgi-bin/lib/search_engines.pm 한국의 검색 엔진이 없기 때문에…

한국 검색엔진은 기타에 포함 된다.

개인적으로 수정해서 쓰고 있는 search_engines.pm 파일을 아래 방법 대로 다운받아서 대체 하면 나온다. ‘ㅅ’a (naver, daum, nate, dreamwiz, korea.com)

~]# cd /usr/local/awstats/wwwroot/cgi-bin/lib

~]# mv -f search_engines.pm search_engines.pm_old

~]# curl https://www.enteroa.com/extra_files/search_engines.pm -O

Oracle Linux 8 (x86_64) 서버에서 dnf(yum)을 이용한 nginx 설치 및 http3 구현

OCI 에서 제공 되는 “항상 무료 적격” 서비스에 ARM64 서버로 Apache, Php, MariaDB 를 운영 하고자 하였으나

aarch64 커널에서는 snapd 설치가 가능하지만 lets encrypt 사용이 불가능 하여 불가피 하게 x86_64 서버를 앞에 하나 두어

reverse proxy 할 계획을 세우다 보니 HTTP/3 를 적용하는 부분도 포함해 진행 한다.

알고 가야 하는 부분은 http3 를 구현 하는 nginx-quic 의 경우 아직 테스트 레벨이라는 점이다.

tier 1 = x86_64 – oracle linux 8 – nginx

tier 2 = arm64 – oracle linux 8 – memcache, docker – amazon linux – httpd, php-fpm

tier 3 = arm64 – oracle linux 8 – mariadb

아래 두 글에 이어서 익숙하겠지만 그것을 한다.

# 타임존 설정

~]# ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# oracle-epel-release 활성화 (이부분은 oracle-epel-ol8.repo 에서 enabled=0 처리가 되어 있어서 하는 부분..)

~]# yum-config-manager --enable ol8_developer_EPEL ol8_developer_EPEL_modular

# OS 업그레이드

~]# dnf -y upgrade

# 업그레이드 후 재부팅

~]# reboot

# 필수 프로그램 설치(sealert, htop, pstree)

~]# dnf install psmisc htop setools-console setroubleshoot-server

# vim 사용 설정

~]# echo "alias vi=vim" >> /etc/bashrc

편리한 dnf(yum) 설치를 위해 codeit.guru 레포지토리를 추가 한뒤에 nginx:codeit-quic 설치를 한다.

~]# dnf install -y https://repo.codeit.guru/codeit-repo-release.el8.rpm

~]# dnf module enable -y nginx:codeit-quic

~]# dnf install -y nginx ngtcp2 nginx-module-image-filter GeoIP-GeoLite-data brotli snapd

snapd 를 활용하여 Let’s encrypt 를 설치 한다.

~]# ln -s /var/lib/snapd/snap /snap

~]# systemctl enable --now snapd.socket

~]# snap install core

~]# snap refresh core

~]# snap install --classic certbot

~]# ln -s /snap/bin/certbot /usr/bin/certbot

웹서버의 보안 향상을 위해 Diffie-Hellman param 파일을 생성한다.

1 2	~]# mkdir /etc/pki/nginx ~]# openssl dhparam -out /etc/pki/nginx/dhparam.pem 4096

서버 내부의 파이어월에 사용할 서비스 및 포트를 등록 하고 확인 한다.

~]# firewall-cmd --add-service=http --add-service=https --permanent

~]# firewall-cmd --add-port=443/udp --permanent

~]# firewall-cmd --reload

~]# firewall-cmd --list-all

public (active)

services: http https ssh

ports: 443/udp

nginx.pid 생성, /var/www/html 엑세스(Let’s encrypt 인증서 http 인증) 및 리버스 프록시 구현을 위한 selinux 를 설정 한다.

~]# setsebool -P httpd_can_network_relay 1

~]# setsebool -P httpd_graceful_shutdown 1

~]# setsebool -P nis_enabled 1

~]# semanage fcontext -a -t httpd_var_run_t "/var/run/nginx.pid"

~]# semanage fcontext -a -t httpd_sys_content_t "/var/www/html(/.*)?"

OCI 클라우드 내에서의 보안 목록(Security List) 에서 아래와 같이 UDP :443 을 허용해 준다.

2022-05-12_121444

/etc/nginx/nginx.conf 파일을 수정 한다.

user nginx;

worker_processes auto;

error_log /var/log/nginx/error.log notice;

events {

worker_connections 1024;

}

http {

include /etc/nginx/mime.types;

default_type application/octet-stream;

charset utf-8;

geoip2 /usr/share/GeoIP/GeoLite2-Country.mmdb {

$geoip2_data_country_iso_code country iso_code;

}

log_format main '$host $remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" "$http_user_agent" $geoip2_data_country_iso_code';

access_log /var/log/nginx/access.log main;

keepalive_timeout 65;

server_tokens off;

sendfile on;

brotli on;

brotli_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/octet-stream;

gzip on;

gzip_vary on;

gzip_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/octet-stream;

etag off;

resolver 8.8.8.8 8.8.4.4 valid=300s ipv6=off;

resolver_timeout 5s;

server_names_hash_bucket_size 128;

ssl_trusted_certificate /etc/pki/tls/certs/ca-bundle.crt;

ssl_dhparam /etc/pki/nginx/dhparam.pem;

ssl_session_tickets off;

ssl_session_timeout 24h;

ssl_session_cache shared:SSL:30m;

ssl_protocols TLSv1.2 TLSv1.3;

ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;

ssl_buffer_size 8k;

ssl_stapling on;

ssl_stapling_verify on;

ssl_prefer_server_ciphers on;

client_max_body_size 100m;

client_body_buffer_size 10m;

proxy_request_buffering off;

proxy_connect_timeout 90;

proxy_send_timeout 90;

proxy_read_timeout 90;

proxy_buffers 32 256k;

proxy_buffer_size 128k;

proxy_busy_buffers_size 256k;

include /etc/nginx/conf.d/*.conf;

server {

listen 80;

server_name _;

root /var/www/html/;

deny all;

expires off;

location / {

index index.html index.htm;

}

error_page 403 404 500 502 503 504 /50x.html;

location = /50x.html {

root /usr/share/nginx/html;

internal;

}

Let’s encrypt 인증서 발급을 위한 http 가상호스트를 수정 한다. vi /etc/nginx/conf.d/default.conf

server {

listen *:80;

server_name www.enteroa.com enteroa.com;

location ^~ /.well-known/acme-challenge/ {

root /var/www/html/;

}

location / {

return 301 https://$host$request_uri;

}

conf 파일을 설정한 뒤 nginx 를 활성화 및 시작 한다.

1	~]# systemctl enable --now nginx

Let’s encrypt 인증서를 발급 한다. (성공시 Successfully received certificate 메세지 가 확인 된다.)

~]# certbot certonly --server https://acme-v02.api.letsencrypt.org/directory \

--rsa-key-size 4096 --agree-tos \

--email 자신의@이메일.주소 --webroot -w /var/www/html \

-d www.enteroa.com -d enteroa.com

Successfully received certificate.

Certificate is saved at: /etc/letsencrypt/live/www.enteroa.com/fullchain.pem

Key is saved at: /etc/letsencrypt/live/www.enteroa.com/privkey.pem

https 가상호스트 설정 파일을 추가 생성 한다. vi /etc/nginx/conf.d/default-ssl.conf

upstream WasProxy01 {

ip_hash;

server 프록시.대상.서버.아이피:80; # WAS 서버 IP를 넣는다.

}

server { # www가 없는 도메인은 www.도메인 으로 이동하도록 한다.

listen 443 ssl http2;

server_name enteroa.com;

location / {

return 301 https://www.$host$request_uri;

}

ssl_certificate /etc/letsencrypt/live/www.enteroa.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.enteroa.com/privkey.pem;

add_header Strict-Transport-Security "max-age=31536000; preload";

}

server {

listen 443 http3 reuseport; # 한개의 nginx 에 하나의 http3 만 선언이 가능하다.

listen 443 ssl http2;

server_name www.enteroa.com;

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Host $server_name;

proxy_set_header SSL_PROTOCOL $ssl_protocol;

proxy_set_header SSL_CLIENT_CERT $ssl_client_cert;

proxy_set_header SSL_CLIENT_VERIFY $ssl_client_verify;

proxy_set_header SSL_SERVER_S_DN $ssl_client_s_dn;

proxy_hide_header Upgrade;

if ( $request_method !~ ^(GET|POST|HEAD|OPTIONS)$ ) { # 사용가능 메소드 제한

return 405;

}

location = /robots.txt { # robots.txt 로그 남기지 않음

access_log off;

}

location = /favicon.ico { # favicon.ico 로그 남기지 않음

access_log off;

}

location ~ /\. { # dot(.)으로 시작 되는 파일의 접속 차단

deny all;

}

location ~ ~$ { # dollar($)으로 시작 되는 파일의 접속 차단

deny all;

}

location / {

proxy_pass http://WasProxy01;

}

ssl_certificate /etc/letsencrypt/live/www.enteroa.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.enteroa.com/privkey.pem;

quic_retry on;

ssl_early_data on;

add_header Alt-Svc 'h3=":443"; ma=86400,h3-29=":443"; ma=86400,h3-Q050=":443"; ma=86400,h3-Q046=":443"; ma=86400,h3-Q043=":443"; ma=86400,quic=":443"; ma=86400; v="46,43"';

add_header QUIC-Status $http3;

add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";

add_header Content-Security-Policy-Report-Only "default-src https:; script-src https: 'unsafe-eval' 'unsafe-inline'; style-src https: 'unsafe-inline'; img-src https: data:; font-src https: data:";

}

default.conf 파일과 default-ssl.conf 파일은 하나로 병합해서 사용 해도 관계는 없다.

가상 호스트를 생성 한 뒤 nginx 를 reload 한다.

1	~]# nginx -s reload

위까지 진행 한 경우 http3 를 지원 하는 웹서버의 설정이 모두 끝난다.

다만 구성상 외부서비스 제공은 https 내부에서의 통신은 http 프로토콜을 사용하기 때문에 기본 상태의 wordpress 의 에러메세지를 볼 수 있다.

was 서버에서 운영되는 워드프레스의 wp-config.php 파일에 /* That's all, stop editing! Happy blogging. */ 위 부분에 아래 소스를 삽입 해야 한다.

if ((!empty( $_SERVER['HTTP_X_FORWARDED_HOST'])) || (!empty( $_SERVER['HTTP_X_FORWARDED_FOR'])) ) {

// http://wordpress.org/support/topic/wordpress-behind-reverse-proxy-1

$_SERVER['HTTP_HOST'] = $_SERVER['HTTP_X_FORWARDED_HOST'];

// http://wordpress.org/support/topic/compatibility-with-wordpress-behind-a-reverse-proxy

$_SERVER['HTTPS'] = 'on';

// rewrite blog word with wordpress

//$_SERVER['REQUEST_URI'] = str_replace("wordpress", "blog", $_SERVER['REQUEST_URI']);

}

브라우져 접속 및 체크 사이트(https://http3check.net/) 접속을 통해 HTTP/3 이 활성화 되었는지 확인 한다.
2022-05-11_111722 2022-05-12_121827

Oracle Linux 8 (arm64) 서버에 httpd, php 설치

오라클 클라우드의 무료 서버중 x86 서버인 VM.Standard.E2.1.Micro 의 경우 1/8 OCPU 및 1GB 메모리를 제공 한다.

2022-05-04_150958

1/8 OCPU 이는 cpu중 12% 점유율 사용량을 허용 한다는 말이다.

서버 내부에서는 2 논리 core 으로 확인 되기 때문에 각각의 cpu당 25% 의 점유율을 사용할 수 있다고 본다.

초과해서 사용할경우 과금 이 되거나 사용이 제한될 수 있는 요소이다.

메모리의 경우에는 dmesg 명령어로 아래와 같이 확인이 되었다.

1 2	~]# dmesg \|grep memory [ 0.006919] Reserving 280MB of memory at 678MB for crashkernel (System RAM: 1018MB)

즉 전체 용량 1018MB 에서 커널 보호를 위해 280MB 를 제외한 678MB를 쓸수 있다.

linux 커널에서 일반적으로 약 500MB정도를 사용한다고 보면 가용 메모리가 278MB 정도 밖에 되지 않는다.

쓰다보면 메모리가 swap 처리 되어서 WEB/WAS 사용가능한 메모리는 약 270~500MB 사이 정도가 될 것이다.

현재 블로그와 같이 구글 애드센스가 도입된 wordpress 사이트는 약 1.2초 대의 로딩 속도가 나오는 정도의 성능으로 확인되었다.

다만 방문객이 일정량 이상 늘어날 경우 급격히 느려지고, php-fpm이 메모리 과점으로 php-fpm 장애가 발생하는등의 문제가 발생 하였다.

그래서 ARM cpu 를 사용하는 VM.Standard.A1.Flex 를 이용해 was 서버를 운영하는 방법으로 구성을 해보았다.

아래는 OCI의 oracle linux 를 설치 했을때 기본적으로 진행해야 하는 명령어 모음 이다.

# 타임존 설정

~]# ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# oracle-epel-release 활성화 (이부분은 oracle-epel-ol8.repo 에서 enabled=0 처리가 되어 있어서 하는 부분..)

~]# yum-config-manager --enable ol8_developer_EPEL ol8_developer_EPEL_modular

# OS 업그레이드

~]# dnf -y upgrade

# 업그레이드 후 재부팅

~]# reboot

# 필수 프로그램 설치(sealert, htop, pstree)

~]# dnf install psmisc htop setools-console setroubleshoot-server

# vim 사용 설정

~]# echo "alias vi=vim" >> /etc/bashrc

aarch64(ARM64) CPU를 사용 하는 경우 다음과 같은 문제가 있다.

ARM64용 서드 파티 레포지토리는 거의 없는 편이다. (최신 php 버전을 제공 하는 remi 레포 또는 webtatic 등등)
OS공식 레포지토리에서 제공 되는 httpd 버전은 2.4.37 버전 php 버전은 7.4.19 버전 이다.
Let’s encrypt 에서 제공 되는 snapd(certbot) 이 동작을 하지 않는다. (x86_64 에서는 동작한다.)

위와 같은 사유로 3 티어 방식으로 운영이 되도록 구성 한다.

WAS 서버에 docker 에 amazon linux 2 (aarch64)를 이용 해서 apache + php-fpm 구성을 할 경우 최신 버전의 php 를 사용할 수 있고,

.htaccess 를 apache 문법으로 사용이 가능 하다는 장점이 있고, was 의 빠른 처리를 위한 갯수를 늘리거나 php 버전 교체도 쉬울 예정이기 때문에 채택 하였다.

3tier_20220511

tier 1 = x86_64 – oracle linux 8 – nginx (Let’s encrypt SSL 구성 및 리버스프록시 설정)

tier 2 = arm64 – oracle linux 8 – memcache (session 적재 용도), docker – amazon linux – httpd, phpfpm(amazon linux 가 arm64 에서 최신 php 버전을 지원한다.)

tier 3 = arm64 – oracle linux 8 – mariadb

티어2 의 구성을 위해 ARM 인스턴스에 docker 레포지토리를 추가 하고, docker 와 memcache 를 설치 하고 활성화 한다.

~]# cd /etc/yum.repos.d

~]# curl https://download.docker.com/linux/centos/docker-ce.repo -O

~]# dnf install docker-ce docker-ce-cli containerd.io docker-compose-plugin memcached

~]# systemctl enable --now docker.service memcached.service

위에서 언급 했지만 ARM64 cpu는 지원 하는 서드 파티 레포지토리가 없다.

AWS 에서 사용하는 Amazon Linux 2 의경우 내장된 명령어(repo) amazon-linux-extras 를 이용하여 최신 버전의 php 7.4 및 8.0 을 사용할 수 있다.

Amazon Linux 2 는 RHEL 또는 Fedora 와 같은 계열 이라고 볼 수 있다.

ARM64 서버에서 http 및 php를 구동하는 도커 이미지는 기존과 같은 방법으로 생성해 두었으니

아래와 같이 pull 을 한다. ‘ㅅ’a (https://hub.docker.com/r/san0123/amzn2-arm64-http-php)

1	~]# docker pull san0123/amzn2-arm64-http-php:7.4

docker 내부에서 apache 및 php-fpm 은 apache:apache 권한으로 작동을 하게 되어 있다.

아래와 같이 docker 호스트 서버에 apache 그룹 및 apache 유져를 생성 해두면 권한 문제가 맞추어 지기 때문에 퍼미션 지정이 필요 없어 진다.

~]# groupadd -g 48 apache

~]# useradd -s /sbin/nologin -u 48 -g apache -d /usr/share/httpd -c Apache apache

~]# mkdir -p /var/www/html

~]# chown -R apache:apache /var/www/html

도커 프록시로 처리되어 http 포트를 firewall-cmd 명령어로 방화벽에 열 필요는 없지만 컨테이너 안에서 ARM 호스트 서버쪽으로 session 적재를 위해 접근 하기 때문에 방화벽을 허용 처리 한다.

1 2	~]# firewall-cmd --add-service=memcache --permanent ~]# firewall-cmd --reload

도커 명령어를 이용해 컨테이너를 생성 한다.

~]# docker run -d \

--restart unless-stopped \

--add-host host.docker.internal:host-gateway \

-p 80:80 \

-v /var/www/html:/var/www/html \

san0123/amzn2-arm64-http-php:7.4

포트 매칭(:80) 및 볼륨 매칭(/var/www/html)을 해서 컨테이너는 생성 했기 때문에

docker 내부가 아닌 Oracle Linux 상의 /var/www/html 폴더로 이동 하여 아래의 내용과 같이 index.php 를 만들고 http(:80) 포트로 접속하여 확인 한다.

~]# cd /var/www/html

~]# vi index.php

1 2	<?php phpinfo();

2022-05-04_144251

다음은 x86_64 인스턴스에 nginx 으로 Lets’encrypt 으로 보안서버 SSL 을 구현 하고

reverse proxy 를 해서 현재 was 서버 쪽으로 접속 시키는 부분이 남았다. (Tier 1)

하지만 was 서버도 apache를 가지고 있기 때문에 사이트를 단순히 구동 시키는건 가능 하다 ‘ㅅ’a

docker 를 만들때 httpd 가 생성 하는 로그는 stdout/stderr 으로 연결 해두었다.

이는 json 형태로 저장 되며 /var/lib/docker/containers/컨테이너풀아이디/컨테이너풀아이디-json.log 경로에 json 형태로 존재 한다.

명령어로 확인 하는 방법은 아래 방법으로 확인할 수 있다. [apache(httpd), php-fpm]

Apache 로그 확인

~]# docker logs --tail=100 --follow 컨테이너

php-fpm 로그 확인

~]# docker exec -it 컨테이너 tail -100f /var/log/php-fpm/www-error.log

아래는 위에서 pull 받은 도커이미지를 구축할때 사용된 Dockerfile 이다.

FROM amazonlinux:latest

MAINTAINER Enteroa <enteroa@kakao.com> version: demonize

RUN amazon-linux-extras enable php7.4 &&\

yum -y install httpd php-cli php-pdo php-fpm php-json php-mysqlnd php-bcmath php-gd php-intl php-mbstring php-opcache php-pear php-soap php-xml php-pecl-memcached &&\

yum clean all &&\

sed -i 's+^post_max_size = 8M+post_max_size = 120M+g;s+^upload_max_filesize = 2M+upload_max_filesize = 100M+g;s+^short_open_tag = Off+short_open_tag = On+g;s+;mysqli.allow_local_infile = On+mysqli.allow_local_infile = On+g;s+^expose_php = On+expose_php = Off+g' /etc/php.ini &&\

sed -i 's+pid = /run/php-fpm/php-fpm.pid+pid = /run/httpd/php-fpm.pid+g' /etc/php-fpm.conf &&\

sed -i 's+listen = /run/php-fpm/www.sock+listen = 9000+g;s+^php_value\[session.save_handler\] = files+php_value[session.save_handler] = memcached+g;s+^php_value\[session.save_path\] = /var/lib/php/session+php_value[session.save_path] = "host.docker.internal:11211"+g' /etc/php-fpm.d/www.conf &&\

sed -i 's+SetHandler "proxy:unix:/run/php-fpm/www.sock|fcgi://localhost"+SetHandler "proxy:fcgi://127.0.0.1:9000"+g' /etc/httpd/conf.d/php.conf &&\

sed -i 's+UserDir disabled+UserDir html+g;s+tory "/home/\*/public_html">+tory "/var/www/html">+g' /etc/httpd/conf.d/userdir.conf &&\

sed -i 's+^LoadModule mpm_prefork_module modules/mod_mpm_prefork.so+#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so+g;s+^#LoadModule mpm_event_module modules/mod_mpm_event.so+LoadModule mpm_event_module modules/mod_mpm_event.so+g' /etc/httpd/conf.modules.d/00-mpm.conf &&\

echo "RemoteIPHeader X-Forwarded-For" >> /etc/httpd/conf/httpd.conf && echo "RemoteIPTrustedProxy 10.0.0.1/24" >> /etc/httpd/conf/httpd.conf &&\

DOTHT_NUM=$(grep -n '^<Files ".ht' /etc/httpd/conf/httpd.conf | awk -F: '{print $1+1}') \

sed -i "${DOTHT_NUM}s+Require all denied+Require all granted+g;s+#ServerName www.example.com:80+ServerName localhost+g" /etc/httpd/conf/httpd.conf &&\

ln -sf /dev/stdout /var/log/httpd/access_log && ln -sf /dev/stderr /var/log/httpd/error_log

WORKDIR /var/www/html

EXPOSE 80

ENTRYPOINT ["/bin/sh", "-c" , "/usr/sbin/php-fpm -D && /usr/sbin/httpd -D FOREGROUND"]

AWS 서버 발생 로그의 분리 보관 (amazon-cloudwatch-agent)

서버내 dbus -> rsyslogd 에 의해 수집된 시스템 로그는 /var/log 아래에 파일 형태로 저장 된다.

이는 /etc/logrotate.conf 설정에 따라 서버내에 보관이 된다.

다만 보관된 파일의 파일 형태로 저장되어 있기 때문에 구조만 알고 있다면 파일을 삭제 하거나 변조 할 수 있으므로

추후 추적을 용의 하게 하기 위해, 데이터 무결성을 보장하기 위해, 혹은 다중의 서버의 데이터를 모아서 보관 하기위해 log 콜렉팅을 하는것이 일반적인 보안 방법 이다.

단순한 rsyslogd 를 이용한 udp 푸시 및 graylog collecting 은 기존에 설명을 했지만

AWS 상에서는 CloudWatch Log 라는 기능을 제공 한다 이를 통해 지표 형태로 보거나 알람 설정등을 할 수 있다.

서버에서는 CloudWatch log 쪽으로 데이터를 넣어주는 프로그램을 설치해서 운용 하며 이후

Log 파일의 안전한 분리 보관, 보관 주기 설정, 알람 설정 등을 웹 콘솔상에서 편하게 진행할 수 있다.

기존에 centos 7 에서는 yum 을 이용하여 awslogs 라는 프로그램을 설치하여 같은 기능을 사용하고 있었으나

Rockylinux 8 에서는 dnf 패키지가 없는 관계로 RPM 설치를 필요로 한다.

AWS 웹콘솔 에서 IAM 메뉴의 Role (역할) 을 생성 하고 권한을 부여 한다. (중간에 권한은 지정하지 않고 생성 하고 추후 인라인 정책으로 생성 한다.)

인라인 정책을 생성 한다. (생성한 정책이 다른 계정 이나 역할에 공통으로 부여할 필요하 있으면 일반 정책 생성 후 연결 한다.)

{

"Version": "2012-10-17",

"Statement": [

{

"Sid": "VisualEditor0",

"Effect": "Allow",

"Action": [

"logs:CreateLogStream",

"logs:DescribeLogStreams",

"logs:PutLogEvents"

"Resource": [

"arn:aws:logs:ap-northeast-2:*:log-group:*"

]

{

"Sid": "VisualEditor1",

"Effect": "Allow",

"Action": "logs:PutLogEvents",

"Resource": [

"arn:aws:logs:ap-northeast-2:*:log-group:*:*:*"

]

{

"Sid": "VisualEditor2",

"Effect": "Allow",

"Action": "logs:CreateLogGroup",

"Resource": "*"

}

]

}

위 json 정책은 ap-northeast-2 (서울) 리전에 로그 를 쌓는 기능만 허용 하는것으로 제한 하였다.

생성된 Role (역할) 을 필요한 EC2에 연결 한다.

위에서 이야기 했지만 yum(dnf) 설치가 RockyLinux 8 에서 되지 않는다. 때문에 AWS 에서 배포 하는 rpm 파일을 가지고 설치를 진행 한다. (amazon-cloudwatch-agent 설치 메뉴얼)

~]$ sudo -i

~]# cd /opt

~]# curl https://s3.amazonaws.com/amazoncloudwatch-agent/redhat/amd64/latest/amazon-cloudwatch-agent.rpm -O

~]# rpm -U ./amazon-cloudwatch-agent.rpm

편리하게 사용하라고 대화식 명령어를 실행 하도록 되어 있다.
/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

하지만 문답 형식의 영어를 읽기도 귀찮고(어렵고) Role (정책)을 부여하여 키없이 로그를 쌓게 하고자 했으나

스크립트에서는 필수적으로 Access Key/Secret Key 를 입력 해야 하는 부분이 있기 때문에 스크립트로 진행이 어렵다.

때문에 /opt/aws/amazon-cloudwatch-agent/bin/config.json 파일을 직접 수정 해 준다. (amazon-cloudwatch-agent 설정 메뉴얼)

{

"agent": {

"metrics_collection_interval": 30,

"run_as_user": "root",

"logfile": "/var/log/aws-cw-agent.logs"

"logs": {

"logs_collected": {

"files": {

"collect_list": [

{

"file_path": "/var/log/messages",

"log_group_name": "XXXX-syslog",

"log_stream_name": "XXXXXXXXXXXX-01_{instance_id}_messages",

"timestamp_format": "%b %d %H:%M:%S"

{

"file_path": "/var/log/secure",

"log_group_name": "XXXX-syslog",

"log_stream_name": "XXXXXXXXXXXX-01_{instance_id}_secure",

"timestamp_format": "%b %d %H:%M:%S"

{

"file_path": "/var/log/httpd/access_log",