白帽子講Web掃描內(nèi)容提要
Web 掃描器是一種可以對(duì)Web 應(yīng)用程序進(jìn)行自動(dòng)化安全測(cè)試的工具,它可以幫助我們快速發(fā)現(xiàn)目標(biāo)存在的安全風(fēng)險(xiǎn),并能夠?qū)ζ溥M(jìn)行持續(xù)性安全監(jiān)控。
《白帽子講Web掃描》詳細(xì)講述了Web 掃描器的概念、原理、實(shí)踐及反制等知識(shí),筆者憑借多年的安全工作經(jīng)驗(yàn),站在安全和開(kāi)發(fā)的雙重角度,力求為讀者呈現(xiàn)出一個(gè)完整的Web 掃描知識(shí)體系。通過(guò)對(duì)《白帽子講Web掃描》的學(xué)習(xí)和實(shí)踐,可以讓你快速建立自己的Web 掃描體系,提高安全基礎(chǔ)能力。[1]
白帽子講Web掃描目錄
第1 章 掃描器基礎(chǔ)1
1.1 什么是Web 掃描器1
1.2 掃描器的重要性2
1.3 掃描器的類型3
1.4 常見(jiàn)的掃描器(掃描器的示例).4
1.5 掃描器評(píng)測(cè)8
1.6 漏洞測(cè)試平臺(tái)9
1.7 掃描環(huán)境部署9
1.7.1 測(cè)試環(huán)境9
1.7.2 開(kāi)發(fā)環(huán)境12
第2 章 Web 爬蟲(chóng)基礎(chǔ).19
2.1 什么是Web 爬蟲(chóng)19
2.2 瀏覽器手工爬取過(guò)程.19
2.3 URL 21
2.4 超級(jí)鏈接.22
2.5 HTTP 協(xié)議(Request/Response)23
2.5.1 HTTP 請(qǐng)求23
2.5.2 HTTP 響應(yīng)24
2.6 HTTP 認(rèn)證.25
2.6.1 Basic 認(rèn)證(基本式) 26
2.6.2 Digest 認(rèn)證(摘要式) 27
2.7 HEAD 方法29
2.8 Cookie 機(jī)制29
2.9 DNS 本地緩存.31
2.9.1 瀏覽器緩存31
2.9.2 系統(tǒng)緩存32
2.10 頁(yè)面解析33
2.11 爬蟲(chóng)策略34
2.11.1 廣度優(yōu)先策略34
2.11.2 深度優(yōu)先策略34
2.11.3 優(yōu)先策略(聚焦爬蟲(chóng)策略)35
2.12 頁(yè)面跳轉(zhuǎn)35
2.12.1 客戶端跳轉(zhuǎn)36
2.12.2 服務(wù)端跳轉(zhuǎn)37
2.13 識(shí)別404 錯(cuò)誤頁(yè)面38
2.14 URL 重復(fù)/URL 相似/URL 包含39
2.14.1 URL 重復(fù)39
2.14.2 URL 相似39
2.14.3 URL 包含39
2.15 區(qū)分URL 的意義40
2.16 URL 去重.40
2.16.1 布隆過(guò)濾器(Bloom Filter) 41
2.16.2 哈希表去重41
2.17 頁(yè)面相似算法42
2.17.1 距離(Levenshtein Distance) 42
2.17.2 Simhash 43
2.18 斷連重試43
2.19 動(dòng)態(tài)鏈接與靜態(tài)鏈接43
第3 章 Web 爬蟲(chóng)進(jìn)階.44
3.1 Web 爬蟲(chóng)的工作原理.44
3.2 實(shí)現(xiàn)URL 封裝45
3.3 實(shí)現(xiàn)HTTP 請(qǐng)求和響應(yīng)47
3.4 實(shí)現(xiàn)頁(yè)面解析.58
3.4.1 HTML 解析庫(kù).58
3.4.2 URL 提取59
3.4.3 自動(dòng)填表66
3.5 URL 去重去似.67
3.5.1 URL 去重67
3.5.2 URL 去似去含73
3.6 實(shí)現(xiàn)404 頁(yè)面識(shí)別75
3.7 實(shí)現(xiàn)斷連重試.77
3.8 實(shí)現(xiàn)Web 爬蟲(chóng)78
3.9 實(shí)現(xiàn)Web 2.0 爬蟲(chóng)83
第4 章 應(yīng)用指紋識(shí)別94
4.1 應(yīng)用指紋種類及識(shí)別.94
4.2 應(yīng)用指紋識(shí)別的價(jià)值.95
4.3 應(yīng)用指紋識(shí)別技術(shù)96
第5 章 安全漏洞審計(jì)102
5.1 安全漏洞審計(jì)三部曲102
5.2 通用型漏洞審計(jì).103
5.2.1 SQL 注入漏洞103
5.2.2 XSS 跨站漏洞111
5.2.3 命令執(zhí)行注入120
5.2.4 文件包含漏洞129
5.2.5 敏感文件泄露136
5.3 Nday/0day 漏洞審計(jì).146
5.3.1 Discuz!7.2 faq.php SQL 注入漏洞147
5.3.2 Dedecms get webshell 漏洞150
5.3.3 Heartbleed 漏洞(CVE-2014-0160).153
5.3.4 PHP multipart/form-data 遠(yuǎn)程DDoS(CVE-2015-4024) 157
第6 章 掃描器進(jìn)階160
6.1 掃描流程160
6.2 軟件設(shè)計(jì)163
6.3 功能模塊164
6.4 軟件架構(gòu)165
6.5 數(shù)據(jù)結(jié)構(gòu)166
6.6 功能實(shí)現(xiàn)167
6.6.1 IP/端口掃描和檢測(cè)(端口模塊) 167
6.6.2 端口破解模塊170
6.6.3 子域名信息枚舉172
6.6.4 文件、目錄暴力枚舉探測(cè)(不可視URL 爬取) 175
6.6.5 掃描引擎.176
6.7 掃描報(bào)告180
6.8 掃描測(cè)試182
第7 章 云掃描.185
7.1 什么是云掃描185
7.2 云掃描架構(gòu).185
7.3 云掃描實(shí)踐.187
7.3.1 Celery 框架188
7.3.2 掃描器Worker 部署189
7.3.3 云端調(diào)度.193
7.4 云掃描服務(wù).199
第8 章 企業(yè)安全掃描實(shí)踐.202
8.1 企業(yè)為什么需要掃描202
8.2 企業(yè)掃描的應(yīng)用場(chǎng)景202
8.2.1 基于網(wǎng)絡(luò)流量的掃描202
8.2.2 基于訪問(wèn)日志的掃描208
8.2.3 掃描的應(yīng)用場(chǎng)景比較217
第9 章 關(guān)于防御218
9.1 爬蟲(chóng)反制218
9.1.1 基于IP 的反爬蟲(chóng)218
9.1.2 基于爬行的反爬蟲(chóng).221
9.2 審計(jì)反制223
9.2.1 云WAF223
9.2.2 云WAF 的價(jià)值223
9.3 防御策略225
附錄A227
附錄B229[1]