一、 界面測試 1、窗體界面測 2、控件界面測試 3、菜單界面測試 4、特殊屬性的界面測試
二、 易用性測試 易用性測試要點 ? 業(yè)務符合性 ? 功能定制性 ? 業(yè)務模塊的集成度 ? 數(shù)據(jù)共享能力 ? 約束性 ? 交互性
1、控件易用性測試
2、菜單易用性測試
3、快捷方式易用性測
4、聯(lián)機幫助易用性測試
5、輔助系統(tǒng)易用性測試
向?qū)y試 信息提示是否用具有可以理解性的語言進行描述 對重要的、有破壞性的命令是否提示 信息提示是否統(tǒng)一 三、兼容性測試 1 兼容性測試的含義 兼容性測試驗證軟件與其所在的環(huán)境的依賴程度,包括對硬件的依賴程度,對平臺的依 賴程度、其他軟件的依賴程度等。 3 兼容性測試的前提
標準和規(guī)范是軟件兼容性的保證 高級標準 ? 產(chǎn)品遵守的規(guī)則 低級標準 ? 文件格式和網(wǎng)絡通信協(xié)議 4 兼容性測試的測試點
四、文檔測試 1 哪些文檔需要測試
用戶手冊 聯(lián)機幫助 Readme 文件(自述文件) 授權(quán)/注冊登記表/用戶許可協(xié)議 指南及向?qū)?/li> 包裝文字和圖形 市場宣傳材料 標簽 2 文檔測試檢查單 文檔測試需要注意的問題 對于軟件用戶來說,程序之外的內(nèi)容也是軟件的一部分; 文檔常常得不到足夠的重視,缺乏資金和技術(shù)支持以及測試; 編寫文檔的人可能并不是軟件特性方面的專家,對軟件不了解; 由于文檔的印刷需要花費時間,所以之間產(chǎn)生的問題得不到修復; 文檔測試不僅僅是文字校對,還涉及程序本身的錯誤。 三、 安裝測試 1 安裝測試的分類
安裝測試 運行測試 卸載測試 加密測試 2 安裝測試注意事項 安裝手冊評估 安裝的自動化程度測試 安裝選項和設置的測試 安裝過程的中斷測試 安裝順序測試 多環(huán)境安裝測試 安裝的正確性測試 修復安裝測試 卸載測試 3 安裝測試的測試用例
4 運行測試的測試用例
5 卸載測試的測試用例
6 加密測試 6.1 加密測試的內(nèi)容
軟件加密 ? 序列號的測試 ? 解密程序的測試 硬件加密 ? 加密狗的測試 6.2 加密測試的測試用例 四、性能測試 (一)性能測試的含義 (二)性能測試術(shù)語
1 請求 客戶端向服務器發(fā)出的請求獲得數(shù)據(jù)或文件、圖片等資源。 2 響應 服務器向客戶端發(fā)送數(shù)據(jù)或文件、圖片等資源。 3 協(xié)議
傳輸層協(xié)議 ? tcp、udp 應用層協(xié)議 ? ftp、http、dns、dhcp、smtp、pop 4 響應時間 應用系統(tǒng)從用戶發(fā)出請求開始,到客戶端接收到所有數(shù)據(jù)所消耗的時間。 網(wǎng)頁響應時間細分 ? 網(wǎng)絡傳輸時間:N1+N2+N3+N4。 ? 應用服務器處理數(shù)據(jù):A1+A3。 ? 數(shù)據(jù)庫處理時間:A2。 5 在線用戶 正在使用軟件的用戶。 6 并發(fā)用戶 指同一時刻與服務器進行數(shù)據(jù)交互的所有用戶數(shù)量。 ? 在線用戶未必是并發(fā)用戶。 計算并發(fā)用戶數(shù) 一般都根據(jù)以往經(jīng)驗和行業(yè)標準進行估算。 ? 如電信業(yè)并發(fā)用戶數(shù)常為在線用戶的萬分之一; ? OA 軟件并發(fā)用戶數(shù)一般在在線用戶數(shù)的 5%-20%。 參考其他同類產(chǎn)品。 分析歷史數(shù)據(jù)(一年或半年內(nèi)的每天需要處理的交易業(yè)務量)。 試上線運行。 7 虛擬用戶 性能測試工具使用虛擬用戶模擬真實用戶的行為。 8 吞吐量與吞吐率 吞吐量 ? 指一段時間內(nèi)服務器處理的字節(jié)數(shù),直接體現(xiàn)服務器的承載能力。 ? 從吞吐量和 VU 關(guān)聯(lián)圖可看出,吞吐量在 VU 增長到一定數(shù)量時,軟件系統(tǒng)出現(xiàn)性 能瓶頸,此時吞吐量不再隨 VU 增多而增大,而是趨于平衡。 ? 實際測試時,吞吐量在測試前是不知道的,必須通過不斷添加虛擬用戶來測試,以 找到吞吐量的拐點,即吞吐量的最大值。
吞吐率(Throughout) ? 指單位時間內(nèi)從服務器返回的字節(jié)數(shù),即吞吐量/測試時間,也可以是單位時間內(nèi) 處理的客戶請求數(shù)。 ? 它是衡量網(wǎng)絡性能一個重要指標。通常情況下吞吐量越大,吞吐率的值也越大,吞 吐率越大表示系統(tǒng)的負載能力越強。 9 每秒事務數(shù)(TPS,TransactionPerSecond) 表示每秒系統(tǒng)處理的事務數(shù),是衡量系統(tǒng)處理能力的重要指標。 如果每個事務對應一筆業(yè)務,那么 TPS 即表示服務器每秒處理的業(yè)務筆數(shù)。 10 點擊率(HitPerSecond) 指每秒鐘用戶向服務器提交的 HTTP 請求的數(shù)量。 點擊一次可能會向服務器發(fā)出多個 HTTP 請求。 ? 通常服務器都具有防刷新機制,以防刷新導致的巨大壓力。 點擊率僅僅反映客戶端提交的請求數(shù),不能表現(xiàn)服務器當前承受的壓力,因為服務器不 能處理全部請求時可以拒絕客戶端的部分請求。 若把每次點擊作為一次提交事務來對待,則點擊率與 TPS 同義。 11 思考時間(ThinkTime) 也稱"休眠時間"、等待時間。 指用戶在進行操作時,每個請求之間的時間間隔。 負載測試一般忽略思考時間,壓力或可靠性測試根基實際情況設置一個思考時間。通常 思考時間設置為 3-5s。 12 資源利用率 資源利用率 ?指服務器系統(tǒng)中不同硬件資源被占用的程度,主要包括 CPU 利用率、內(nèi)存利用率、 磁盤利用率、網(wǎng)絡等。 ? 性能測試中常用資源利用率進行橫向?qū)Ρ龋?CPU 使用率很高,而其他資源較低, 可知 CPU 是系統(tǒng)瓶頸。 ? 配置調(diào)優(yōu)測試中,通過比較配置調(diào)優(yōu)前后的系統(tǒng)資源利用率來判斷調(diào)優(yōu)效果。 性能計數(shù)器(Counter) ? 是描述服務器或操作系統(tǒng)性能的一些數(shù)據(jù)指標。主要是通過添加計數(shù)器來觀察系統(tǒng) 資源的使用情況。 ? 計數(shù)器在性能測試中發(fā)揮著“監(jiān)控和分析”的關(guān)鍵作用,尤其是分析系統(tǒng)可擴展性 和定位性能瓶頸時。 ? 性能測試中分析測試結(jié)果時,必須基于多個不同的計數(shù)器進行分析。 (三) 性能測試分類 1 負載測試(LoadTesting)
通過對被測試系統(tǒng)不斷的加壓,直到超過預定的指標或者部分資源已經(jīng)達到了一種飽和 狀態(tài)不能再加壓為止。 此方法主要是為了尋找系統(tǒng)最大的負載能力,為性能調(diào)優(yōu)提供依據(jù)。 2 壓力測試(StressTesting) 當系統(tǒng)已經(jīng)達到一定的飽和程度(如 CPU、磁盤等已經(jīng)處于一種飽和狀態(tài))時,測試 系統(tǒng)處理業(yè)務的能力,測試系統(tǒng)是否會出現(xiàn)崩潰等。 一般通過模擬負載等方法,使系統(tǒng)資源達到一個較高水平。 此方法一般用于系統(tǒng)穩(wěn)定性測試。 3 并發(fā)測試(ConcurrencyTesting) 通過模擬用戶并發(fā)訪問,測試多用戶同時訪問同一應用、模塊或數(shù)據(jù),觀察系統(tǒng)是否存 在死鎖、系統(tǒng)處理速度明顯下降等性能問題。 4 容量測試(VolumeTesting) 尋找軟件系統(tǒng)某項指標的極限值(如最大并發(fā)用戶數(shù)、數(shù)據(jù)庫記錄數(shù)、最大負載、工作 量等)的測試,是一種測試目標。 5 可靠性測試(ReliabilityTesting) 或稱穩(wěn)定性測試,健壯性測試。 當系統(tǒng)在一定的業(yè)務壓力下,讓系統(tǒng)持續(xù)運行一段時間,觀察系統(tǒng)是否達到要求的穩(wěn)定 性。 可靠性測試一般必須給出一個明確的要求,如系統(tǒng)能夠持續(xù)無故障運行多少天。 是一種測試目標。 6 配置測試(ConfigurationTesting) 配置測試 ?通過調(diào)整系統(tǒng)軟/硬件環(huán)境,了解不同環(huán)境對系統(tǒng)性能的影響,從而找到系統(tǒng)的最 優(yōu)配置。 ? 此方法一般用于系統(tǒng)調(diào)優(yōu)和規(guī)劃。 基準測試 ? 在一定的軟硬件及網(wǎng)絡環(huán)境下,模擬一定數(shù)量的虛擬用戶運行一種或多種業(yè)務,將 測試結(jié)果作為基線數(shù)據(jù),在系統(tǒng)調(diào)優(yōu)或系統(tǒng)評測過程中,通過運行相同的業(yè)務場景 來比較測試結(jié)果確定調(diào)優(yōu)是否達到效果或為系統(tǒng)的選擇提供決策依據(jù)。 (四) 性能測試流程 性能測試過程分為四個階段:測試設計、構(gòu)建、執(zhí)行、分析。 1 設計階段 定義待測試的業(yè)務流程、業(yè)務的平均處理量、業(yè)務處理量的最高峰值、組合業(yè)務流程、 系統(tǒng)的整體用戶和響應時間目標。 2 構(gòu)建階段
設計設置和配置測試系統(tǒng)及基礎設施、使用自動化性能測試解決方案構(gòu)建測試腳本和負 載方案。 具體包括:編寫腳本、增強腳本、設計場景。 3 執(zhí)行階段 包括運行負載方案和測量系統(tǒng)性能,對系統(tǒng)資源進行監(jiān)控。 4 分析、診斷和調(diào)節(jié)階段 主要測量系統(tǒng)性能并使負載測試進入下一級別,重點查找問題原因以幫助開發(fā)工程師迅 速解決問題,并實時調(diào)節(jié)系統(tǒng)參數(shù)以提高性能。 五、 主流性能測試工具