在集群化環(huán)境里萬能文章采集 現場，日志采集是重要基礎(chǔ)設(shè)施高端化。

　　開源主流解決方案是基于flume-ng，但在實(shí)際使用中發(fā)現(xiàn)flume-ng存在諸多問題我有所應，比如flume-ng的spoolDir采集器只能對(duì)文件名轉(zhuǎn)檔后的大小不能變化的最終日志文件進(jìn)行采集提單產，不能滿足采集時(shí)效性要求，如果要采集正在被不斷追加的日志文件能力建設，只能用exec采集器搭配tail -F命令關註，但tail -F命令又不能通配目標(biāo)目錄中將來新增的未知文件名。其它解決方案如logstash由于是JAVA開發(fā)無障礙，內(nèi)存占用和性能都不能達(dá)到最優(yōu)連日來。

　　作為一個(gè)日志采集的本地代理，內(nèi)存占用應(yīng)該小而受控認為，性能應(yīng)該高效系統，耗費(fèi)CPU低對(duì)應(yīng)用影響盡可能小，要能異步實(shí)時(shí)追蹤日志文件增長(zhǎng)重要意義，某些應(yīng)用會(huì)在目標(biāo)目錄下產(chǎn)生多個(gè)日志文件甚至現(xiàn)在不能確定將來的日志文件名交流等，架構(gòu)上要支持多輸入多輸出流式日志采集傳輸，為了達(dá)成以上需求規劃，我研究了所需技術(shù)提高，評(píng)估實(shí)現(xiàn)難度并不高，就自研了logpipe進入當下。

　　logpipe是一個(gè)分布式紮實、高可用的用于采集效高化、傳輸、對(duì)接落地的日志工具投入力度，采用了插件風(fēng)格的框架結(jié)構(gòu)設(shè)計(jì)創造，支持多輸入多輸出按需配置組件用于流式日志收集架構(gòu)，無第三方依賴貢獻法治。

　　logpipe的一種用法是能異步實(shí)時(shí)監(jiān)控集群里的所有日志目錄環境，一旦有文件新增或追加寫，立即采集并傳輸?shù)酱蟠鎯?chǔ)上以相同日志文件名合并落地高質量，或者寫入HDFS相對簡便。異步意味著不影響應(yīng)用輸出日志的性能，實(shí)時(shí)意味著一有日志立即采集解決方案，很多日志采集工具如flume-ng趨勢、logstash介紹文檔通篇不提采集方式是否實(shí)時(shí)還是周期性的，這很關(guān)鍵上高質量。

　　logpipe概念樸實(shí)一站式服務、使用方便、配置簡(jiǎn)練深入交流，沒有如sink等一大堆新名詞引領作用。

　　logpipe由若干個(gè)input、事件總線和若干個(gè)output組成臺上與臺下。啟動(dòng)logpipe管理進(jìn)程(monitor)用的舒心，派生一個(gè)工作進(jìn)程(worker)，監(jiān)控工作進(jìn)程崩潰則重啟工作進(jìn)程集聚效應。工作進(jìn)程裝載配置加載若干個(gè)input插件和若干個(gè)output插件集成，進(jìn)入事件循環(huán)，任一input插件產(chǎn)生消息后輸出給所有output插件互動講。

　　logpipe自帶了5個(gè)插件（今后將開發(fā)更多插件）穩定性，分別是：

　　* logpipe-input-file 用inotify異步實(shí)時(shí)監(jiān)控日志目錄，一旦有文件新建或文件增長(zhǎng)事件發(fā)生（注意：不是周期性輪詢文件修改時(shí)間和大羞^程中。┤ネ黄?，立即捕獲文件名和讀取文件追加數(shù)據(jù)文章采集程序插件。該插件擁有文件大小轉(zhuǎn)檔功能達到，用以替代應(yīng)用日志庫(kù)對(duì)應(yīng)功能智能設備，提高應(yīng)用日志庫(kù)寫日志性能文章采集助手。該插件支持?jǐn)?shù)據(jù)壓縮文章采集助手蓬勃發展。

　　* logpipe-output-file 一旦輸入插件有消息產(chǎn)生后用相同的文件名落地文件數(shù)據(jù)特點。該插件支持?jǐn)?shù)據(jù)解壓。

　　* logpipe-input-tcp 創(chuàng)建TCP服務(wù)偵聽端重要性，接收客戶端連接向好態勢，一旦客戶端連接上有新消息到來平臺建設，立即讀取服務機製。

　　* logpipe-output-tcp 創(chuàng)建TCP客戶端註入了新的力量，連接服務(wù)端，一旦輸入插件有消息產(chǎn)生后輸出到該連接更多可能性。

　　* logpipe-input-exec 執(zhí)行長(zhǎng)命令并捕獲輸出

　　* logpipe-output-hdfs 一旦輸入插件有消息產(chǎn)生后用相同的文件名落地到HDFS中去創新。該插件支持?jǐn)?shù)據(jù)解壓。

　　使用者可根據(jù)自身需求緊迫性，按照插件開發(fā)規(guī)范結構，開發(fā)定制插件文章采集程序插件，如IBMMQ輸入插件高效、HDFS輸出插件等溝通協調。