網頁內容擷取

資料科學年會
黑客松
Splunk Live


資料科學家三項技能樹：資訊、數學、統計

BIg Data的5V

Volumne
Velocity
Variety
Veracity
Value

Crawler - facebook

Type A 直接從該平台或網站擷取資料
Type B 透過XML, CSV, API方式，以Crawler方式存取資料。

Type A cases: facebook, 104, PChome, Chunghwa Telecom, 591
Type B cases: Search Engine(Goolge, Yahoo)

Read More

ASP.NET：控制項「Details View 」

一、 連接資料庫步驟：

1. 連接Database, SQL 2012
2. 選擇資料來源，點選「新資料來源」
3. 選擇「資料庫」
4. 點選「新增連接」
5. 伺服器名稱填入資料庫位置，如192.168.168.130
6. 輸入資料庫認證方式（Windows或SQL認證）
7. 選擇要連接的資料表，可於「進階」內選擇是否要新增、刪除、修改選項。

二、 修改文章欄位與樣版設定

1. 選取「編輯欄位」
2. 點選欲轉成樣版的欄位，點選「轉為樣版」

四、

「Bind」是雙向繫結，無法撰寫任何程式碼。

在原始碼中，可加入換行指令。

原始：Bind("article")

變更後：Eval("article").ToString().Replace("\r\n","<br>")

可將C#中換行符號\r, \n替換為<br>

五、樣版Data Binding注意地方：

Read More

ASP.NET：大型控制項的使用

CommandArgument: 傳遞參數使用，提供後置程式碼使用。
CommandName: 定義動作function

例如：
CommandName = Page （分頁）
CommandArgument = 3

定義此按鈕為分頁功能，當按下按鈕後即跳到第三頁。


protected void GridView1_RowEditing(object sender, GridViewEditEventArgs e)
    {
        GridView1.EditIndex = e.NewEditIndex;

    }
    protected void GridView1_PageIndexChanging(object sender, GridViewPageEventArgs e)
    {
        GridView1.PageIndex = e.NewPageIndex;
    }
    protected void GridView1_SelectedIndexChanging(object sender, GridViewSelectEventArgs e)
    {
        GridView1.SelectedIndex = e.NewSelectedIndex;
    }

透過e的function獲得使用者在前端操作的狀態或數值。


大型控制項四大天王：（Master-Detail 主表明細）
單一 Details View, Form View
列表 Grid View, List View

要在大型控制項中使用樣版的基礎控制項，必須要用FindControl()

TextBox TB = (TextBox) DetailsView1.FindControl("TextBox1");
Calendar CA = (Calendar) DetailsView1.FindControl("Calendar1");

TB.Text = CA.SelectedDate.ToShortDataString();

Read More

Splunk Q&A

1. bucket損壞？
2. Splunk搜尋到的事件，結合工單或稽核？
3. 時間比較
4. useother=f limit=0 跑timechart多筆資料
5. 如何得知兩張折線圖的差異？一致？
6. _time understood time, _indextime 檢索時間
7.  forwarder的管理
8. timechart span=1h == bucket _time span=1h
9. 教育訓練？資源
10. 即時監控面板的擺放：single value, timechart, statsistic table,
11. search command | rare punct : 找不常出現的紀錄
12. search command | cluster showcount=t t=0.5 | table _time, cluster_count, cluster_label, _raw | sort + cluster_count
13. serarch command | transaction maxpause=1s | where evebtcount > 100
等於 stats list (...) by time
可以利用transaction的data model的離峰時段。

Read More

累積紀錄的重要

以前國中時期，開使流行一些知名的部落格：像是天空、Yahoo等等，
後來因為覺得似乎都把心情攤在陽光下，
好像也容易招惹不必要的是非，所以後來也關掉了。

最近幾年心境開始慢慢有沈澱的感覺，
似乎開始感覺到自己想走一個怎麼樣的人生，
整理這個TechMan的blog，有點像是「修整門面」的感覺，
有一個好的寫作平台、把學習到的事物開始慢慢紀錄累積起來，
不是想成為一方之言，只是開始明白「累積」的重要。

關於Blog的形式我挑了很久，逛了許多Google Blogger的範本，
但不是太花俏就是有著許多我不用不著的功能。

我想要的：簡潔、寫作風格、閱讀輕鬆、讓人專心閱讀。

於是便找到的現在這個外觀的風格，
順道推薦一下（人家免費的很辛苦...我還把人家的廣告code拿掉...)

BTNT  Theme - A Responsive Blogger Template

推薦許多不錯的Blogger範本，我挑了一個最順眼的、改一些HTML碼就開始用了，
接下來...整好門面，接下來便是好好的將學到的專業知識整理整理了。

Fighting! TechMan!

Read More