寫教學的最大目的是教會未來的自己

網站架設

來自幹股票的回測系統吧-2 抓資料失敗

如上一篇所說,我嘗試擷取yahoo 網站上的股市歷史資訊,但是經過一天的努力後發現無法成功,目前只能改由手動擷取。

在這理說明一下我研究的成果好了

1.首先使用者要在打開yahoo 歷史資訊的時後,會產生兩把key,其中一把放在cookie,一把放在網頁的JS 資訊當中

2.在使用者打開網頁後,JS資訊才會產生下載連結給消費者使用,期中最令人頭大的是網頁中的JS資訊太多太複雜,相同的參數名稱也有四五個,這對於我這種不擅長正則的人來說,完全擷取不能….是了半天搞不定 只好放棄

目前的做只能寫個form 手動上傳資料了….

Post to Twitter Post to Plurk Post to Facebook Send Gmail

來自幹股票的回測系統吧

玩股票也玩了一年了,學習到許多知識,根據許多大師的教導,要來建立自己的交易規則,為了驗證,我應該開始回測我的理論,然後有啥軟體我也不知道,所以我決定 來自幹了,只要有資料,理論上所有數據都算的出來吧?

今天先把網站環境弄出來,為啥用網站? 因為我靠這個吃飯的阿,雖然我沒拿來當做數學計算,但應該OK的,NGINX+PHP+MYSQL,花了10分鐘 把網站弄出來了,因為部方便給大家用,就不公開了XD

今天第一步 找尋資料來源。

本來我打算使用goodinfo 的歷史資訊,但發現他的資料不好處理,說是xls 資料,其實是經過美化的HTML…..,後來我找到美版yahoo 的股票資訊,好用阿

OK 周末來搞吧

然後使用介面UI 啥的,應該就看心情了….XD

參考資料 https://blog.xuite.net/fly888/go/29185880-%E5%BE%9Egoogle+%26+yahoo%E4%B8%8B%E8%BC%89%E8%82%A1%E7%A5%A8%E6%AD%B7%E5%8F%B2%E8%B3%87%E6%96%99

Post to Twitter Post to Plurk Post to Facebook Send Gmail

網站效能優化經驗談-apache VS nginx

經過多天的裝死,終於要寫第二篇了

 

因為我主要是用php撰寫網站的,所以在網頁伺服器軟體的選擇,基本上就是這兩款在比較了(如果還有其他更好的麻煩跟我說)

在好幾年前我曾經轉貼了一篇相關的比較文,這次我來寫一下我實作後的感想

 

首先 這兩套軟體是完全不同的軟體,各有優缺點,如何選擇就看各位了

因為這篇是要寫效能優化,所以先比較這部分好了

閱讀全文

Post to Twitter Post to Plurk Post to Facebook Send Gmail

網站效能優化經驗談-序

我目前這個網站速度慢爆了,效能什麼的不會發生在這裡

我的經驗 來自於我工作的網站 https://www.funtime.com.tw

有興趣可以看去看看

 

我是一位前(全)端工程師,基本上 從server建置到JS/CSS撰寫都由我負責

不敢說多專精,但也有四五年經驗了

以下只是經驗談,有興趣的人可以留言討論。~~~

閱讀全文

Post to Twitter Post to Plurk Post to Facebook Send Gmail

mariaDB+galera 的ㄧ些優缺點

我們公司網站www.funtime.com.tw 已經使用mariaDB+galera 的DB cluseter 系統已經一段時間了

我們是使用兩台DB 的同步運作模式

這套同步系統的最大好處是她的同步運作效率很高,相同的資料量用檔案匯入要4小時’ 但SST 同不只需2小時

先來介紹一下galera的運作原理

galera 是在收到query時先作分析,如果是單純select 就會直接回應給對方,如果是insert這類會更改DB的指令,就會同不丟給每個cluster上的DB

另外galera有一個快取機制,儲存最新更新的資料,如果當某個DB故障重啟時,她會使用其他DB的ˊ快取來回復,這稱作IST  她速度很快

另外還有一個機制叫做SST,這是當 DB掛點帶久超出快取容許範圍,就會作整個DB的重新同步,這時間就會比IST久很多

SST有一個恐怖缺限,就是在同步時,會把另一台DB鎖死,當然為了同步這樣做合理,但碰到我們公司這樣只有兩台DB的情況下就麻煩了

ㄧ台掛了兩台都不能用………

 

當然官方建議的方案是 開三台………..

好吧 這套系統的缺陷就在這了,對於需求不上不下的網站來說這有點浪費

 

Post to Twitter Post to Plurk Post to Facebook Send Gmail

MYSQL 轉mariaDB+galera的兩三事

前幾個月我們公司的網站的資料庫系統從MYSQL 5.1.3轉移到mairaDB ,其中最大的目的就是使用galera 同步技術,這當中碰到一些狀況…..

這一篇 主要就是說明一些我所知道的事,至於怎麼安裝的,請自己google吧…..

 

 

一開始我要說的是”MYSQL 轉 mariaDB 不保證完全相容….”,沒錯就是不完全相容,架設你的網站用的SQL 有點複雜,強烈建議先去測試一下,個人猜測是這樣的,mariaDB 只保證 從他所說的MYSQL版本移植過去是相容的,其他版本號不保證,另外因為mariaDB有些加速的手法會導致部分語法失靈,個人目前碰到兩種狀況 閱讀全文

Post to Twitter Post to Plurk Post to Facebook Send Gmail

網站平移備份

最近在做網站的測試,所以開了 台測試server,要把網站的資料複製到測試server

本來我都是 先把MYSQL 匯出、FTP 下載所有檔案

 

最近我學到新的快速方法

參考資料 http://jashliao.pixnet.net/blog/post/164556993-%E6%AF%8F%E5%A4%A9%E4%B8%80%E5%80%8Blinux%E6%8C%87%E4%BB%A4–scp%E6%8C%87%E4%BB%A4%28%E9%81%A0%E7%AB%AF%E6%AA%94%E6%A1%88%E5%8A%A0%E5%AF%86%E6%8B%B7%E8%B2%9D-

 

1. 檔案水平轉移法

scp -r /home/XXX/public_html/* XXX@IP:/home/XXX/public_html

用法和 cp 相同 -r : 轉移資料夾

從本地 複製到 遠端特定IP 的特定資料夾

倒過來寫也OK 可以從遠端抓資料過來

 

2.MYSQL 水平備份

mysqldump -u [SOURCE_userid] -h [SOURCE_IP] -e -q –password=[SOURCE_PASSWORD] SOURCE_db_Name | mysql -u [DISTANCE_userid] –password=[DISTANCE_PASSWORD] -h [DISTANCE_IP] DISTANCE_db_Name

 

這是直接把DB dump出來後直接匯入到 另一台DB 中,不過要特別注意 如果資料庫太大 超過連線時間 會直接炸開喔

Post to Twitter Post to Plurk Post to Facebook Send Gmail

提升資料庫 (SQL)效能

引用自 http://blog.xuite.net/j2ee/code/15120677-調校+SQL+以徹底改善應用程式效能

單純引用 給自己看

有些程式員在撰寫前端的應用程式時,會透過各種 OOP 語言將存取資料庫的 SQL 陳述式串接起來,卻忽略了 SQL 語法的效能問題。版工曾聽過某半導體大廠的新進程式員,所兜出來的一段 PL/SQL 跑了好幾分鐘還跑不完;想當然爾,即使他前端的 AJAX 用得再漂亮,程式效能頂多也只是差強人意而已。以下是版工整理出的一些簡單心得,讓長年鑽究 ASP.NET / JSP / AJAX 等前端應用程式,卻無暇研究 SQL 語法的程式員,避免踩到一些 SQL 的效能地雷。

1、資料庫設計與規劃

• Primary Key 欄位的長度儘量小,能用 small integer 就不要用 integer。例如員工資料表,若能用員工編號當主鍵,就不要用身分證字號。

• 一般欄位亦同。若該資料表要存放的資料不會超過 3 萬筆,用 small integer 即可,不必用 integer。

• 文字資料欄位若長度固定,如:身分證字號,就不要用 varchar 或 nvarchar,應該用 char 或 nchar。

• 文字資料欄位若長度不固定,如:地址,則應該用 varchar 或 nvarchar。除了可節省儲存空間外,存取磁碟時也會較有效率。

• 設計欄位時,若其值可有可無,最好也給一個預設值,並設成「不允許 NULL」(一般欄位預設為「允許 NULL」)。因為 SQL Server 在存放和查詢有 NULL 的資料表時,會花費額外的運算動作 [2]。

• 若一個資料表的欄位過多,應垂直切割成兩個以上的資料表,並用同名的 Primary Key 一對多連結起來,如:Northwind 的 Orders、Order Details 資料表。以避免在存取資料時,以叢集索引掃描時會載入過多的資料,或修改資料時造成互相鎖定或鎖定過久。

—————————— 閱讀全文

Post to Twitter Post to Plurk Post to Facebook Send Gmail

檢查圖片連結失效

有些時候會有照片失效的狀況,為了避免出現 叉叉 的難看畫面,有下列方法解決

以下三種方法 都可以在圖片時效的情況下 替換另一張預設照片

 

1. HTML 法

在<img> 中增加 onError=”this.src=’XXXimg.jpg’ ”

2.jquery法

$('img').attr('onError','this.src="XXXimg.jpg"');

3.jquery終極處理方法
$('img').error(function(){
 $(this).attr('src', 'XXXimg.gif');
 $(this).attr('width', '1px');
 $(this).attr('height', '1px');
})

Post to Twitter Post to Plurk Post to Facebook Send Gmail

PHP 所有$_SERVER的可用參數表

引用自 http://www.w3schools.com/php/php_superglobals.asp

下表列出了可以去裡面$ _SERVER中最重要的元素:

Element/Code Description
$_SERVER[‘PHP_SELF’] Returns the filename of the currently executing script
$_SERVER[‘GATEWAY_INTERFACE’] Returns the version of the Common Gateway Interface (CGI) the server is using
$_SERVER[‘SERVER_ADDR’] Returns the IP address of the host server
$_SERVER[‘SERVER_NAME’] Returns the name of the host server (such as www.w3schools.com)
$_SERVER[‘SERVER_SOFTWARE’] Returns the server identification string (such as Apache/2.2.24)
$_SERVER[‘SERVER_PROTOCOL’] Returns the name and revision of the information protocol (such as HTTP/1.1)
$_SERVER[‘REQUEST_METHOD’] Returns the request method used to access the page (such as POST)
$_SERVER[‘REQUEST_TIME’] Returns the timestamp of the start of the request (such as 1377687496)
$_SERVER[‘QUERY_STRING’] Returns the query string if the page is accessed via a query string
$_SERVER[‘HTTP_ACCEPT’] Returns the Accept header from the current request
$_SERVER[‘HTTP_ACCEPT_CHARSET’] Returns the Accept_Charset header from the current request (such as utf-8,ISO-8859-1)
$_SERVER[‘HTTP_HOST’] Returns the Host header from the current request
$_SERVER[‘HTTP_REFERER’] Returns the complete URL of the current page (not reliable because not all user-agents support it)
$_SERVER[‘HTTPS’] Is the script queried through a secure HTTP protocol
$_SERVER[‘REMOTE_ADDR’] Returns the IP address from where the user is viewing the current page
$_SERVER[‘REMOTE_HOST’] Returns the Host name from where the user is viewing the current page
$_SERVER[‘REMOTE_PORT’] Returns the port being used on the user’s machine to communicate with the web server
$_SERVER[‘SCRIPT_FILENAME’] Returns the absolute pathname of the currently executing script
$_SERVER[‘SERVER_ADMIN’] Returns the value given to the SERVER_ADMIN directive in the web server configuration file (if your script runs on a virtual host, it will be the value defined for that virtual host) (such as someone@w3schools.com)
$_SERVER[‘SERVER_PORT’] Returns the port on the server machine being used by the web server for communication (such as 80)
$_SERVER[‘SERVER_SIGNATURE’] Returns the server version and virtual host name which are added to server-generated pages
$_SERVER[‘PATH_TRANSLATED’] Returns the file system based path to the current script
$_SERVER[‘SCRIPT_NAME’] Returns the path of the current script
$_SERVER[‘SCRIPT_URI’] Returns the URI of the current page

Post to Twitter Post to Plurk Post to Facebook Send Gmail

Copyright © 2019. All Rights Reserved.

歡迎光臨
初音