Solana ETL源碼:python
68747470733a2f2f6769746875622e636f6d/blockchain-etl/solana-etl-airflow
原邏輯:airflow做調(diào)度
導(dǎo)出:本地調(diào)用solana api,請求區(qū)塊,下載后使用gcloud api上傳到google buckets
導(dǎo)入:本地解析csv后,把數(shù)據(jù)上傳到google bigtable.
現(xiàn)在需要本地化修改,導(dǎo)入導(dǎo)出都在本地,數(shù)據(jù)落地postgres數(shù)據(jù)庫(不使用云服務(wù),價(jià)格偏貴,網(wǎng)絡(luò)延遲高)
1、保持原導(dǎo)出、導(dǎo)入邏輯不變
2、測試充分,未遺漏數(shù)據(jù)
3、如果原邏輯中有需要更改的地方,需要提前協(xié)商
4、如果有更好的方案,也請指出
途傲科技為中小企業(yè)提供網(wǎng)站制作、網(wǎng)站建設(shè)、微信H5、微信小程序,多商戶平臺,多級分銷系統(tǒng),APP開發(fā),手機(jī)網(wǎng)站,HTML5多端自適應(yīng)網(wǎng)站,營銷型企業(yè)站建設(shè),及對技術(shù)人才的培養(yǎng)等都積累與沉淀了豐富的心得和實(shí)戰(zhàn)經(jīng)驗(yàn)。
如果您想定制同款軟件,可以將需求提交給我們【免費(fèi)提交需求,獲取解決方案】
免責(zé)聲明:文章部分內(nèi)容收集于互聯(lián)網(wǎng),不代表本站的觀點(diǎn)和立場,如有侵權(quán)請聯(lián)系刪除。