文章庫ARTICLE COLUMN
摘要：李飛飛花名飛刀，阿里巴巴集團(tuán)副總裁，高級研究員，達(dá)摩院首席數(shù)據(jù)庫科學(xué)家，阿里云智能事業(yè)群數(shù)據(jù)庫產(chǎn)品事業(yè)部負(fù)責(zé)人，杰出科學(xué)家。是阿里云的云原生數(shù)據(jù)庫，目前已有非常深厚的技術(shù)積累。 阿里妹導(dǎo)讀：云計算大潮來襲，傳統(tǒng)數(shù)據(jù)庫市場正面臨重新洗...
摘要：類型說明根據(jù)中的說明，數(shù)據(jù)類型是用來存儲數(shù)據(jù)的。它們幾乎接受完全相同的值集合作為輸入。該結(jié)構(gòu)是非強(qiáng)制的，但是有一個可預(yù)測的結(jié)構(gòu)會使集合的查詢更容易。如中，表示在和這兩個位置出現(xiàn)過，在中這些位置實際上就是元組的行號，包括數(shù)據(jù)塊以及。 js...
摘要：我們通常會說我們要做一個分布式數(shù)據(jù)庫，自動彈性伸縮，能解決分庫分表的問題，你會用嗎用戶說那肯定啊，現(xiàn)在的分庫分表太痛苦了。在軟件開發(fā)領(lǐng)域有一條非常經(jīng)典的哲學(xué)。作為一個分布式數(shù)據(jù)庫，每一層的穩(wěn)定性都非常重要。 本文根據(jù)我司 CEO 劉奇在第 ...
摘要：奇技指南現(xiàn)有的開源時序數(shù)據(jù)庫只支持單機(jī)運(yùn)行，在面臨大量數(shù)據(jù)寫入時，會出現(xiàn)查詢慢，機(jī)器負(fù)載高，單機(jī)容量的限制。為了解決這一問題，基礎(chǔ)架構(gòu)團(tuán)隊在單機(jī)的基礎(chǔ)上，開發(fā)了集群版簡述是一個分布式時間序列數(shù)據(jù)庫，用于處理海量數(shù)據(jù)寫入與查詢。 奇技指...
摘要：索引的原理與應(yīng)用索引類型，存儲結(jié)構(gòu)與鎖在數(shù)據(jù)結(jié)構(gòu)與算法索引一節(jié)中，我們討論了這樣的文件索引以及全文索引的基礎(chǔ)算法，本文則會針對文件索引在關(guān)系型數(shù)據(jù)庫中的實際應(yīng)用進(jìn)行探討。這個索引的是數(shù)據(jù)表的主鍵，因此表數(shù)據(jù)文件本身就是主索引。 showIm...
摘要：作者張學(xué)程本文為源碼閱讀系列文章的第六篇，在上篇文章中我們介紹了處理單元的實現(xiàn)，對在增量復(fù)制過程中的讀取過濾路由轉(zhuǎn)換以及執(zhí)行等邏輯進(jìn)行了分析。值得注意的是，由于我們近期正在對處理單元進(jìn)行重構(gòu)，因此源碼中會同時包含重構(gòu)前后的相關(guān)代碼實現(xiàn)...
摘要：業(yè)務(wù)需求統(tǒng)計每小時的數(shù)數(shù)據(jù)采集數(shù)據(jù)清洗用來描述將數(shù)據(jù)從來源端經(jīng)過抽取轉(zhuǎn)換加載至目的端的過程字段過濾字段補(bǔ)全用戶信息商品信息字段格式化數(shù)據(jù)分析將數(shù)據(jù)導(dǎo)出介紹由開源的用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計的項目本質(zhì)將轉(zhuǎn)化為程序的其實時上的目錄和...
摘要：微服務(wù)架構(gòu)催生分布式數(shù)據(jù)庫王濤認(rèn)為，談?wù)摂?shù)據(jù)庫一定脫離不了應(yīng)用。巨杉數(shù)據(jù)庫，適合微服務(wù)的分布式數(shù)據(jù)庫正如同巨杉對于分布式數(shù)據(jù)庫的技術(shù)定位和目標(biāo)，巨杉數(shù)據(jù)庫本身就是以分布式存儲底座與上層的數(shù)據(jù)庫實例兩層來進(jìn)行構(gòu)建的。 過去幾年來，微服...
摘要：作者屈鵬本篇源碼解析將為大家介紹的另一周邊組件。這個函數(shù)會往完成隊列中注冊若干個，相當(dāng)于用往一個中注冊一些事件的關(guān)注。在函數(shù)返回之后，服務(wù)端的初始化及啟動過程便結(jié)束了。 作者：屈鵬 本篇 TiKV 源碼解析將為大家介紹 TiKV 的另一周邊組件—...
摘要：基于部署數(shù)據(jù)庫初始化數(shù)據(jù)庫進(jìn)入鏡像配置用戶密碼導(dǎo)入數(shù)據(jù)進(jìn)入容器檢查導(dǎo)入結(jié)果創(chuàng)建數(shù)據(jù)庫初始化進(jìn)入容器 基于docker部署數(shù)據(jù)庫 sudo docker pull influxdbsudo docker pull mongo sudo docker run -p 27017:27017 -v xxx:/xxx--name xxxx -d mongo:la...
摘要：行轉(zhuǎn)列，列轉(zhuǎn)行行列轉(zhuǎn)換在做報表分析時還是經(jīng)常會遇到的，今天就說一下如何實現(xiàn)行列轉(zhuǎn)換吧。列轉(zhuǎn)行假設(shè)我們有下表語文數(shù)學(xué)英語通過即可得到如下結(jié)果我們也可以使用下面方法得到同樣結(jié)果語文語文數(shù)學(xué)數(shù)學(xué)英語英語 SQL 行轉(zhuǎn)列，列轉(zhuǎn)行 行列轉(zhuǎn)換在做報表...
摘要：最近遇到一個在級別下的死鎖問題，感覺有點(diǎn)意思，研究了一下，做個記錄。比如等都會給涉及到的行加上行鎖，防止其他事務(wù)的操作間隙鎖在隔離級別下，為了防止幻讀現(xiàn)象，除了給記錄本身，還需要為記錄兩邊的間隙加上間隙鎖。至此，死鎖過程分析完畢還沒完...
摘要：在執(zhí)行耗時命令如范圍掃描類的超大下的等瞬時大量過期驅(qū)逐等情況下，會造成的下降，阻塞其他請求。 本文主要從實現(xiàn)角度分析了redis lazy free特性的使用方法和注意事項 有幫助的話就點(diǎn)個贊，關(guān)注專欄數(shù)據(jù)庫，不跑路吧～～不定期更新數(shù)據(jù)庫的小知識和實...
摘要：是基于開源的兼容協(xié)議的強(qiáng)一致性的數(shù)據(jù)庫開源項目。這種架構(gòu)類似于公司的第一代的系統(tǒng)，系統(tǒng)本身也是一個強(qiáng)一致性的高可用的分布式系統(tǒng)。由于篇幅所限，本文中關(guān)于強(qiáng)一致性線性一致性的很多技術(shù)細(xì)節(jié)的闡述未能詳盡，擬另行成文討論。 作者介紹：陳東明...
摘要：今天，，云原生計算基金會技術(shù)監(jiān)督委員會宣布已經(jīng)投票決議通過，正式將從沙箱項目晉級至孵化項目。晉級為孵化項目之后，將與其他項目一道，成為與其技術(shù)利益一致的中立的基金會的一部分，享有基金會為其提供的治理市場和社區(qū)推廣等權(quán)益。 今天，CNCF（...
摘要：一致性是指事務(wù)的執(zhí)行不能破壞數(shù)據(jù)庫數(shù)據(jù)的完整性和一致性，一個事務(wù)在執(zhí)行之前和執(zhí)行之后，數(shù)據(jù)庫都必須處以一致性狀態(tài)。隔離性是指多個用戶并發(fā)訪問數(shù)據(jù)庫時，數(shù)據(jù)庫為每個用戶執(zhí)行的事務(wù)，不能被其他事務(wù)的操作所干擾，多個并發(fā)事務(wù)之間要相互隔離。...
Nosql數(shù)據(jù)庫使用場景首先需要確認(rèn)一個問題，nosql能做什么？在現(xiàn)在的開發(fā)領(lǐng)域中nosql可以實現(xiàn)文檔存儲（BSON、JSON）、緩存存儲、圖像緩存（圖像搜索），但是對于nosql的具體應(yīng)用場景完全要根據(jù)你實際的業(yè)務(wù)來講； 在傳統(tǒng)的開發(fā)之中由于經(jīng)常要使用到多表查...
摘要：引導(dǎo)優(yōu)化器按照哈希掃描的方式從表中讀取數(shù)據(jù)。告訴優(yōu)化器強(qiáng)制選擇位圖索引。這個提示會使優(yōu)化器合并表上的多個位圖索引，而不是選擇其中最好的索引這是提示的用途。還可以使用指定單個索引對于指定位圖索引，該提示優(yōu)先于提示。 一、提示（Hint）概述...
摘要：有如下數(shù)據(jù)，怎么查詢顯示結(jié)果為張三，北京河北，張三北京張三河北如何查詢重復(fù)數(shù)據(jù)查詢結(jié)果如何去重關(guān)鍵字或者數(shù)據(jù)庫分頁查詢都是刪除語句，他們的區(qū)別是什么在速度上，一般來說，用于刪除部分?jǐn)?shù)據(jù)刪除整個表然后重新創(chuàng)建這個表相當(dāng)于清空了表數(shù)據(jù)摧毀...
摘要：組件用于收集的，并準(zhǔn)實時同步給下游，如等。為方便用戶和開發(fā)者更加深入理解和使用組件，以及基于組件做二次開發(fā)用于更多的業(yè)務(wù)場景，我們決定今天正式開源組件。近期我們將發(fā)布源碼閱讀指南，敬請期待。 TiDB Binlog 組件用于收集 TiDB 的 binlog，...
摘要：作者本文為源碼閱讀系列文章的第五篇。上篇文章介紹了和兩個數(shù)據(jù)同步處理單元的設(shè)計實現(xiàn)，對核心實現(xiàn)數(shù)據(jù)導(dǎo)入并發(fā)模型數(shù)據(jù)導(dǎo)入暫停或中斷的恢復(fù)進(jìn)行了分析。根據(jù)庫表路由規(guī)則對庫表名進(jìn)行轉(zhuǎn)換，用于合庫合表。遇到或者積累的數(shù)量超過配置的數(shù)量立即執(zhí)行...
摘要：阿里妹導(dǎo)讀近日，螞蟻金服副胡喜應(yīng)邀做了螞蟻金服十五年技術(shù)架構(gòu)演進(jìn)之路的演講，分享螞蟻金服對金融科技未來的判斷，并首次對外公開螞蟻金服技術(shù)人才培訓(xùn)體系以及項目。 showImg("https://segmentfault.com/img/remote/1460000019158592"); 阿里妹導(dǎo)...
摘要：用動態(tài)規(guī)劃決定連接的執(zhí)行順序，當(dāng)參與連接的表數(shù)量不多于時啟用。在邏輯優(yōu)化階段消除聚合函數(shù)時特殊處理，防止產(chǎn)生錯誤的執(zhí)行結(jié)果。該特性通過對進(jìn)行執(zhí)行計劃綁定，以確保執(zhí)行穩(wěn)定性。執(zhí)行引擎支持對和算子進(jìn)行內(nèi)存追蹤控制。 2019 年 5 月 10 日，Ti...
摘要：提升系統(tǒng)性能算子，進(jìn)一步提升執(zhí)行性能。采用存儲結(jié)構(gòu)減少內(nèi)存分配及拷貝，的共享提升命中率等手段大幅提升性能。新增系統(tǒng)配置項合法性檢查，優(yōu)化系統(tǒng)監(jiān)控項等，提升產(chǎn)品易用性。在此對各位貢獻(xiàn)者表示由衷的感謝。 作者：段兵 2019 年 5 月 10 日，TiD...
摘要：正是存在問題，促使我們考慮引入數(shù)據(jù)庫審核平臺。的確，與很多互聯(lián)網(wǎng)公司相比，數(shù)據(jù)庫數(shù)十套的估摸并不是太大但與互聯(lián)網(wǎng)類公司不同，類似宜信這類金融類公司對數(shù)據(jù)庫的依賴性更大，大量的應(yīng)用是重數(shù)據(jù)庫類的，且其使用復(fù)雜程度也遠(yuǎn)比互聯(lián)網(wǎng)類的復(fù)雜。 ...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
一、活動亮點(diǎn)：全球31個節(jié)點(diǎn)覆蓋 + 線路升級，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
89542767
社區(qū)管理員
白馬嘯西風(fēng)