OTF Talk 第35回は、Repro チーフアーキテクトの joker1007さんに「ハイトラフィックな更新処理が必要な環境でのApache Iceberg検証」についてお話をうかがいました。

既存環境の課題/Icebergでデータとコンピュートを分離する/データ更新と参照ラグ/コンパクションの課題と工夫/今後の展望

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

https://www.otftalk.com/

guest: guest：@joker1007 Repro チーフアーキテクト

host: @simosako 下佐粉 昭 AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

--------------------

参考）

joker1007さんXアカウント - https://x.com/joker1007

ReproでのApache Icebergの技術検証結果 https://tech.repro.io/entry/2025/11/13/161646

前回のOTF Talkでのご出演 - Hudiの話 (#19, #20) https://www.otftalk.com/2024/11/ep9.html

前回検証結果のブログ https://tech.repro.io/entry/2024/10/28/170721

OTF Talk 第34回はConfluent 清水 亮夫 さんに、「Apache Kafka と Open Table Format」についてお話をうかがいました。

リアルタイム処理とOTF/Kafkaの特徴/Kafkaと他システムとの連携/Kafka Connector/Iceberg Sink Connectorの機能と注意点

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

https://www.otftalk.com/

guest: Confluent ソリューションエンジニアの清水 亮夫 さん

host: @simosako 下佐粉 昭

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考）

清水さん X https://x.com/shmza

Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/

発表資料 https://speakerdeck.com/shmza/kafkawoli-yong-sitaiceberghenodetasutorimingu

Apache Kafka https://kafka.apache.org/

Kafka connectors https://docs.confluent.io/platform/current/connect/kafka_connectors.html

Apache Iceberg Sink Connector https://github.com/apache/iceberg/tree/main/kafka-connect

Kafka-delta-ingest https://github.com/delta-io/kafka-delta-ingest

OTF Talk 第33回はNTTドコモ 松原 侑哉 さんに、「大規模データ分析環境での Apache Iceberg + Snowflake 活用の経験」についてお話をうかがいました。

ペタバイト級データを処理するインフラの変遷/Iceberg評価の背景とモチベーション/ベンチマークの方法と結果/今後について

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

https://www.otftalk.com/

guest: NTTドコモ プリンシパルデータエンジニア 松原 侑哉 さん

host: @simosako 下佐粉 昭

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考）

Apache Iceberg Meetup Japan #3

https://iceberg.connpass.com/event/364492/

松原さん発表資料

https://speakerdeck.com/y_matsubara/apache-iceberg-meetup-japan-number-3-da-gui-mo-snowflake-plus-anoicebergnohuo-yong